LEOSAM의 인스턴트 사진 拍立得/Polaroid LoRA & LoHA - InspX 경계 없는 버전

🖥️저와 제 친구가 개발한 오픈 소스 GPT4V-Image-Captioner를 사용해 보세요. 원클릭 설치를 제공하며 이미지 사전 압축, 이미지 태깅, 태그 통계 등 다양한 기능이 통합되어 있습니다. 최근에는 이 도구의 webui 플러그인 버전도 출시되어 누구나 사용 가능합니다!

🌍QQ群 '兔狲·AIGC夢工北厂' 가입을 환영합니다，그룹 번호 ：780132897 ; '兔狲·AIGC夢工南厂' 그룹 번호 ：835297318（가입 암호: 兔狲）.Telegram 그룹 채팅 '兔狲의 SDXL 브로드웨이' 링크：https://t.me/+KkflmfLTAdwzMzI1

📖2023.6.24 업데이트

많은 분들이 흰색 테두리 없이 폴라로이드 사진 질감만 남기는 모델 버전을 요청하셨습니다. 따라서 InspX 경계 없는 버전은 InspX LoRA를 기반으로 계층 조정을 통해 흰 테두리 출현 확률을 크게 줄이고 얼굴 방해도 감소시켰습니다. 다만 대가로 경계 없는 버전의 폴라로이드 사진 질감은 InspX LoRA에 비해 약간 낮지만 수용 가능한 범위입니다.

많은 유저가 흰색 테두리를 제거하고 폴라로이드 사진 질감만 유지하는 모델 버전을 원했습니다.

결과적으로 InspX 경계 없는 버전은 InspX LoRA를 기반으로 개발되었으며 계층별 조정을 활용해 흰색 테두리 발생 확률을 크게 줄이고 얼굴 특징 간섭도 최소화했습니다.

하지만 트레이드오프로 경계 없는 버전의 폴라로이드 사진 질감은 InspX LoRA보다 약간 떨어지나 여전히 허용 범위 내입니다.

2023.6.3 업데이트

InsPX LoRA 버전은 LoRA 모델로 재훈련되었으며 새로운 태깅 방법을 도입하고 훈련 세트 및 이미지 해상도를 확장했습니다.

InsPX LoRA 버전은 LoRA 모델로 재훈련되었으며 새로운 태깅 방식을 채택하고 훈련 세트와 훈련 이미지 해상도를 확장했습니다.

2023.5.19 업데이트

InsPX LoHA 버전은 이전 1.0 및 2.0 버전의 LoRA 모델과 다릅니다. InsPX는 새로 훈련된 LoHA 모델로, 이전 Lora 버전보다 효과가 약간 더 좋습니다. FilmGirl Provia LoHA와 함께 사용하는 것을 추천드리며, 그렇지 않으면 얼굴이 쉽게 붕괴될 수 있습니다.

본 버전은 트리거 단어가 없어 특정 프롬프트와 대형 모델에서는 흰색 테두리가 나타나지 않을 확률이 있지만 여전히 폴라로이드 사진의 색상 질감은 유지됩니다.

InsPX LoHA 버전은 이전 1.0 및 2.0 LoRA 모델과 다릅니다. InsPX는 새로 훈련된 LoHA 모델로, 효과 면에서 이전 Lora 버전보다 약간 우수합니다. FilmGirl Provia LoHA와 함께 사용하시길 권장하며, 그렇지 않으면 얼굴이 쉽게 붕괴될 수 있습니다.

이 버전은 트리거 단어가 없기 때문에 특정 프롬프트 단어와 대형 모델 조건 하에서는 흰색 프레임이 나타나지 않을 수 있지만, 폴라로이드 사진의 색상 질감은 계속 유지됩니다.

LoHA 모델 사용 방법:

아래 플러그인을 설치하세요: https://github.com/KohakuBlueleaf/a1111-sd-webui-locon. 이후 Lora와 비슷한 방식으로 모델을 불러올 수 있으며, 모델은 ...\models\Lora 폴더에 넣고 <lora:FilmGX2:XXX> 명령어로 호출합니다.

다른 LoHA 모델 사용법: → https://github.com/KohakuBlueleaf/a1111-sd-webui-lycoris

How to use the Loha model:

Please install the following plugins, https://github.com/KohakuBlueleaf/a1111-sd-webui-locon, then use the same method as Lora. You need to place the model in the \models\Lora folder, and then call it with the lora:FilmGX2:XXX command.

다른 방식으로 LoHA 모델 사용 → https://github.com/KohakuBlueleaf/a1111-sd-webui-lycoris

이 모델은 폴라로이드 스타일 LoRA로 2.0 버전이 1.0 버전보다 훨씬 안정적입니다. 다만 복잡한 장면에서는 사지 및 얼굴 특징이 여전히 왜곡될 수 있는데, 이는 훈련 세트가 512x768 크기의 사진으로 구성되어 폴라로이드 흰 테두리가 사진의 상당 부분을 차지해 실제 학습 가능한 내용이 제한적이기 때문입니다.

이것은 폴라로이드 스타일 LoRA이며, 2.0 버전은 1.0 버전보다 훨씬 안정적이지만 일부 복잡한 상황에서는 팔다리와 얼굴이 붕괴될 수 있습니다. 이는 512*768 크기의 훈련 사진에서 폴라로이드 흰색 테두리가 넓은 면적을 차지하여 훈련 가능 사진 내용이 제한되기 때문입니다.

폴라로이드의 흰 테두리를 완전히 재현하고 싶다면, Lora 가중치를 0.55에서 0.7 사이로 설정하는 것을 권장합니다. 가중치가 낮으면 폴라로이드 필터 효과는 나지만 테두리 크기가 일관되지 않을 수 있습니다.

폴라로이드의 흰색 테두리를 완전히 구현하려면 권장 Lora weight는 0.55~0.7입니다. 낮은 가중치는 폴라로이드 필터 효과를 내지만 테두리가 크기가 불규칙할 수 있습니다.

FilmGirl LoRA와 함께 사용하면 외관과 색상 보정 측면에서 상승 효과가 있습니다.

형태와 색 보정을 위해 FilmGirl LoRA와의 조합 사용을 권장합니다.

테스트 결과, 이 모델은 MoonMIX, majicMIX realistic, ChilloutMix와 매우 잘 작동합니다. 다른 실사 모델들도 좋은 결과를 낼 것으로 기대되니 여러 모델을 시도해 보세요.

실험 결과 이 모델은 MoonMIX, majicMIX realistic, ChilloutMix와 매우 잘 맞았으며 다른 사실적 모델도 양호할 것으로 평가되어 자유롭게 실험해 보시길 바랍니다.

가끔 생성된 사진에서는 신체 일부가 흰 테두리를 벗어나기도 하지만, 이는 큰 문제가 없으며 오히려 그림에 입체감을 더하는 효과가 있습니다.

가끔 생성된 이미지가 신체 일부가 흰색 테두리를 넘는 경우가 있지만, 이 사소한 결점은 전체 이미지에 큰 지장을 주지 않으며 오히려 입체감이 강화되는 느낌을 줄 수 있습니다.