UltraRealistic Lora 프로젝트 - Flux - v2

주요 목표는 더 생생한 감정과 더 역동적인 포즈, 그리고 약간 아마추어적인 품질로 더 '생명감 있는' 이미지를 만드는 것이었으며 (고품질 이미지도 생성 가능).

추신: 피드백 주신 모든 분들께 감사합니다! 해부학 문제에 대한 댓글(여기뿐만 아니라 다른 곳에서도)을 확인했고, 여러분의 보고서와 예시를 모으고 있습니다. 이를 해결하기 위한 몇 가지 옵션을 고려 중입니다:

1. 일관된 개선을 위해 전체 체크포인트를 다시 훈련하는 방법이 더 합리적일 수 있습니다.

2. 해부학적 정확성을 향상시키기 위해 다양한 포즈를 포함한 사진 데이터셋을 확장하는 방법.

여러분의 의견에 감사드리며, 앞으로 업데이트에 큰 도움이 됩니다.

추신 2: 일관되고 고품질 결과를 위해 RunPod에서 훈련을 진행하고 있습니다. 제 작업과 미래 업데이트를 지원하고 싶다면 Ko-fi에서 후원하실 수 있습니다. LoRa뿐만 아니라 모델 미세 조정도 계획 중입니다. https://ko-fi.com/danrisi

Flux를 위한 ComfyUI 설정:
CFG=1, Guidance=2.5, Scheduler=Beta, Sampler=dpmpp_2m, Steps=40, Strength는 0.8에서 1.0 사이가 좋으며 보통 1.0 사용, 손 품질이 저하되면 0.87로 설정

SD3.5용 ComfyUI 설정:
CFG=1, Guidance=3.5, Scheduler=sgm_uniform, Sampler=dpmpp_2m, Steps=40, Strength는 0.5에서 1.0 사이가 좋으며 보통 0.7 사용

V2 - Flux

안정성, 해부학, 전반적인 품질에서 상당한 개선을 통해 창작물에 더욱 사실감과 다재다능함을 제공합니다. 이 업데이트로 LoRA는 더욱 적응력이 높아져, 프롬프트에 따라 고해상도 사실감부터 의도된 저품질 미학까지 다양한 품질 수준을 얻을 수 있습니다.

1048장 이미지로 훈련됨.

변경 사항:

안정성 향상: 새로운 버전은 더 안정적이며 텍스트 기반 프롬프트에서 더 부드럽고 예측 가능한 결과를 제공합니다.

개선된 손 및 해부학: 손과 몸 해부학이 더 정교해져 생동감을 높였습니다.

품질 유연성: 적절한 프롬프트로 고품질과 저품질 미학을 조절할 수 있습니다 (예시 제공).



SD3.5용 V1.2 - Large

거의 동일한 설정으로 sd3.5용 버전을 만들기로 결정했습니다. 제 생각에는 괜찮지만, 해부학에서 약간 문제가 있고 (일부 경우 flux보다 더 안 좋음), 색상, 대비 등 미학 측면은 flux보다 더 좋아 보입니다. sd3.5가 가능성이 있어 앞으로 sd3.5 버전도 나올 수 있을 것 같습니다.

V1.2

데이터셋 이미지의 절반을 교체하고, 프롬프트 스타일을 변경하며, 손을 개선하고, 야간 장면에서 '플래시라이트 효과'를 줄였으며 전반적인 LoRa 품질이 향상되었습니다 (희망사항).
본 버전에서는 V1에서처럼 수많은 '트리거 단어'를 사용할 필요가 없습니다. 제가 언급한 몇 가지 단어만 추가하면 됩니다.

V1

또 다른 아마추어 LoRa를 훈련했습니다 (이 지역에서 이미 많이 시도된 것).

여전히 2000년대 데이터셋의 사진 몇 장을 사용하고 700장 더 추가했습니다. 지금까지 꽤 잘 나오긴 했지만, 품질 최적화에 대해 논란이 있는데, 품질 제어에 도움이 되길 바랐지만 모델을 혼란스럽게 만든 것 같습니다. 데이터셋에는 다음과 같은 다양한 품질 단계가 있습니다:

1) 휴대폰으로 촬영한 고해상도 사진, 눈에 띄는 아티팩트 없음, 선명하고 뚜렷함

2) 디지털 카메라로 촬영한 저해상도 아마추어 사진, 눈에 띄는 JPEG 아티팩트 없음, 약간의 노이즈 있음

3) 휴대폰으로 촬영한 중간 해상도 사진, 저조도 때문에 약간의 거칠음 있음, 유의미한 디지털 아티팩트 없음

그리고 이들의 조합과 변형도 있습니다. 다음 버전에서는 이런 것들을 제거할 생각입니다. 하지만 이 버전이 저에게는 가장 잘 작동합니다:

디지털 카메라로 촬영한 저해상도 아마추어 사진, 눈에 띄는 JPEG 아티팩트 없음, 약간의 노이즈 있음