SameFace Fix [Flux Lora] - v0.1

중요: 이 Lora는 네거티브 가중치로 사용해야 합니다.

또한: 이 모델은 여성의 외모 다양화에만 초점을 맞추고 있습니다. 추후에 남성(특히 수염이 있는 남성)을 위한 별도의 모델을 만들 계획입니다.

또한 흥미로운 사실: Lora 크기는 단지 4MB에 불과하며 (랭크가 높은 2블록으로 제한됨)

• ‘Sameface’란 무엇인가요?

이는 생성형 AI에서 흔히 발생하는 문제로, 모델이 동일한 외모의 사람들을 생성하는 현상입니다. SD1.5나 SDXL과 달리, 이는 단순히 ‘여성’이라는 단일 토큰으로 데이터셋이 수렴한 결과가 아닙니다. Flux에서는 Dev/Schnell이 Pro 버전에서 증류되면서 다양성이 손실되었습니다.

• 왜 네거티브 가중치를 사용하는가?

Lora는 Flux가 생성하는 가장 일반적인 여성 사진들을 대상으로 학습되었습니다.

이 Lora를 네거티브 가중치로 적용하면, 네거티브 프롬프트 없이 네거티브 프롬프트처럼 작동합니다!

이 영리한 방법으로 Lora는 Flux에게 전형적인 Flux 얼굴이 아닌 모든 것을 생성하라고 지시합니다. 결과적으로 매번 아름답고 독특한 얼굴을 얻을 수 있습니다!

• 왜 Lora를 사용하고 낮은 Guidance 같은 트릭을 사용하지 않는가?

사람들은 높은 프롬프트 일치도와 이미지 품질을 유지하면서 다양한 얼굴을 원하기 때문에, 잠재 공간 수준의 개입이 최적입니다.

• 다른 캐릭터 Lora와 어떻게 다른가?

다른 Lora들은 자신만의 ‘samefaces’를 도입하지만, 이 Lora는 Flux가 생성하지 말아야 할 것을 알려줄 뿐 추가하지 않습니다. 결과적으로 이 Lora는 사람들의 외모를 좁히는 대신 다양화합니다.

• 실제로 어떻게 만들어졌나?

처음에는 아무 성과가 없어 실망했습니다. 프로젝트를 포기하려던 찰나에 2개 층만으로 Lora를 학습시켜 테스트 중 갑자기 아름다운 얼굴과 Flux와는 거리가 있는 진정한 외모가 나오는 것을 경험했습니다.

• 앞으로 계획은?

다양한 학습률, 층, 랭크를 시험하여 품질을 향상시킬 예정입니다. 다양한 Lora 변형을 병합하면 더 높은 값에서 발생하는 아티팩트 문제도 해결할 수 있습니다. 이 Lora에 충분한 관심이 있다면 더 나은 버전을 만들겠습니다.

이 모델은 매우 실험적이므로 여러분의 피드백을 기대합니다. 모든 피드백은 모델 개선에 큰 도움이 될 것입니다.

특별히 Ostris의 AI-Toolkit에 감사를 표합니다.