SameFace Fix [Flux Lora] - v0.1

Ważne: Ten Lora powinien być używany z UJEMNĄ wagą.

Również: Model jest skierowany jedynie na różnicowanie wyglądu kobiet. Planuję stworzyć osobny model dla mężczyzn później (zwłaszcza mężczyzn z brodami)

Interesujący fakt: rozmiar Lora to tylko 4MB (jest ograniczony do 2 bloków z wysokim rankiem)

• Czym jest „Sameface"?

To powszechny problem w generatywnej AI, gdzie model generuje osoby o identycznym wyglądzie. W przeciwieństwie do SD1.5/SDXL, to nie jest tylko wynik zbiegania się różnorodnego zbioru danych do pojedynczego tokena jak „kobieta”. W Flux Dev/Schnell były destylowane z wersji Pro, co skutkowało utratą różnorodności.

• Dlaczego używać ujemnej wagi?

Lora była trenowana na najbardziej ogólnych zdjęciach kobiet generowanych przez Flux.

Jeżeli użyjesz tej Lory z UJEMNĄ wagą, będzie działała jako rodzaj negatywnego promptu, ale bez potrzeby posiadania negatywnego promptu!

Używając tego sprytnego triku, Lora zasadniczo mówi Flux, aby generował wszystko oprócz typowej twarzy Flux. W rezultacie otrzymujemy piękne, unikalne twarze za każdym razem!

• Dlaczego Lora, a nie triki jak niższe Guidance?

Ludzie chcą zróżnicowanych twarzy przy wysokim guidance, aby utrzymać dobre dopasowanie do promptu i jakość obrazu, dlatego interwencje na poziomie latent space są optymalne.

• Czym różni się od innych Lora postaci?

Podczas gdy inne Lora wprowadzają swoje własne „samefaces”, ta Lora jedynie mówi Flux, co NIE powinno się pojawiać w generacji, a nie co dodać. W rezultacie ta Lora różnicuje wygląd ludzi, zamiast go jeszcze bardziej zawężać.

• Jak faktycznie stworzono tę Lorę?

Początkowo byłem rozczarowany, bo nic nie działało. Miałem zrezygnować z projektu, ale spróbowałem trenować Lorę tylko z 2 warstwami i nagle podczas testów pojawiły się piękne twarze, o autentycznym, odległym od Flux wyglądzie.

• Co dalej?

Mam wiele do eksperymentowania. Różne stopy uczenia, warstwy i rangi muszą zostać przetestowane, by poprawić jakość. Scalanie różnych wariantów Lora może naprawić problemy z artefaktami przy wyższych wartościach. Postaram się stworzyć lepszą wersję, jeśli ten Lora zyska wystarczające zainteresowanie

Z niecierpliwością czekam na wasze opinie, ponieważ ten model jest wysoce eksperymentalny. Każda opinia jest mile widziana i mam nadzieję, że pomoże mi w ulepszeniu modelu.

specjalne podziękowania dla Ostris za AI-Toolkit