Anti-blur Flux Lora - v1.0

AntiBlur Lora została znacząco ulepszona!

Ulepszenia w nowej Lora:

• Głębia ostrości może być regulowana wagą Lora.

Waga 0 daje płytką głębię ostrości, typową dla generacji Flux.

Domyślna waga 1.0 redukuje DoF do (miejmy nadzieję) bardziej przyjemnego obrazu, bez znaczących zmian stylu i kompozycji. Celem było uzyskanie DoF przy wadze 1.0 dokładnie tak, jak byś tego oczekiwał: drobne, dobre bokeh tutaj i tam, bez przesady typowej dla Flux (więcej o tym później)

Waga powyżej 1.0 może być używana do uzyskania ujęć z głęboką DoF. Lora radzi sobie z wagami do 3.0 i wyżej bez znaczącej utraty jakości.

• Neutralna stylistycznie

Zbiór danych składa się ze setek obrazów stworzonych za pomocą Flux, aby nie odbiegać zbytnio od oryginalnego stylu modelu, a mała liczba prawdziwych zdjęć została użyta, aby zapobiec pogorszeniu kompozycji Flux (co się dzieje, gdy AI jest trenowane na własnych obrazach)

• Dobrze współpracuje z Hires.fix

Ta Lora dobrze współpracuje z hires.fix, pozwalając na dalsze zwiększenie detali i minimalizację płytkiej DoF. Nie było tak w przypadku podstawowego Flux, ponieważ próba zastosowania hires.fix do rozmytego obrazu z płytką DoF skutkowała pozostawaniem rozmycia i tym samym efektem DoF. Konieczne jest, aby detale zaczęły pojawiać się na obrazie, aby hires.fix mógł je dalej poprawić.

• Brak wyzwalaczy

Wystarczy podłączyć Lorę i będzie działać

• Zdecydowanie mniej artefaktów

Użycie obrazów generowanych przez Flux minimalizuje artefakty. Trenowałem wiele modeli i połączyłem najlepsze z nich, korzystając z narzędzia dostarczonego przez anashel (wygładziło to krawędzie pojedynczych modeli, które powodowały artefakty. Łączenie okazało się szczególnie użyteczne w zwiększaniu różnorodności stylistycznej modelu.)

Dlaczego Lora waży 655MB?

Wydawało mi się, że Lora z efektem "głębokiej DoF" powinna być mała, ponieważ nie wprowadza nowego stylu czy koncepcji, a jedynie usuwa płytką DoF.

Próbowałem różnych rang Lory, ale okazało się, że informacje o tłach znajdują się wszędzie w przestrzeni latentnej, a im większy model, tym lepsze wyniki. W ten sposób zdecydowałem się na Lorę o randze 128.

Można izolować warstwy Lory i używać tylko tych, które zawierają informacje o DoF, ale jak się okazało, informacje o DoF są rozproszone po większości warstw. Na przykład przy generowaniu makro, DoF jest generowana przez pierwsze warstwy. Informacje o tłach znajdują się dosłownie wszędzie w modelu, a stała płytka DoF jest taką, jaka była w danych treningowych Flux. Co gorsza, Flux ma bardzo słabe rozumienie koncepcji DoF i rozmycia. Zatem jest ich dużo więcej niż w SD1.5/SDXL, i jednocześnie daje o wiele gorszą kontrolę nad nimi niż SD1.5/SDXL.

Jak powstała ta Lora?

Pierwsze zebrałem ogromny zbiór danych z techniką focus stacking i głęboką DoF, na którym wytrenowałem nową Lorę. Następnie wykorzystałem tę Lorę do stworzenia obrazów do nowego zbioru danych.

Mam kilka setek wariantów "antiblur" Lory, wybrałem najlepsze, z ich zaletami, i połączyłem je w jeden dobrze zbalansowany model.

Co dalej?

Im wyższa ranga, tym lepsza jakość, więc oczywistym sposobem na poprawę wyniku byłoby przeprowadzenie pełnego finetuningu (który dotknie każdy zakątek przestrzeni latentnej zawierający informacje o tłach), a następnie wyodrębnienie Lory.

Inną teoretyczną opcją jest znalezienie koncepcji/ wag "blur" lub "dof" w przestrzeni latentnej Flux i stworzenie Lory z odwróconych wag. Ta metoda nie była jednak bardzo skuteczna dla kontroli DoF w modelach opartych na SD.

Na obecną chwilę jestem jednak zadowolony z rezultatu. Model pozostanie moim najlepszym osiągnięciem na jakiś czas