Głęboko pod górą śpi olbrzym, zdolny albo pomóc ludzkości, albo przynieść zniszczenie...

Colossus powstaje...

Po mojej serii SDXL czas na serię FLUX tego projektu... Tym razem trenowałem to od podstaw. Do treningu użyłem własnych obrazów. Stworzyłem je za pomocą mojego szybkiego modelu Flux DemonFlux/Colossus Project schnell oraz mojego SDXL Colossus Project 12 jako refiner.

Ten checkpoint SD Flux potrafi stworzyć niemal wszystko.. Colossus świetnie tworzy bardzo realistyczne obrazy, anime i sztukę.

Jeśli Ci się podoba, śmiało daj mi znać swoją opinię. Jeśli chcesz mnie wesprzeć, możesz to zrobić tutaj. Włożyłem sporo pieniędzy, by zbudować komputer zdolny do trenowania modeli Flux. Trening i testowanie zajmuje też dużo czasu i prądu.

https://ko-fi.com/afroman4peace

Wersja V12 "Hephaistos"

Publikacja tego checkpointu jest dla mnie jednocześnie szczęśliwa i smutna.. V12 będzie ostatnim checkpointem tej serii.. Głównym powodem są nadchodzące unijne przepisy dotyczące AI... Kolejny powód to licencja od Flux .1 DEV. Dziękuję wszystkim za wsparcie! Włożyłem dużo czasu w ten projekt w ostatnim roku. Teraz czas przejść do innego projektu.

Niemniej jednak zakończę tę serię na wysokim poziomie...

V12 opiera się na V10B "BOB", ale ma w zasadzie najlepsze elementy tej serii scalone w jednym checkpointcie. (Było to wynikiem nowej metody scalania, która trwała około 1:30h i zużyła całe moje 128GB RAM). Dodatkowo ulepszyłem tekstury twarzy i skóry w porównaniu do V10. Oczy są dużo bardziej realistyczne i „żywe” niż wcześniej.

Przetestuj sam i daj mi znać opinię o V12. Dzięki mojemu wolnemu łączu internetowemu najpierw wgram FP8_UNET, potem wersję FP8 "all in one", a następnie FP16_unet i FP16_BEHEMOTH. Spróbuję również przekonwertować go na int4 i fp4 (trzymaj kciuki).

Zawsze czekam na opinie o V12..

Wersja V12 "Behemoth" (AIO)

Ten "all in one" model to najlepszy z mojej serii V12... i oczywiście największy rozmiarowo :-)

Behemoth ma własny T5xxl i Clip_l wbudowane w model. Jeśli cenisz jakość ponad ilość, to jest checkpoint dla Ciebie!

Wersja V12 FP4/int4

Dzięki Muyang Li z Nunchakutech, który wykonał kwantyzację V12. https://huggingface.co/nunchaku-tech i ich niesamowitym nunchaku!

Ta wersja jest naprawdę zdumiewająca. Łączy jakość z prędkością jak nigdy wcześniej.

UWAGA!

Są dwie wersje FP4 i int4. FP4 jest tylko dla kart Nvidia 50xx! Natomiast int4 działa z 40xx i niżej. (potrzebujesz co najmniej karty graficznej z serii 20xx)

Możesz też pobrać obie wersje bezpośrednio stąd: https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

PRZEWODNIK INSTALACJI i PRZEPŁYW PRACY

Oto szybki przewodnik instalacji i wstępny workflow.

https://civitai.com/articles/17313

Skończyłem pracę nad nowymi workflow dla Nunchaku.. więc poniższy workflow jest jeszcze w WIP (w trakcie prac). Dodam szczegółowy artykuł w weekend.

Wersja V12 FP16_B_variant

Dzięki małemu błędowi zrobionemu późno w nocy (2AM) nazwałem i przesłałem "zły" checkpoint. To bardzo eksperymentalny checkpoint nigdy nieprzeznaczony do publikacji. Nie był dokładnie testowany, ale spisał się dobrze podczas tworzenia pokazówki. Może być lepszy niż standardowa wersja.

Ma tendencję do skłaniania się bardziej ku azjatyckim twarzom... To dlatego, że chciałem przetestować coś, co zmiksowałem z bocznym projektem, nad którym nadal pracuję. Podziel się swoimi doświadczeniami z tym checkpointem :-)

Wersja V12 AIO FP8

Ta wersja to all in one V12. Oznacza to, że wszystkie clipy są w nim wbudowane. Da ten sam wynik co FP8_unet z moim własnym clip_l.

Wersja V12 GGUF Q5_1

Ta wersja była na prośbę. Jakość jest niezła..

Wersja V10B "BOB"

To alternatywna wersja V10. Stworzyłem ją, aby ulepszyć wersję FP8 V10. Ogólnie wersja FP8 jest dokładniejsza, a kolory lepsze. Niestety ostatnio mam mało czasu.. (RL jest ważniejsze). Dlatego zajęło to tyle czasu.. Daj znać, czy wolisz tę wersję. Mam też wersję FP16 "BOB". W zależności od opinii rozważę też wydanie wersji int4.

PRZEPŁYW PRACY:

tutaj jest workflow dla V12 i V10: https://civitai.com/articles/17163

Wersja V10_int4_SVDQ "Nunchaku"

Najpierw chcę podziękować theunlikely https://huggingface.co/theunlikely, który przekonwertował FP16_Unet na int4_SVDQ. Odwiedź jego stronę i zostaw like.

Ta wersja jest mniej więcej równa wersji FP8. Nawet w normalnym trybie mojego workflow jest 2-3 razy szybsza niż zwykły model.. Z "trybem szybkim" w workflow mogę renderować obraz 2MP w około 19 sekund na mojej 3090ti.

Czym jest SVDQ "Nunchaku"?

Ta nowa metoda kwantyzacji pozwala zmniejszyć modele Flux (w tym przypadku natywny model FP16) z 24GB do około 6,7GB. Ale to nie wszystko: możesz generować szybciej niż kiedykolwiek, bez dużej utraty jakości. Oczywiście zauważysz niewielką różnicę względem mojego 32GB_Behemoth, ale do tego drugiego potrzebujesz znacznie więcej VRAM/RAM, by go uruchomić.

Więcej informacji: https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Instalacja: Proszę odwiedź mój przewodnik instalacji workflow: https://civitai.com/articles/15610

Wersja V10 "Behemoth" (FP16_AIO)

Ta wersja jest nadal eksperymentalna. Główny cel to uzyskanie bardziej realistycznych wyników. Udało mi się też zredukować "linie Flux". Bazuje na Colossus Project V5.0_Behemoth, V9.0 i innym projekcie nazwanym "Ouroborus Project".

Wersja FP16 jest bardzo stabilna. Niedługo wydam też wersję FP8. Ta jest dobra, ale mniej stabilna..

Zapraszam do eksperymentów.. Powiedz co myślisz o tej wersji.

Miłej zabawy przy tworzeniu :-)

Wersja V9.0:

Muszę dużo wyjaśnić... Dlaczego to nawet V9.0?

Ostatnio przeprowadziłem się do nowego mieszkania i przez błąd dostawcy internetu nie miałem prawdziwego połączenia.. Więc podczas przeprowadzki zostawiłem komputer włączony. Efektem było stworzenie wielu (głównie uszkodzonych) checkpointów. Mam też kilka bardzo dobrych wersji V8, które może opublikuję..

Co się zmieniło?

Wytrenowałem nowe twarze i tekstury skóry, biorąc w zasadzie najlepsze wyniki z V5.0. Model został też trenowany na nogach/stóp dla lepszej anatomii. W wersjach V5.0 czasem obcinały głowy i stopy.. Myślę, że udało mi się naprawić te problemy..

Dodatkowo trenowałem go na moich własnych zdjęciach krajobrazów.. Tak, robiłem to wszystko podczas przeprowadzki.. Szacowany czas treningu to około 2 tygodnie mocy obliczeniowej, co nie jest tanie.. (każda godzina kosztuje mnie około 25 centów za prąd)

Mam nadzieję, że spodoba Ci się ta wersja.. Jeśli chcesz mnie wesprzeć: publikuj ładne obrazy lub możesz mi kupić kawę na ko-fi..

Podziel się swoją opinią :-)

Wersja 5.0:

V5.0 bazuje na V4.2 i V4.4 (która niebawem też zostanie wydana). Dodałem trening detali skóry i anatomii, co głównie poprawiło takie detale jak ręce i sutki. Detale twarzy są znacznie lepsze. Próbowałem też naprawić drobne linie flux..

Ogólnie ta wersja jest bardziej realistyczna niż V4.2 i lepsza w detalach. Podobnie jak wersja 4.2 jest to hybrydowy model de-distilled. Można go używać z podobnymi ustawieniami jak V4.2.

Oto nowy workflow do zabawy: https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Powiedz co myślisz o tej wersji w porównaniu do 4.2 lub V2.1..

Wersja 4.4 "Research":

Dodałem tę wersję dla kompletności.. Jest nieco bardziej realistyczna niż V4.2 i stanowi podstawę wersji 5.0. Możesz ją wypróbować. Można też użyć workflow dla V5.0 i V4.2..

Wersja 4.2:

Ta wersja to w zasadzie dalszy rozwój Demoncore Flux i Colossus Project Flux. Celem było uzyskanie bardziej stabilnych efektów z lepszymi teksturami skóry, lepszymi dłońmi i większą różnorodnością twarzy. Trenowałem model hybrydowy, częściowo Demoncore Flux. Ulepszyłem też trochę sutki i NSFW. Powiedz czy wolisz V4.2 od wersji 2.1 :-)

Do pokazowych obrazów używałem tylko natywnych obrazów w rozdzielczości SDXL lub 2MP (np. 1216x1632). Model radzi sobie też z wyższymi rozdzielczościami.. Testowałem ten checkpoint do 2500x2500, ale rekomenduję około 2000x2000.

Do ustawień polecam około 30 kroków i 2-2.5 cfg. Zwykle używam 2.2 lub 2.3 w workflow. Do showcase używałem DPM++ 2M ze Simple scheduler.

Niebawem dodam więcej wersji, ale przed świętami mam mało czasu..

Ustawienia

Niebawem dodam nowy dedykowany workflow Comfy. Na razie możesz pobrać i otworzyć obrazki pokazowe..

Wersja "All in One" działa też dobrze z Forge..

W zasadzie działa z tymi samymi ustawieniami jak wersja 2.1 (patrz poniżej)

Polecam 20-30 kroków z około 2.2 cfg..

Wersja 2.1_de-distilled_experimental (MERGOWANIE)

Ta wersja jest zupełnie inna i działa inaczej niż normalny model Flux!

Jest to eksperymentalne połączenie mojej wersji 2.0 oraz de-distilled wersji https://huggingface.co/nyanko7/flux-dev-de-distill. Stało się to trochę przez przypadek, ale efekty są niesamowite. Otrzymujesz fantastyczne detale. Dodatkowo model bardzo dobrze podąża za promptami... Kolejnym krokiem będzie trening bezpośrednio na de-distilled modelu. Już zrobiłem kilka testowych Lor z nim. To bardzo eksperymentalne, więc daj znać jeśli znajdziesz błędy nie wymienione niżej. Jeśli masz dobre obrazy, publikuj je.. także te złe, by pomóc ulepszyć model :–). Możesz też wypróbować wersję 2.0 i powiedzieć, która wersja Ci bardziej odpowiada.

!Uwaga!

Normalny workflow Flux nie działa z tą wersją. MUSISZ pobrać mój workflow!

Możesz też wymyślić coś samodzielnie, ale proszę nie obwiniaj mnie za złe obrazy. To bardzo eksperymentalny model... sprawdź minusy poniżej..

Zalety i wady tego checkpointu:

• Ten checkpoint tworzy ekstremalne detale.. To kosztuje szybkość.. Jest wolny w porównaniu do normalnych checkpointów Flux. Zaletą jest to, że często nie potrzebujesz dodatkowego upscalingu. Zamiast Flux Guidance, ten model używa skali cfg. Co oznacza, że nie działa z standardowymi workflow.

• Możesz używać negatywnych promptów! Pomaga to usunąć niechciane elementy z obrazu.

• Czasem mogą pojawić się artefakty.. Można je rozwiązać prostym i małym upscalingiem (pracuję nad tym). Oto przykład.. to dziwne, bo nie zdarza się przy każdym seedzie.. AKTUALIZACJA: To nie jest problem modelu, raczej workflow.. Pracuję nad naprawą. Jeśli się pojawi, spróbuj ustawić pierwszy upscaling na 1.14 zamiast 1.2.

  

  

Ustawienia i Workflow V2.1:

Tu znajdziesz workflow: https://civitai.com/articles/8419

Ustawienia: w przeciwieństwie do normalnego Flux nie potrzebuje Flux Guidance scale. Użyj cfg zamiast tego. Ja zwykle stosuję 3 cfg w workflow.. Niektóre obrazy mogą wymagać niższych wartości cfg.

Najważniejsze jest wyłączenie flux guidance scale..

Bez workflow testowałem z 30 krokami i 2-3 cfg. To może być też ustawienie dla Forge. Eksperymentuj.

Polecam używać słowa "blurry" w negatywach

Sampler i scheduler:

Możesz wybrać z wielu działających samplerów:

Euler, Heun, DPM++2m, deis, DDIM działają świetnie.

Najczęściej używam "simple" jako scheduler

Jeśli znajdziesz lepsze ustawienia, daj znać.. :-)

Dla Forge polecam model AIO.. oto przykładowa konfiguracja dla Forge

Wersja 2.0_dev_experimental

To wersja eksperymentalna.. Celem było stworzenie spójniejszego i szybszego modelu. Trenowałem dodatkowe lory, a potem połączyłem powstałe modele specjalną metodą (Tensor merge). Ma własny T5xxl zmodyfikowany "Attention Seeker". Dla zwiększenia szybkości i jakości dodałem Hyper Flux lora od ByteDance. To znaczy, że zmienia pole działania.. Pokazuję co to oznacza.. Oto główny obraz tytułowy..

16 kroków V 2.0

30 kroków V 1.0

Minusy:

Przede wszystkim ta wersja jest trochę większa od poprzedniej.. Po drugie muszę stworzyć wersję tylko Unet. Zaktualizuję to, gdy będzie gotowa..

Ustawienia i Workflow V2.0:

Model działa teraz przy mniejszej liczbie kroków.. 16 kroków odpowiada 30 krokom w starej wersji.

Wciąż polecam około 20-30 kroków, bo wtedy uzyskujesz lepszą jakość w większości przypadków.

Sampler: wolę Euler ze Simple jako scheduler. Guidance można ustawić od 1.5 do 3 (oczywiście możesz przetestować poza tym zakresem). Guidance 1.8 dobrze się sprawdza do realistycznych obrazów. Możesz też próbować inne samplery. DPM++2M i Heun też działają świetnie.

Workflow 2.0:

Stworzyłem nowy workflow dla V2.0 i V1.0 z nowym Flux Prompt Generator. Dodatkowo działa drugi etap upscalingu. https://civitai.com/articles/7946

Forge:

Testowałem też ten model z Forge i działał bardzo dobrze.. Obrazy mogą różnić się między Comfy UI a Forge..

Wersja 1.0_dev_beta:

To mój pierwszy model serii. Proszę, przekaż swoje uwagi i opublikuj kilka obrazów. Pomaga to w dalszym rozwoju projektu. Do wyboru jest kilka wersji. Najlepszą jakością charakteryzuje się wersja FP16. Wersja FP16 jest sporych rozmiarów i wymaga mocnej karty graficznej z dużą ilością RAM. Wersja FP8 to dobre rozwiązanie kompromisowe między jakością a wydajnością. Jeśli chcesz mieć wersję GGUF, pobierz Q8_0. Wersje GGUF Q4_0/4.1 były na prośbę. Są małe, ale tracisz trochę jakości.

Są dwie główne wersje moich modeli: "All in one", które wymagają pobrania tylko jednego pliku. Mają wbudowane Clip_l, T5xxl fp8 i VAE (patrz niżej). Umieść je w folderze checkpoints.

Druga grupa to wersje UNET-ONLY, gdzie trzeba ładować wszystkie pliki osobno.

W każdym przypadku musisz pobrać mój Clip_L, aby model działał poprawnie..

Ważne jest też dobranie właściwego T5xxl clip. Dla wersji FP8 to t5xxl clip fp8_e4m3fn. Dla FP16: wersja FP16 clip. Upewnij się, że wybrałeś domyślny typ wagi. (patrz przykład dla wersji fp8 poniżej)

Dla wersji GGUF potrzebujesz loadera GGUF!

Coś znanego w V1.0:

To dopiero pierwszy model serii, więc może mieć problemy z niektórymi promptami czy stylami, np. sztuką. Kolejne wersje będą trenowane dalej. Daj znać, co model nie potrafi.

Ustawienia i Workflow:

Testowałem około 30 kroków, Euler ze Simple jako scheduler. Guidance można ustawić od 1.5 do 3 (oczywiście możesz testować poza tym zakresem)

Guidance 1.8 dobrze działa dla realistycznych obrazów.

Śmiało eksperymentuj z tymi ustawieniami.. Jeśli uzyskasz dobre wyniki, podziel się nimi.

Dodałem obrazki prezentacyjne jako dane treningowe.. Wewnątrz jest workflow dla Comfy. Tu możesz go pobrać: https://civitai.com/articles/7946

Model "All in one":

Tylko UNET:

Musisz też pobrać clip_L, to plik 240MB.

GGUF: Dodałem workflow dla GGUF tutaj: https://civitai.com/articles/7946

Ważne:

Model deweloperski nie jest przeznaczony do użytku komercyjnego. Model "schnell" opublikuję w innym miejscu. Jest bardziej przeznaczony do użytku osobistego lub naukowego.

LICENCJA:

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Podziękowania:

theunlikely https://huggingface.co/theunlikel (dziękuję jeszcze raz)

Wersja 2.1/V4.2/5.0: Flux_dev_de-distill od nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Od V2.0: Hyper Lora od ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest za ich niesamowity model Flux https://huggingface.co/black-forest-labs