Głęboko pod górą śpi olbrzym, zdolny albo pomóc ludzkości, albo sprowadzić zniszczenie...

Powstaje Kolos...

Po mojej serii SDXL nadszedł czas na serię FLUX tego projektu... Tym razem trenowałem wszystko od podstaw. Do treningu użyłem własnych obrazów, które stworzyłem z pomocą mojego szybkiego modelu Flux DemonFlux/Colossus Project schnell plus mojego SDXL Colossus Project 12 jako refiner.

Ten SD Flux-Checkpoint potrafi wygenerować niemal wszystko.. Colossus jest bardzo dobry w tworzeniu ekstremalnie realistycznych obrazów, anime i sztuki.

Jeśli ci się podoba, śmiało daj mi feedback. Jeśli chcesz mnie wesprzeć, możesz to zrobić tutaj. Wydałem sporo pieniędzy na komputer zdolny do trenowania modeli Flux.. Trening i testowanie zajmuje też sporo czasu i prądu..

https://ko-fi.com/afroman4peace

Wersja V12 "Hephaistos"

Publikacja tego checkpointu sprawia, że jestem jednocześnie szczęśliwy i smutny.. V12 będzie ostatnim checkpointem tej serii.. Głównym powodem są nadchodzące przepisy UE dotyczące AI... Kolejny powód to licencja Flux .1 DEV. Dziękuję wszystkim za wsparcie! Poświęciłem temu projektowi dużo czasu przez ostatni rok. Teraz czas przejść do innego projektu.

Tak czy inaczej.. zakończę tę serię na wysokim poziomie...

V12 opiera się na V10B "BOB" lecz zawiera w sobie najlepsze części tej serii scalone w jeden checkpoint. (To wynik nowej metody łączenia, która zajęła około 1:30h i wykorzystała cały mój 128GB RAM). Ulepszyłem też tekstury twarzy i skóry względem V10. Oczy są znacznie bardziej realistyczne i „żywe”.

Wypróbuj sam i daj znać o V12. Dzięki mojemu wolnemu łączu najpierw wrzucę FP8_UNET, potem wersję FP8 "all in one", następnie FP16_unet i FP16_BEHEMOTH. Postaram się też przekonwertować do int4 i fp4 (życz mi powodzenia).

Zawsze daj mi feedback o V12..

Wersja V12 "Behemoth" (AIO)

Ten "all in one" model to najlepsze z mojej serii V12.. i oczywiście największy rozmiarowo :-)

Behemoth ma wbudowane spersonalizowane T5xxl i Clip_l w modelu. Jeśli cenisz jakość ponad ilość, to jest checkpoint dla Ciebie!

Wersja V12 FP4/int4

Dzięki Muyang Li z Nunchakutech, który wykonał kwantyzację V12. https://huggingface.co/nunchaku-tech oraz ich niesamowitym nunchaku!

Ta wersja jest naprawdę zdumiewająca. Łączy jakość z szybkością jakiej nigdy wcześniej nie widziano.

UWAGA!

Są dwie wersje FP4 i int4. FP4 tylko dla kart Nvidia 50xx! Int4 działa na 40xx i niżej. (wymagane minimum karta z serii 20xx)

Możesz też pobrać obie wersje bezpośrednio tutaj: https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

Instrukcja instalacji i workflow

Oto szybki przewodnik instalacji i warunkowo działający workflow.

https://civitai.com/articles/17313

SZCZEGÓŁOWY PRZEWODNIK po Workflow

https://civitai.com/articles/17358

Wciąż pracuję nad nowymi workflow dla Nunchaku.. więc poniższy workflow jest jeszcze WIP (work in progress). Dodam szczegółowy artykuł w weekend.

Wersja V12 FP16_B_variant

Dzięki małemu błądowi, który zrobiłem późno w nocy (2AM), nazwałem i wrzuciłem "zły" checkpoint. To bardzo eksperymentalny checkpoint, nigdy nie miał być publiczny. Nie jest zbyt przetestowany, ale spisywał się bardzo dobrze podczas tworzenia pokazówki. Być może lepszy od standardowej wersji.

Preferuje twarze azjatyckie.. To dlatego, że chciałem przetestować coś, co miesza się z projektem pobocznym, nad którym wciąż pracuję. Podziel się swoimi doświadczeniami z tym checkpointem :-)

Wersja V12 AIO FP8

Ta wersja to wersja all in one V12. Oznacza to, że wszystkie klipy są w niej wbudowane. Da ten sam efekt co FP8_unet z moim spersonalizowanym clip_l

Wersja V12 GGUF Q5_1

Ta wersja była na prośbę. Jakość nie jest zła..

Wersja V10B "BOB"

Alternatywna wersja V10. Stworzyłem ją, by ulepszyć wersję FP8 V10. Generalnie FP8 jest bardziej precyzyjna, kolory lepsze. Niestety ostatnio mam mało czasu.. (życie realne jest ważniejsze). Dlatego trwało to tak długo.. Daj znać, czy wolisz tę wersję. Mam też wersję FP16 "BOB". W zależności od opinii rozważę też wydanie wersji int4.

Workflow:

Oto workflow dla V12 i V10: https://civitai.com/articles/17163

Wersja V10_int4_SVDQ "Nunchaku"

Na początku dziękuję theunlikely https://huggingface.co/theunlikely za przekonwertowanie FP16_Unet do int4_SVDQ. Odwiedź jego stronę i zostaw lajka.

Ta wersja jest mniej więcej równa wersji FP8. Nawet w normalnym trybie workflow jest 2-3 razy szybsza od zwykłego modelu.. W "fast mode" workflow mogę wygenerować 2MP obraz w około 19 sekund na mojej 3090ti.

Czym jest SVDQ "Nunchaku"?

Ta nowa metoda kwantyzacji pozwala zmniejszyć modele Flux (tutaj natywny model FP16) z 24GB do około 6,7GB. Ale to nie wszystko: możesz generować szybciej niż kiedykolwiek bez większej utraty jakości. Oczywiście zobaczysz małą różnicę względem mojego 32GB_Behemoth, ale na ten model potrzebujesz znacznie więcej VRAM/RAM żeby go w ogóle odpalić.

Więcej informacji: https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Instalacja: Odwiedź mój workflow/poradnik instalacji: https://civitai.com/articles/15610

Wersja V10 "Behemoth" (FP16_AIO)

Wersja nadal eksperymentalna. Główny cel to uzyskanie bardziej realistycznych efektów. Udało się też zredukować "Linie Flux". Bazuje na Colossus Project V5.0_Behemoth, V9.0 i innym projekcie, który nazwę "Ouroborus Project"

Wersja FP16 jest bardzo stabilna. Wkrótce udostępnię też wersję FP8. Ta jest też dobra, ale mniej stabilna..

Zapraszam do eksperymentów.. Daj znać co myślisz o tej wersji.

Miłej zabawy przy tworzeniu :-)

Wersja V9.0:

Muszę dużo wyjaśnić.. Dlaczego to w ogóle V9.0?

Ostatnio przeprowadziłem się do nowego mieszkania i z powodu błędów dostawcy internetu nie miałem prawdziwego połączenia.. Więc podczas przeprowadzki zostawiłem komputer włączony. W rezultacie stworzyłem dużo checkpointów (większość uszkodzonych). Mam też kilka dobrych wersji V8, które być może też opublikuję..

Co się zmieniło?

Wytresowałem nowe twarze i tekstury skóry bazując na najlepszych wynikach V5.0. Dodałem też trening na stopy/nogi dla lepszej anatomii. Wersje V5.0 czasami obcinały głowę i stopy.. Myślę, że udało się rozwiązać te problemy..

Dodatkowo trenowałem na moich własnych zdjęciach krajobrazów.. Tak, robiłem to wszystko podczas przeprowadzki... Szacuję czas treningu na około 2 tygodnie (koszt prądu ~25 centów za godzinę).

Mam nadzieję, że spodoba Ci się ta wersja.. Jeśli chcesz mnie wesprzeć: publikuj ładne obrazy lub nawet napiwki na Buzz albo Ko-fi..

Powiedz co myślisz :-)

Wersja 5.0:

V5.0 bazuje na V4.2 i V4.4 (która również wkrótce zostanie wydana). Dodano trening na szczegóły skóry i anatomię, co naprawiło takie rzeczy jak dłonie i sutki. Szczegóły twarzy są znacznie lepsze. Próbowałem też naprawić drobne linie flux..

Ogólnie ta wersja jest bardziej realistyczna niż V4.2 i lepsza w szczegółach.. Podobnie jak V4.2, to hybrydowy model zde-destylowany. Można go używać z ustawieniami jak dla V4.2.

Nowy workflow do wypróbowania: https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Powiedz co myślisz o tej wersji w porównaniu z 4.2 lub V2.1..

Wersja 4.4 "Research":

Dodałem tę wersję dla kompletności.. Jest lekko bardziej realistyczna niż V4.2 i bazą dla V5.0. Możesz jej spróbować. Możesz też używać workflow dla V5.0 i V4.2..

Wersja 4.2:

Ta wersja jest właściwie dalszym rozwinięciem Demoncore Flux i Colossus Project Flux. Cel to stabilniejsze wyniki z lepszą teksturą skóry, lepszymi dłońmi i większą różnorodnością twarzy. Trenowana na hybrydowym modelu zawierającym części Demoncore Flux. Ulepszyłem też sutki i NSFW. Powiedz czy wolisz V4.2 od wersji 2.1 :-)

Do showcase użyłem tylko natywnych obrazów w rozdzielczości SDXL lub 2MP (np. 1216x1632). Model radzi sobie też z większymi rozdzielczościami, testowałem do 2500x2500 ale rekomenduję około 2000x2000.

Zalecane ustawienia to około 30 kroków i 2-2.5cfg. W workflow zazwyczaj używam 2.2 lub 2.3. Do pokazu zastosowałem DPM++ 2M z Simple scheduler.

Wkrótce dodam więcej wersji, ale przed świętami mam mało czasu..

Ustawienia

Wkrótce dodam dedykowany workflow Comfy. Na razie zawsze możesz pobrać i otworzyć obrazy z showcase..

Wersja "All in One" działa też dobrze z Forge..

Zasadniczo działa z podobnymi ustawieniami jak Wersja 2.1 (patrz niżej)

Ustaw około 20-30 kroków i ok. 2.2 cfg..

Wersja 2.1_de-distilled_experimental (MERGE)

Ta wersja jest całkowicie inna i działa inaczej niż zwykły model Flux!

To eksperymentalne połączenie mojej wersji 2.0 oraz zde-destylowanego modelu https://huggingface.co/nyanko7/flux-dev-de-distill. Stało się to trochę przypadkowo, ale efekty są zdumiewające. Otrzymujesz niesamowite detale. Bardzo dobrze podążą za promptami... Następnie zamierzam trenować bezpośrednio na zde-destylowanym modelu. Już zrobiłem kilka testowych LORów. To bardzo eksperymentalne, więc daj znać, jeśli znajdziesz błędy, które nie są wypisane niżej. Jeśli masz dobre obrazy, publikuj je.. także złe, to może pomóc w poprawie :) Spróbuj też wersji 2.0 i powiedz, który checkpoint bardziej ci pasuje.

!Uwaga!

Normalny workflow Flux nie działa z tą wersją. MUSISZ pobrać mój workflow!

Możesz też coś sam wymyślić, ale proszę, nie obwiniaj mnie za złe obrazy. To bardzo eksperymentalny model... sprawdź minusy poniżej..

Plusy i minusy tego checkpointu:

• Checkpoint tworzy ekstremalne detale.. To jest kosztem szybkości.. Jest wolniejszy w porównaniu do standardowych checkpointów Flux. Plus jest taki, że często nie potrzebujesz już dodatkowego powiększania. Zamiast Flux Guidance ten model używa skali cfg, co oznacza, że nie zadziała z normalnymi workflow.

• Możesz używać negatywnych promptów! Pomaga to usuwać niechciane elementy z obrazu.

• Czasem mogą pojawić się artefakty.. Rozwiążesz to małym i prostym upscale (pracuję nad tym). Oto przykład.. dzieje się to dziwnie nie z każdym seedem.. AKTUALIZACJA: To nie jest problem modelu, tylko workflow... Pracuję nad poprawką. Jeśli się to pojawi, spróbuj ustawić pierwszy upscale na 1.14 zamiast 1.2.

  

  

Ustawienia i workflow V2.1:

Workflow dla tego znajdziesz tutaj: https://civitai.com/articles/8419

Ustawienia: W przeciwieństwie do normalnego Flux nie potrzeba flux guidance scale. Użyj zamiast tego cfg. Zazwyczaj używam 3 cfg w workflow.. Niektóre obrazy mogą wymagać niższej skali cfg

Najważniejsze, by wyłączyć flux guidance scale..

Bez workflow testowałem z 30 krokami i 2-3 cfg. To może być dobre też dla Forge. Eksperymentuj.

Zalecam używać słowa "blurry" w promptach negatywnych

Sampler i scheduler:

Możesz wybierać spośród wielu działających samplerów:

Euler, Heun, DPM++2m, deis, DDIM działają świetnie.

Zazwyczaj używam "simple" jako scheduler

Jeśli znajdziesz lepsze ustawienia, daj znać.. :-)

Dla Forge polecam model AIO.. oto przykładowe ustawienia dla Forge

Wersja 2.0_dev_experimental

To wersja eksperymentalna.. Cel to stworzenie bardziej spójnego i szybszego modelu. Wprowadziłem dodatkowe treny lor, a potem połączyłem modele specjalną metodą (Tensor merge). Ma spersonalizowany T5xxl zmodyfikowany "Attention Seeker". Dla uzyskania szybkości i jakości dołączyłem Hyper Flux lora od ByteDance. To przesunęło zakres działania.. Oto główny obraz tytułowy..

16 kroków V 2.0

30 kroków V 1.0

Minusy:

Po pierwsze ta wersja jest trochę większa niż poprzednia.. Po drugie muszę jeszcze stworzyć wersję tylko UNET. Zaktualizuję jak będzie gotowe..

Ustawienia i workflow V2.0:

Model możesz uruchomić teraz z mniejszą ilością kroków.. 16 kroków daje jakość równą 30 krokom starego modelu.

Zazwyczaj polecam 20-30 kroków, bo to daje więcej jakości w większości przypadków.

Sampler: wolę Euler z Simple scheduler. Guidance można ustawić od 1.5 do 3 (możesz próbować poza tym zakresem). Guidance 1.8 jest bardzo dobre dla realistycznych obrazów. Możesz też testować inne samplery. DPM++2M i Heun również działają świetnie.

Workflow 2.0:

Stworzyłem nowy workflow dla V2.0 i V1.0. Zawiera nowy Flux Prompt Generator. Działa też drugi etap upscalera. https://civitai.com/articles/7946

Forge:

Testowałem ten model też z Forge, działa bardzo dobrze.. Obrazy mogą się różnić między Comfy UI a Forge..

Wersja 1.0_dev_beta:

To moja pierwsza wersja z serii. Daj proszę feedback i publikuj obrazy. To pomaga rozwijać projekt. Jest kilka wersji do wyboru. Najlepsza pod względem jakości to wersja FP16. Jest duża i wymaga mocnej karty graficznej oraz dużo RAM. Wersja FP8 to dobre rozwiązanie pomiędzy jakością a wydajnością. Jeśli chcesz wersję GGUF, pobierz Q8_0. Wersje GGUF Q4_0/4.1 było na prośbę. Są małe, ale tracisz trochę jakości.

Są zasadniczo dwa typy moich modeli: "All in one", które potrzebują tylko jednego pliku. Mają wbudowane Clip_l, T5xxl fp8 i VAE. Umieść je w folderze checkpoints.

Drugie to wersje UNET-ONLY. Tutaj musisz ładować wszystkie pliki osobno.

W każdym przypadku musisz pobrać mój Clip_L, aby je poprawnie uruchomić..

Ważne jest też wybranie odpowiedniego klipu T5xxl. Dla FP8 to fp8_e4m3fn t5xxl clip. Dla FP16 to FP16 clip. Upewnij się, że wybrałeś domyślny typ wag. (niżej przykład obrazka dla wersji fp8)

Dla wersji GGUF potrzebujesz GGUF loader!

Na razie znane kwestie dla V1.0:

To dopiero pierwszy model z serii, więc może mieć problemy z niektórymi promptami lub stylami jak sztuka. Kolejna wersja będzie miała więcej treningu. Daj znać, czego model nie potrafi..

Ustawienia i workflow:

Testowałem około 30 kroków, Euler z Simple scheduler. Guidance od 1.5 do 3 (możesz eksperymentować poza tym zakresem).

Guidance 1.8 działa dobrze dla realistycznych obrazów.

Eksperymentuj z ustawieniami.. Jeśli masz dobre rezultaty, publikuj je proszę.

Dodałem obrazy showcase jako dane treningowe. W środku jest workflow dla Comfy. Oto link do workflow do pobrania: https://civitai.com/articles/7946

Model "All in one":

UNET only:

Musisz też pobrać clip_L. To plik 240MB.

GGUF: Dodałem workflow dla GGUF tutaj: https://civitai.com/articles/7946

Ważne:

Model deweloperski nie jest przeznaczony do użytku komercyjnego. Na ten cel udostępnię model "schnell" w innym miejscu. Jest bardziej do użytku osobistego lub naukowego.

LICENCJA:

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Podziękowania:

theunlikely https://huggingface.co/theunlikel (dziękuję ponownie)

Wersja 2.1/V4.2/5.0: Flux_dev_de-distill od nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Od V2.0: Hyper Lora od ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest za ich niesamowity model Flux https://huggingface.co/black-forest-labs