Nel profondo sotto una montagna vive un gigante addormentato, capace sia di aiutare l’umanità che di creare distruzione...

Un Colosso si risveglia...

Dopo la mia serie SDXL è tempo della serie FLUX di questo progetto... Questa volta ho addestrato questa cosa da zero. Per l’addestramento ho usato le mie immagini. Le ho create con il mio modello schnell Flux DemonFlux/Colossus Project schnell + il mio SDXL Colossus Project 12 come rifinitore.

Questo SD Flux-Checkpoint è capace di produrre quasi tutto.. Colossus è molto bravo a creare immagini estremamente realistiche, anime e arte.

Se ti piace, sentiti libero di darmi un feedback. Inoltre, se vuoi supportarmi puoi farlo qui. Ho speso un bel po’ di soldi per costruire un computer capace realmente di addestrare modelli Flux.. Anche l’addestramento e i test richiedono molto tempo ed elettricità..

https://ko-fi.com/afroman4peace

Versione V12 "Hephaistos"

Pubblicare questo checkpoint mi rende felice e triste allo stesso tempo.. V12 sarà l’ultimo checkpoint di questa serie.. La ragione principale sono le imminenti leggi UE sull’AI... Un’altra ragione è la licenza di Flux .1 DEV stesso. Grazie a tutti per il supporto! Ho dedicato molto tempo a questo progetto nell’ultimo anno. Ora è tempo di passare a un progetto diverso.

Comunque.. concluderò questa serie in bellezza...

V12 è costruito sulla base di V10B "BOB" ma ha fondamentalmente le migliori parti di questa serie fuse in un unico checkpoint. (È stato il risultato di un nuovo metodo di fusione che ha richiesto circa 1:30h e ha utilizzato tutta la mia RAM da 128GB). Ho anche migliorato le texture del volto e della pelle rispetto a V10. Gli occhi sono molto più realistici e più "vivi" rispetto a prima.

Provalo tu stesso e dammi un feedback su V12. "Grazie" alla mia connessione internet lenta caricherò prima FP8_UNET. Dopo verrà la versione FP8 "tutto in uno" quindi FP16_unet e FP16_BEHEMOTH. Cercherò anche di convertirlo in int4 e fp4 (augurami buona fortuna).

Come sempre, dacci un feedback su V12..

Versione V12 "Behemoth" (AIO)

Questo modello "tutto in uno" è il migliore della mia serie V12.. e naturalmente il più grande in dimensioni :-)

Il Behemoth ha un T5xxl personalizzato e Clip_l integrato nel modello. Se preferisci la qualità alla quantità questo è il checkpoint per te!

Versione V12 FP4/int4

Grazie a Muyang Li di Nunchakutech che ha effettuato la quantificazione di V12. https://huggingface.co/nunchaku-tech e il loro fantastico nunchaku!

Questa versione è veramente straordinaria. Combina qualità e velocità come mai visto prima.

ATTENZIONE!

Ci sono due versioni FP4 e int4. FP4 è solo per schede grafiche Nvidia 50xx! Mentre int4 funziona con 40xx e inferiori. (è necessaria almeno una scheda grafica serie 20xx)

Puoi anche scaricare entrambe le versioni direttamente qui: https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

GUIDA ALL’INSTALLAZIONE e WORKFLOW

Ecco una guida rapida all’installazione e un workflow in fase di sviluppo.

https://civitai.com/articles/17313

GUIDA DETTAGLIATA per il Workflow

https://civitai.com/articles/17358

Sto ancora lavorando ai miei nuovi workflow per Nunchaku.. quindi il workflow seguente è ancora molto in WIP (work in progress). Aggiungerò un articolo dettagliato nel weekend.

Versione V12 FP16_B_variant

Grazie a un piccolo errore che ho fatto a notte fonda (2 di notte) ho rinominato e caricato il checkpoint "sbagliato". È un checkpoint molto sperimentale mai destinato a essere pubblicato. Non è molto testato ma ha dato buone prestazioni quando ho creato la demo. Potrebbe essere migliore della versione standard.

Predilige volti più asiatici.. Questo perché volevo testare qualcosa da integrare in un progetto parallelo su cui sto ancora lavorando. Raccontami la tua esperienza con questo checkpoint :-)

Versione V12 AIO FP8

Questa versione è una versione tutto in uno di V12. Ciò significa che tutti i clip sono integrati al suo interno. Fornirà lo stesso output di FP8_unet con il mio clip_l personalizzato.

Versione V12 GGUF Q5_1

Questa versione è stata richiesta. Non è male come qualità..

Versione V10B "BOB"

Questa è una versione alternativa di V10. L’ho creata per migliorare la versione FP8 di V10. In generale la versione FP8 è più precisa e i colori sono migliori. Purtroppo ultimamente non ho molto tempo.. (la vita reale viene prima). Ecco perché ha impiegato così tanto tempo.. Fammi sapere se preferisci questa versione. Ho anche una versione FP16 di "BOB". In base ai feedback valuterò di pubblicare anche una versione int4.

WORKFLOW:

Ecco il workflow per V12 e V10: https://civitai.com/articles/17163

Versione V10_int4_SVDQ "Nunchaku"

Per prima cosa voglio ringraziare theunlikely https://huggingface.co/theunlikely che ha convertito FP16_Unet in int4_SVDQ. Visita la sua pagina e lascia un like.

Questa versione è più o meno equivalente alla versione FP8. Anche in modalità normale all’interno del mio workflow questa cosa è circa 2X-3X più veloce del modello normale.. Con la "modalità veloce" del workflow posso rendere un’immagine da 2MP in circa 19 secondi con la mia 3090ti.

Cos’è SVDQ "Nunchaku"?

Questo nuovo metodo di quantificazione permette di ridurre i modelli Flux (in questo caso un modello nativo FP16) da 24GB a circa 6.7GB. Ma non è tutto: puoi generare immagini più velocemente che mai senza perdere troppa qualità. Sicuramente noterai una piccola differenza rispetto al mio 32GB_Behemoth, ma per questo modello servirà molta più VRAM/RAM per farlo girare.

Per maggiori informazioni visita: https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Installazione: Per favore visita la mia guida al workflow/installazione: https://civitai.com/articles/15610

Versione V10 "Behemoth" (FP16_AIO)

Questa versione è ancora sperimentale. L’obiettivo principale era ottenere risultati più realistici. Sono riuscito anche a ridurre alcune "Linee Flux". Questa cosa è basata su Colossus Project V5.0_Behemoth, V9.0 e un altro progetto che chiamo "Ouroboros Project".

La versione FP16 è molto stabile. Sto anche rilasciando presto una versione FP8. Questa è molto buona ma non altrettanto stabile.

Ti lascio sperimentare con essa.. Dimmi cosa pensi di questa versione.

Divertiti a creare :-)

Versione V9.0:

Bene, devo spiegare molto.. Per prima cosa, perché proprio V9.0?

Di recente mi sono trasferito in un nuovo appartamento e a causa di alcuni errori dell’provider internet non avevo una vera connessione.. Quindi mentre facevo il trasloco.. ho lasciato il computer acceso. Il risultato è stato che ho creato molti checkpoint (per lo più corrotti). Ho però alcune buone versioni V8 che potrei pubblicare..

Cosa è cambiato?

Ho addestrato nuovi volti e texture della pelle inserendo fondamentalmente i migliori risultati di V5.0. Inoltre il modello ha ricevuto un addestramento per piedi/gambe con anatomia migliore. Le versioni V5.0 a volte tagliavano la testa e i piedi.. Credo di aver risolto alcuni di questi problemi..

Inoltre l’ho addestrato con più mie immagini di paesaggi.. E sì, ho fatto tutto questo mentre mi trasferivo in un nuovo appartamento... Penso che il tempo complessivo di addestramento sia stato circa 2 settimane di tempo di calcolo, non esattamente economico.. (ogni ora mi costa circa 25 centesimi di elettricità).

Comunque spero ti piaccia questa versione.. Se vuoi supportarmi: pubblica delle belle immagini/ o magari donami anche con buzz o su Ko-fi..

Dimmi cosa ne pensi :-)

Versione 5.0:

V5.0 è basato su V4.2 e V4.4 (che verrà rilasciato presto). Ha un addestramento aggiuntivo sui dettagli della pelle e per l’anatomia in generale, che ha sistemato soprattutto mani e capezzoli. I dettagli del volto sono molto migliorati. Ho anche provato a correggere alcune linee flux minori..

In generale questa versione è più realistica di V4.2 e migliore nei dettagli piccoli.. Come V4.2 anche questa versione è un modello ibrido de-distillato. Puoi usarlo praticamente con le stesse impostazioni di V4.2.

Ecco anche un nuovo workflow con cui giocare: https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Dimmi cosa ne pensi rispetto a 4.2 o V2.1..

Versione 4.4 "Research":

Ho aggiunto questa versione solo per completamento.. È leggermente più realistica di V4.2 ed è la base di Versione 5.0. Puoi provarla se vuoi. Puoi anche usare il workflow per V5.0 e V4.2..

Versione 4.2:

Questa versione è fondamentalmente un ulteriore sviluppo di Demoncore Flux e Colossus Project Flux. L’obiettivo era ottenere un risultato più stabile con texture della pelle migliori, mani migliori e più varietà di volti. Quindi l’ho addestrata su un modello ibrido che è in parte Demoncore Flux. Ho anche migliorato un po’ i capezzoli e il NSFW. Dimmi se preferisci V4.2 rispetto alla versione 2.1 :-)

Per le immagini demo: ho usato solo immagini native con risoluzione SDXL o 2MP (ad esempio 1216x1632). Questo modello può gestire risoluzioni ancora più alte.. Ho testato questo checkpoint fino a 2500x2500 ma consiglio di usare circa 2000x2000.

Per le impostazioni raccomando circa 30 passi e da 2 a 2.5 cfg. Io uso soprattutto 2.2 o 2.3 nel mio workflow. Per la demo ho usato DPM++ 2M con Simple scheduler.

Aggiungerò altre versioni presto ma prima di Natale non ho molto tempo..

Impostazioni

A breve aggiungerò un workflow dedicato e più nuovo per Comfy. Per ora puoi sempre scaricare e aprire le immagini demo..

La versione "All in One" funziona bene anche con Forge..

Fondamentalmente funziona con le stesse impostazioni della versione 2.1 (vedi sotto)

Usa 20-30 passi con circa 2.2 cfg..

Versione 2.1_de-distilled_experimental (MERGE)

Questa versione è completamente diversa e funziona in modo diverso rispetto a un normale modello Flux!

È una fusione sperimentale tra la mia versione 2.0 e una versione de-distillata https://huggingface.co/nyanko7/flux-dev-de-distill. È successo un po’ per caso ma i risultati sono sorprendenti. Avrai dettagli sbalorditivi. Segue anche molto bene le indicazioni... Quindi la prossima cosa che farò è addestrare direttamente sul modello de-distillato. Ho già fatto qualche test con Lora. È molto sperimentale quindi fammi sapere se trovi errori non elencati qui sotto. Se hai immagini buone pubblicale.. anche quelle brutte possono aiutare a migliorare :-). Proverò anche la versione 2.0 e dimmi quale tipo di checkpoint ti si addice di più.

!Attenzione!

Il normale workflow Flux non funziona con questa versione. DEVI scaricare il mio workflow per usarla!

Puoi anche provare a trovare qualcosa da solo, ma per favore non incolparmi per immagini brutte. Inoltre è un modello altamente sperimentale... consulta gli svantaggi qui sotto..

Pregi e Difetti di questo checkpoint:

• Questo checkpoint può creare dettagli estremi.. Questo ha un prezzo.. È lento rispetto ai normali checkpoint Flux. Il vantaggio è che spesso non serve più un ulteriore upscaling. Invece di usare Flux Guidance questo modello usa la scala cfg. Il che significa anche che non funziona con i workflow standard.

• Puoi usare prompt negativi! Questo aiuta a togliere cose dall’immagine che non vuoi.

• A volte possono apparire artefatti.. Puoi risolvere con un piccolo semplice upscaling (sto lavorando su questo). Ecco un esempio.. succede in modo strano non con ogni seed.. AGGIORNAMENTO: non è un problema del modello.. ma piuttosto del workflow.. Sto lavorando a una soluzione. Se succede puoi provare a impostare il primo upscaling a 1.14 invece che 1.2.

  

  

Impostazioni e Workflow V2.1:

Qui trovi il workflow: https://civitai.com/articles/8419

Impostazioni: a differenza del normale Flux non necessita di Flux Guidance scale. Usa invece cfg. Io uso principalmente 3 cfg nel workflow.. Alcune immagini potrebbero richiedere scale cfg più basse.

La cosa più importante potrebbe essere spegnere la scala flux guidance..

Ho testato senza workflow con 30 passi e 2-3 cfg. Potrebbero essere anche le impostazioni per Forge. Prova a sperimentare.

Consiglio di usare la parola "blurry" nei negativi

Sampler e scheduler:

Puoi scegliere tra diversi sampler funzionanti:

Euler, Heun, DPM++2m, deis, DDIM funzionano bene.

Uso principalmente "simple" come scheduler

Se trovi impostazioni migliori dimmi.. :-)

Per Forge raccomando il modello AIO.. ecco un esempio di impostazioni per Forge

Versione 2.0_dev_experimental

Beh.. questa è una versione sperimentale.. L’obiettivo era creare un modello più coerente e veloce. Ho addestrato alcune lora aggiuntive create da me e poi ho fuso i modelli risultanti in modo speciale (Tensor merge). Ha un T5xxl personalizzato che ho modificato con "Attention Seeker". Per aumentare velocità e qualità aggiuntiva ho integrato l’Hyper Flux lora da ByteDance. Questo ha spostato l’area di lavoro.. Ti mostro cosa significa.. Ecco l’immagine principale del titolo..

16 passi V 2.0

30 passi V 1.0

Svantaggi:

Per prima cosa.. Questa versione è un po’ più grande della precedente.. Secondo, devo ancora creare la versione solo Unet. Aggiornerò quando sarà pronta..

Impostazioni e Workflow V2.0:

Ora puoi far girare il modello con meno passi.. 16 passi equivalgono a 30 passi del modello vecchio.

Consiglio comunque circa 20- 30 passi perché quasi sempre dà più qualità.

Sampler: preferisco Euler con Simple come scheduler. La guida può essere impostata da 1.5 a 3 (senti libero di testare fuori da questo range naturalmente). La guida a 1.8 funziona ancora bene per immagini realistiche. Puoi anche provare altri sampler. DPM++2M e Heun funzionano molto bene.

Workflow 2.0:

Ho creato un nuovo workflow per V2.0 e V1.0. Ha il nuovo Flux Prompt Generator. Inoltre ho fatto funzionare la seconda fase di upscaling. https://civitai.com/articles/7946

Forge:

Ho testato questo modello anche con Forge e ha funzionato molto bene.. Le immagini possono però variare tra Comfy UI e Forge..

Versione 1.0_dev_beta:

Questo modello è il mio primo lavoro della serie. Dammi per favore un feedback e pubblica qualche immagine. Questo mi aiuterà a migliorare ulteriormente il progetto. Ci sono diverse versioni tra cui scegliere. Il modello migliore in termini di qualità è la versione FP16. La versione FP16 è grande e necessita di una scheda grafica potente e molta RAM. La versione FP8 è quella che considero una buona soluzione tra qualità e performance. Se vuoi la versione GGUF scarica Q8_0. La versione GGUF Q4_0/4.1 è stata richiesta. Sono piccole ma perdi un po’ di qualità.

Fondamentalmente ho due tipi di modelli: quelli "tutto in uno" che richiedono solo un file da scaricare. Hanno Clip_l, T5xxl fp8 e VAE integrati. (guarda sotto). Metti questo dentro la cartella checkpoints.

Le altre versioni sono solo UNET. Qui devi caricare ogni file separatamente.

In ogni caso devi scaricare il mio Clip_L per farli funzionare bene..

Importante anche scegliere il clip T5xxl corretto. Per la versione FP8 è il clip fp8_e4m3fn t5xxl. Per FP16 è il clip FP16. Assicurati di selezionare il tipo di peso predefinito. (sotto c’è un esempio di immagine per la versione fp8)

Per la versione GGUF serve il loader GGUF!

Cose note per ora su V1.0:

È solo il primo modello della serie quindi al momento potrebbe avere problemi con alcuni prompt o stili come arte. La prossima versione avrà più addestramento. Fammi sapere cosa il modello non riesce a fare..

Impostazioni e Workflow:

Ho testato con circa 30 passi, Euler con Simple come scheduler. La guida può essere impostata da 1.5 a 3 (sintiti libero di testare fuori da questo range).

La guida a 1.8 funziona bene per immagini realistiche.

Sperimenta con queste impostazioni.. Se ottieni buoni risultati, per favore pubblicali.

Ho aggiunto le immagini demo come dati di addestramento.. Dentro c’è il workflow per Comfy. Ecco il workflow per il download: https://civitai.com/articles/7946

Modello "tutto in uno":

Solo UNET:

Devi scaricare anche clip_L. È il file da 240MB.

GGUF: Ho aggiunto il workflow per GGUF qui: https://civitai.com/articles/7946

Importante:

Il modello dev non è destinato all’uso commerciale. Per questo pubblicherò il modello "schnell" in un posto diverso. È più destinato a uso personale o scientifico.

LICENZA:

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Crediti:

theunlikely https://huggingface.co/theunlikel (grazie ancora)

Versione 2.1/V4.2/5.0: Flux_dev_de-distill da nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Da V2.0: Hyper Lora da ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest per il loro straordinario modello Flux https://huggingface.co/black-forest-labs