Nel profondo di una montagna vive un gigante addormentato, capace di aiutare l'umanità o di creare distruzione...

Sorge un Colosso...

Dopo la mia serie SDXL è tempo della serie FLUX di questo progetto... Questa volta ho addestrato questa cosa da zero. Per l'addestramento ho usato le mie immagini. Le ho create con il mio modello schnell Flux DemonFlux/Colossus Project schnell + il mio SDXL Colossus Project 12 come raffinatore.

Questo Checkpoint SD Flux è capace di produrre praticamente tutto.. Colossus è molto bravo a creare immagini estremamente realistiche, anime e artistiche.

Se ti piace, sentiti libero di darmi un riscontro. Anche se vuoi supportarmi puoi farlo qui. Ho speso un bel po' di soldi per costruire un computer capace di addestrare davvero i modelli Flux.. Anche l'addestramento e i test richiedono molto tempo ed elettricità..

https://ko-fi.com/afroman4peace

Versione V12 "Hephaistos"

Pubblicare questo checkpoint mi rende felice e triste allo stesso tempo.. V12 sarà l'ultimo checkpoint di questa serie.. La ragione principale sono le imminenti leggi UE sull'AI... Un altro motivo è la licenza di Flux .1 DEV stessa. Grazie a tutti per il supporto! Ho dedicato molto tempo a questo progetto nell'ultimo anno. Ora è tempo di passare a un progetto diverso.

Comunque.. concluderò questa serie con una nota positiva...

V12 è costruito su V10B "BOB" ma ha praticamente le migliori parti di questa serie fuse in un unico checkpoint. (È stato il risultato di un nuovo metodo di merge che ha impiegato circa 1:30h usando tutta la mia RAM da 128GB). Ho anche migliorato le texture del viso e della pelle rispetto a V10. Gli occhi sono molto più realistici e "vivi" di prima.

Provalo tu stesso e fammi avere un feedback su V12. "Grazie" alla mia connessione lenta caricherò prima FP8_UNET. Dopo quella la versione FP8 "all in one" e poi FP16_unet e FP16_BEHEMOTH. Cercherò anche di convertirlo in int4 e fp4 (mi auguro fortuna su questo punto)

Come sempre dammi un feedback su V12..

Versione V12 "Behemoth" (AIO)

Questo modello "tutto in uno" è il meglio della mia serie V12.. beh e ovviamente il più grande in dimensione :-)

Il Behemoth ha un T5xxl personalizzato e Clip_l integrati nel modello. Se preferisci la qualità alla quantità questo è il checkpoint per te!

Versione V12 FP4/int4

Grazie a Muyang Li di Nunchakutech che ha fatto la quantificazione di V12. https://huggingface.co/nunchaku-tech e i loro incredibili nunchaku!

Questa versione è davvero stupefacente. Combina qualità e velocità mai viste prima.

ATTENZIONE!

Ci sono due versioni FP4 e int4. FP4 è solo per schede grafiche Nvidia 50xx! Mentre int4 funziona con 40xx e inferiori. (serve almeno una scheda grafica serie 20xx)

Puoi scaricare entrambe le versioni direttamente qui: https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

GUIDA INSTALLAZIONE e FLUSSO DI LAVORO

Ecco una rapida guida di installazione e un flusso di lavoro in fase di sviluppo.

https://civitai.com/articles/17313

GUIDA DETTAGLIATA per il flusso di lavoro

https://civitai.com/articles/17358

Sto ancora lavorando ai miei nuovi workflow per Nunchaku.. quindi il flusso che segue è ancora molto WIP (work in progress) aggiungerò un articolo dettagliato nel weekend.

Versione V12 FP16_B_variant

Grazie a un piccolo errore fatto a notte fonda (2AM) ho rinominato e caricato il checkpoint "sbagliato". È un checkpoint molto sperimentale mai destinato alla pubblicazione. Non è molto testato ma ha performato davvero bene quando ho creato la showcase. Potrebbe essere migliore della versione standard.

Tende a preferire volti asiatici.. Questo perché volevo testare qualcosa da integrare in un progetto secondario su cui sto ancora lavorando. Raccontami la tua esperienza con questo checkpoint :-)

Versione V12 AIO FP8

Questa versione è un tutto-in-uno della V12. Questo significa che tutti i clip sono incorporati. Fornirà la stessa uscita del FP8_unet con il mio clip_l personalizzato

Versione V12 GGUF Q5_1

Questa versione è stata richiesta. La qualità non è male..

Versione V10B "BOB"

Questa è una versione alternativa di V10. L'ho creata per migliorare la versione FP8 di V10. In generale la versione FP8 è più precisa e i colori sono migliori. Purtroppo ultimamente non ho molto tempo.. (vita reale prima). Per questo ha impiegato così tanto.. Fammi sapere se preferisci questa versione. Ho anche una versione FP16 di "BOB". In base ai feedback prenderò in considerazione anche di pubblicare una versione int4.

FLUSSO DI LAVORO:

Ecco il flusso di lavoro per V12 e V10: https://civitai.com/articles/17163

Versione V10_int4_SVDQ "Nunchaku"

Prima di tutto voglio ringraziare theunlikely https://huggingface.co/theunlikely che ha convertito FP16_Unet in int4_SVDQ. Visita la sua pagina e lascia un like.

Questa versione è più o meno equivalente alla versione FP8. Anche nella modalità normale del mio workflow questa cosa è circa 2X-3X più veloce del modello regolare.. Con la "modalità veloce" del workflow posso rendere un'immagine da 2MP in circa 19 secondi con la mia 3090ti.

Cos'è SVDQ "Nunchaku"?

Questo nuovo metodo di quantificazione permette di ridurre i modelli Flux (in questo caso un modello nativo FP16) da 24GB a circa 6,7GB. Ma non è tutto: puoi generare immagini più velocemente che mai senza perdere troppa qualità. Certo vedrai una piccola differenza rispetto al mio 32GB_Behemoth ma per questo modello avrai bisogno di molta più Vram/RAM per farlo girare.

Per maggiori informazioni visita: https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Installazione: Visita la mia guida workflow/installazione: https://civitai.com/articles/15610

Versione V10 "Behemoth" (FP16_AIO)

Questa versione è ancora sperimentale. L'obiettivo principale era ottenere risultati più realistici. Sono riuscito anche a ridurre alcune "Linee Flux". Questa cosa si basa su Colossus Project V5.0_Behemoth, V9.0 e un altro progetto che chiamo "Ouroborus Project"

La versione FP16 è molto stabile. Presto rilascerò anche una versione FP8. Questa versione è molto buona ma meno stabile..

Comunque ti lascio sperimentare con essa.. Dimmi cosa pensi di questa versione.

Divertiti a creare :-)

Versione V9.0:

Beh devo spiegare molto.. Perché è anche V9.0?

Mi sono recentemente trasferito in un nuovo appartamento e a causa di alcuni errori del provider internet non avevo una vera connessione internet.. Quindi durante il trasloco ho lasciato il computer acceso. Il risultato è stato che ho creato molti checkpoint (per la maggior parte rotti). Ho comunque alcune molto buone versioni V8 che potrei pubblicare..

Cosa è cambiato?

Ho addestrato nuovi volti e texture della pelle nel modello prendendo essenzialmente i migliori risultati di V5.0. Inoltre il modello ha ricevuto addestramento su piedi/gambe per una migliore anatomia. Le versioni V5.0 talvolta tagliavano testa e piedi.. Penso di aver risolto qualche problema di questo tipo..

In aggiunta l'ho addestrato con più immagini paesaggistiche personali.. E sì, l'ho fatto tutto durante il trasloco... Credo siano state circa 2 settimane di tempo di calcolo, che non è affatto economico.. (ogni ora mi costa circa 25 centesimi in elettricità)

Comunque spero ti piaccia questa versione.. Se vuoi supportarmi: pubblica qualche bella immagine/o magari fammi una donazione anche su Buzz o Ko-fi..

Dimmi cosa ne pensi :-)

Versione 5.0:

V5.0 si basa effettivamente su V4.2 e V4.4 (che sarà anch’essa presto rilasciata). Ha un addestramento aggiuntivo sui dettagli della pelle e sull'anatomia generale che ha per lo più risolto problemi come mani e capezzoli. I dettagli del viso sono molto migliori. Ho anche cercato di correggere alcune piccole linee flux..

In generale questa versione è più realistica di V4.2 e migliore nei dettagli.. Come la versione 4.2, anche questa è un modello ibrido de-distillato. Puoi usarlo sostanzialmente con le stesse impostazioni di V4.2.

Ecco anche un nuovo flusso di lavoro per divertirsi: https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Dimmi cosa pensi di questa versione rispetto a 4.2 o V2.1..

Versione 4.4 "Research":

Ho aggiunto questa versione solo per completezza.. È leggermente più realistica di V4.2 e la base della versione 5.0. Puoi provarla se vuoi. Puoi usare anche il flusso di lavoro per V5.0 e V4.2..

Versione 4.2:

Questa versione è fondamentalmente un'evoluzione di Demoncore Flux e Colossus Project Flux. L’obiettivo era ottenere un risultato più stabile con texture della pelle migliori, mani migliori e più varietà di volti. Quindi l'ho addestrata su un modello ibrido in parte Demoncore Flux. Ho anche migliorato un po’ i capezzoli e NSFW. Dimmi se preferisci V4.2 rispetto a versione 2.1 :-)

Per le immagini showcase: ho usato solo immagini native a risoluzione SDXL o 2MP (come 1216x1632). Questo modello può gestire risoluzioni anche più alte.. Ho testato questo checkpoint fino a 2500x2500 ma consiglio di stare intorno a 2000x2000.

Per le impostazioni consiglio circa 30 passi e scala cfg 2-2.5. Io uso per lo più 2.2 o 2.3 nel mio workflow. Per lo showcase ho usato DPM++ 2M con Simple scheduler.

Aggiungerò più versioni presto ma prima di Natale non ho molto tempo..

Impostazioni

Presto aggiungerò un workflow dedicato Comfy più nuovo. Per ora puoi sempre scaricare e aprire le immagini showcase..

La versione "All in One" funziona bene anche con Forge..

Funziona praticamente con le stesse impostazioni della Versione 2.1 (vedi sotto)

Dai 20-30 passi con circa 2.2 cfg..

Versione 2.1_de-distilled_experimental (MERGE)

Questa versione è completamente diversa e funziona in modo decisamente diverso rispetto a un normale modello Flux!

È un merge sperimentale tra la mia versione 2.0 e una versione de-distillata https://huggingface.co/nyanko7/flux-dev-de-distill. È successo un po’ per caso ma i risultati sono stupendi. Ottenete dettagli incredibili. Inoltre segue molto bene i prompt... La prossima cosa che farò sarà addestrare direttamente sul modello de-distillato. Ho già fatto alcuni test di Lora con esso. È molto sperimentale quindi per favore segnalami errori non elencati sotto. Se hai buone immagini pubblicale.. pubblica anche quelle cattive, questo può aiutare a migliorare :-). Prova anche la versione 2.0 e dimmi quale ti si addice meglio.

!Attenzione!

Il workflow normale Flux non funziona con questa versione. DEVI scaricare il mio workflow per usarla!

Puoi anche trovare una tua soluzione ma per favore non incolparmi per immagini pessime. Inoltre questo è un modello altamente sperimentale... controlla gli svantaggi sotto..

Vantaggi e svantaggi di questo checkpoint:

• Questo checkpoint può creare dettagli estremi.. Questo ha un prezzo.. È lento rispetto ai normali checkpoint Flux. Il vantaggio è che spesso non serve un ulteriore upscaling. Invece di usare il Flux Guidance questo modello usa la scala cfg. Il che significa anche che non funzionerà con workflow standard.

• Puoi usare i Prompt negativi! Questo aiuta a rimuovere elementi indesiderati dall’immagine.

• A volte possono apparire artifact.. Puoi risolvere questo con un piccolo e semplice upscaling (ci sto lavorando). Ecco un esempio.. questo succede stranamente non con ogni seed.. AGGIORNAMENTO: Non è un problema del modello stesso.. piuttosto del workflow.. Sto lavorando a una soluzione. Se succede prova a impostare il primo upscaling a 1.14 invece di 1.2.

  

  

Impostazioni e Workflow V2.1:

Ecco il workflow per essa: https://civitai.com/articles/8419

Impostazioni: a differenza del Flux normale non serve la scala Flux Guidance. Usa invece la cfg. Io uso di solito 3 cfg nel workflow.. Alcune immagini possono richiedere scale cfg inferiori

La cosa più importante è disattivare la scala flux guidance..

Senza workflow l'ho testata con 30 passaggi e 2-3cfg. Queste potrebbero essere le impostazioni anche per Forge. Prova a sperimentare.

Consiglio di usare la parola "blurry" nei negativi

Sampler e scheduler:

Puoi scegliere tra diversi sampler funzionanti:

Euler, Heun, DPM++2m, deis, DDIM funzionano bene.

Io uso principalmente "simple" come scheduler

Se trovi impostazioni migliori fammi sapere.. :-)

Per Forge consiglio il modello AIO.. ecco un esempio di impostazione per Forge

Versione 2.0_dev_experimental

Beh.. questa è una versione sperimentale.. L'obiettivo era creare un modello più coerente e veloce. Ho addestrato alcuni lora addizionali e poi fuso i modelli risultanti in un modo speciale (Tensor merge). Ha un T5xxl personalizzato modificato con "Attention Seeker". Per aumentare velocità e qualità ho incorporato il lora Hyper Flux da ByteDance. Questo ha spostato l'area di lavoro.. Ti mostro cosa significa.. Ecco l'immagine principale..

16 passaggi V 2.0

30 passaggi V 1.0

Svantaggi:

Beh prima di tutto.. questa versione è un po’ più grande della precedente.. inoltre devo ancora creare la versione solo Unet. Aggiornerò quando sarà fatta..

Impostazioni e Workflow V2.0:

Ora puoi usare il modello con meno passaggi.. 16 passaggi equivalgono a 30 della vecchia versione.

Consiglio comunque circa 20-30 passaggi perché in genere ottieni più qualità.

Sampler: preferisco Euler con Simple come scheduler. Il valore di guidance può essere da 1.5 a 3 (puoi provarlo anche fuori da questo range ovviamente). 1.8 è un buon valore per immagini realistiche. Puoi anche provare altri sampler. DPM++2M e Heun funzionano molto bene.

Flusso di lavoro 2.0:

Ho creato un nuovo workflow per V2.0 e V1.0. Include il nuovo Flux Prompt Generator. Inoltre ho messo in funzione il secondo stadio di upscaling. https://civitai.com/articles/7946

Forge:

Ho testato questo modello anche con Forge e ha funzionato molto bene.. Le immagini possono differire tra Comfy UI e Forge però..

Versione 1.0_dev_beta:

Questo modello è il mio primo ingresso della serie. Perciò per favore dammi un riscontro e pubblica alcune immagini. Questo mi aiuta a migliorare ulteriormente il progetto. Ci sono diverse versioni tra cui scegliere. Il modello migliore per qualità è la versione FP16 ma questa è grande e richiede una scheda grafica potente e molta RAM. La versione FP8 è la soluzione che considero un buon compromesso tra qualità e prestazioni. Se vuoi una versione GGUF scarica Q8_0. La versione GGUF Q4_0/4.1 è stata richiesta. Sono piccole ma perdita qualità.

Di base ci sono due tipi di miei modelli: "All in one" che richiedono un solo file da scaricare. Hanno Clip_l, T5xxl fp8 e VAE integrati. (vedi sotto). Metti questo nella cartella checkpoint.

Le altre versioni sono solo UNET. Qui devi caricare tutti i file separatamente.

In ogni caso devi scaricare il mio Clip_L per farli funzionare correttamente..

Importante anche scegliere il giusto clip T5xxl. Per la versione FP8 è il fp8_e4m3fn t5xxl clip. Per FP16 è il clip FP16. Assicurati di selezionare il tipo peso di default. (qui sotto c’è un’immagine d’esempio per la versione fp8)

Per la versione GGUF serve il loader GGUF!

Alcune cose note riguardo a V1.0:

È solo il primo modello della serie quindi potrebbe avere difficoltà con alcuni prompt o stili come l’arte. La prossima versione avrà più addestramento. Dimmi le cose che il modello non riesce a fare..

Impostazioni e Workflow:

Ho testato con circa 30 passi, Euler con Simple come scheduler. Il valore di guidance può essere da 1.5 a 3 (sentiti libero di provarlo anche fuori da questo range naturalmente)

Un valore di 1.8 funziona bene per immagini realistiche.

Sentiti libero di sperimentare queste impostazioni.. Se ottieni buoni risultati, per favore pubblicali.

Ho aggiunto le immagini showcase come dati di addestramento.. All’interno c’è il workflow per Comfy. Ecco il workflow per il download: https://civitai.com/articles/7946

Modello "All in one":

Solo UNET:

Devi scaricare anche clip_L. È il file da 240MB.

GGUF: Ho aggiunto il workflow per GGUF qui: https://civitai.com/articles/7946

Importante:

Il modello dev non è destinato all’uso commerciale. Per questo pubblicherò in un luogo differente il modello "schnell". È più pensato per uso personale o scientifico.

LICENZA:

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Crediti:

theunlikely https://huggingface.co/theunlikel (grazie ancora)

Versione 2.1/V4.2/5.0: Flux_dev_de-distill da nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Da V2.0: Hyper Lora da ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest per il loro sorprendente modello Flux https://huggingface.co/black-forest-labs