In profondità sotto una montagna vive un gigante addormentato, capace sia di aiutare l'umanità che di creare distruzione...

Un Colosso si risveglia...

Dopo la mia serie SDXL è tempo della serie FLUX di questo Progetto... Questa volta ho addestrato tutto da zero. Per l'addestramento ho usato le mie immagini, create con il mio modello schnell Flux DemonFlux/Colossus Project schnell più il mio SDXL Colossus Project 12 come raffinatore.

Questo SD Flux-Checkpoint è capace di produrre quasi tutto.. Colossus è molto bravo a creare immagini estremamente realistiche, anime e artistiche.

Se ti piace, sentiti libero di darmi qualche feedback. Inoltre, se vuoi supportarmi puoi farlo qui. Ho speso una buona cifra per costruire un computer capace di addestrare effettivamente i modelli Flux.. Anche l'addestramento e i test richiedono molto tempo ed elettricità..

https://ko-fi.com/afroman4peace

Versione V12 "Hephaistos"

Pubblicare questo checkpoint mi rende felice e triste allo stesso tempo.. V12 sarà l'ultimo checkpoint di questa serie.. La ragione principale sono le imminenti leggi EU-AI... Un altro motivo è la licenza da Flux .1 DEV stessa. Grazie a tutti per il supporto! Ho investito molto tempo in questo Progetto nell'ultimo anno. Ora è tempo di passare a un progetto diverso.

Comunque.. concluderò questa serie in grande stile...

V12 si basa su V10B "BOB" ma incorpora praticamente le migliori parti di questa serie fuse in un solo checkpoint. (È il risultato di un nuovo metodo di fusione che ha richiesto circa 1h30 per fondere e ha utilizzato tutta la mia RAM da 128GB). Ho anche migliorato le texture di viso e pelle rispetto a V10. Gli occhi sono molto più realistici e più "vivi" rispetto a prima.

Provalo tu stesso e fammi sapere cosa pensi di V12. "Grazie" alla mia connessione internet lenta, caricherò prima la versione FP8_UNET. Dopo quella la versione FP8 "all in one" e poi FP16_unet e FP16_BEHEMOTH. Proverò anche a convertirlo in int4 e fp4 (augurami buona fortuna).

Come sempre, dammi qualche feedback su V12..

Versione V12 "Behemoth" (AIO)

Questo modello "all in one" è il meglio della mia serie V12.. e ovviamente il più grande in dimensione :-)

Behemoth ha un T5xxl custom e Clip_l integrati nel modello. Se preferisci la qualità alla quantità, questo è il checkpoint per te!

Versione V12 FP4/int4

Grazie a Muyang Li di Nunchakutech che ha effettuato la quantizzazione di V12. https://huggingface.co/nunchaku-tech e il loro incredibile nunchaku!

Questa versione è veramente impressionante. Combina qualità e velocità mai viste prima.

ATTENZIONE!

Ci sono due versioni FP4 e int4. FP4 è solo per schede grafiche Nvidia serie 50xx! Mentre int4 funziona con 40xx e inferiori. (serve almeno una scheda grafica serie 20xx)

Puoi scaricare entrambe le versioni direttamente qui: https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

GUIDA INSTALLAZIONE e WORKFLOW

Ecco una rapida guida di installazione e workflow in fase di sviluppo.

https://civitai.com/articles/17313

GUIDA DETTAGLIATA per il Workflow

https://civitai.com/articles/17358

Sto ancora lavorando ai nuovi workflow per Nunchaku.. quindi il workflow seguente è ancora in fase di sviluppo (WIP). Aggiungerò un articolo dettagliato nel fine settimana.

Versione V12 FP16_B_variant

Grazie a un piccolo errore che ho fatto di notte (ore 2AM) ho rinominato e caricato il checkpoint "sbagliato". È un checkpoint molto sperimentale, mai destinato alla pubblicazione. Non è stato molto testato ma ha funzionato molto bene quando ho creato la vetrina. Potrebbe essere migliore della versione standard.

Tende verso visi asiatici.. Questo perché volevo testare qualcosa da mescolare in un progetto secondario su cui sto ancora lavorando. Raccontami la tua esperienza con questo checkpoint :-)

Versione V12 AIO FP8

Questa versione è una versione all in one di V12. Ciò significa che tutti i clip sono incorporati. Restituisce lo stesso output della FP8_unet con il mio clip_l personalizzato.

Versione V12 GGUF Q5_1

Questa versione è stata una richiesta. Non è male in qualità..

Versione V10B "BOB"

Questa è una versione alternativa di V10. L'ho creata per migliorare la versione FP8 di V10. In generale la versione FP8 è più precisa e i colori sono migliori. Purtroppo ultimamente non ho molto tempo.. (la vita reale viene prima). Per questo ci è voluto così tanto.. Fammi sapere se preferisci questa versione. Ho anche una versione FP16 di "BOB". Dipenderà dai feedback se considererò di pubblicare anche una versione int4.

WORKFLOW:

Ecco il workflow per V12 e V10: https://civitai.com/articles/17163

Versione V10_int4_SVDQ "Nunchaku"

Prima voglio ringraziare theunlikely https://huggingface.co/theunlikely che ha convertito FP16_Unet in int4_SVDQ. Visita la sua pagina e lascia un like.

Questa versione è più o meno equivalente a quella FP8. Anche in modalità normale dentro il mio workflow questo modello è circa 2-3 volte più veloce del modello regolare.. Con la modalità "fast" posso generare un'immagine 2MP in circa 19 secondi con la mia 3090ti.

Cos'è SVDQ "Nunchaku"?

Questo nuovo metodo di quantizzazione permette di ridurre modelli Flux (in questo caso un modello nativo FP16) da 24GB a circa 6.7GB. Ma non è tutto: puoi generare immagini più velocemente che mai senza perdere troppa qualità. Certo, vedrai una piccola differenza rispetto al mio 32GB_Behemoth ma per questo modello serve molta più VRAM/RAM per poterlo eseguire.

Per maggiori informazioni visita: https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Installazione: Per favore visita la mia guida workflow/installazione: https://civitai.com/articles/15610

Versione V10 "Behemoth" (FP16_AIO)

Questa versione è ancora sperimentale. L'obiettivo principale era ottenere risultati più realistici. Ho anche cercato di ridurre alcune "linee Flux". Questo modello si basa su Colossus Project V5.0_Behemoth, V9.0 e un altro progetto che chiamo "Ouroborus Project"

La versione FP16 è molto stabile. Sto anche rilasciando presto una versione FP8. Questa versione è molto buona ma meno stabile..

Ti lascio sperimentare con essa.. Dimmi cosa ne pensi di questa versione.

Divertiti a creare :-)

Versione V9.0:

Beh, devo spiegare molto.. Prima perché è anche V9.0?

Recentemente mi sono trasferito in un nuovo appartamento e a causa di alcuni errori del provider internet non avevo una connessione reale.. Quindi mentre facevo il trasloco... ho lasciato acceso il computer. Il risultato è che ho creato molti checkpoint (per lo più difettosi). Ho comunque alcune buone versioni V8 che potrei pubblicare..

Cosa è cambiato?

Ho addestrato nuovi volti e texture della pelle nel modello prendendo praticamente i migliori risultati da V5.0. Inoltre il modello ha ricevuto un training per piedi/gambe per una migliore anatomia. Le versioni V5.0 a volte tagliavano testa e piedi.. Penso di aver risolto alcuni di questi problemi..

Inoltre l'ho addestrato con più immagini di paesaggi miei.. E sì, tutto questo mentre traslocavo... Penso sia stata complessivamente circa 2 settimane di calcolo, il che non è economico.. (ogni ora mi costa circa 25 cent di elettricità)

Comunque spero che questa versione ti piaccia.. Se vuoi supportarmi: pubblica immagini carine o magari lascia una donazione su buzz o Ko-fi..

Dimmi cosa ne pensi :-)

Versione 5.0:

La V5.0 si basa in realtà su V4.2 e V4.4 (che sarà pubblicata presto). Ha un addestramento aggiuntivo su dettagli della pelle e sull'anatomia in generale, che ha per lo più risolto problemi come mani e capezzoli. I dettagli del viso sono molto migliori. Ho anche cercato di correggere alcune piccole linee flux..

In generale questa versione è più realistica di V4.2 e migliore nei dettagli più piccoli.. Come la Versione 4.2, questo modello è anche un modello ibrido de-distillato. Puoi usarlo praticamente con le stesse impostazioni di V4.2.

Ecco anche un nuovo Workflow con cui divertirsi: https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Dimmi cosa ne pensi rispetto alle versioni 4.2 o V2.1..

Versione 4.4 "Research":

Ho aggiunto questa versione solo per completezza.. È leggermente più realistica di V4.2 ed è la base per la Versione 5.0. Puoi provarla se vuoi. Puoi anche usare il workflow per V5.0 e V4.2..

Versione 4.2:

Questa versione è fondamentalmente un ulteriore sviluppo di Demoncore Flux e Colossus Project Flux. L'obiettivo era ottenere un risultato più stabile con texture della pelle migliori, mani migliori e più varietà di volti. Quindi l'ho addestrata su un modello ibrido che include parzialmente Demoncore Flux. Ho anche migliorato un po' capezzoli e NSFW. Dimmi se preferisci la V4.2 rispetto alla versione 2.1 :-)

Per le immagini di showcase: ho usato solo immagini native con risoluzione SDXL o 2MP (esempio 1216x1632). Questo modello può gestire risoluzioni ancora più alte.. Ho testato questo checkpoint fino a 2500x2500 ma raccomando di stare intorno a 2000x2000.

Per le impostazioni raccomando circa 30 passi e 2-2.5 cfg. Uso principalmente 2.2 o 2.3 nel mio workflow. Per la showcase ho usato DPM++ 2M con Simple scheduler.

Aggiungerò presto altre versioni ma non ho molto tempo prima di Natale..

Impostazioni

A breve aggiungerò un nuovo workflow dedicato a Comfy. Per ora puoi sempre scaricare e aprire le immagini di showcase..

La versione "All in One" funziona bene anche con Forge..

Fondamentalmente funziona con le stesse impostazioni di Versione 2.1 (vedi sotto)

Usa 20-30 passi con circa 2.2 cfg..

Versione 2.1_de-distilled_experimental (MERGE)

Questa versione è completamente diversa e funziona effettivamente in modo diverso da un normale modello Flux!

È una fusione sperimentale tra la mia versione 2.0 e una versione de-distilled https://huggingface.co/nyanko7/flux-dev-de-distill. È avvenuto un po' per caso ma i risultati sono sorprendenti. Otterrai dettagli impressionanti. Inoltre segue molto bene i prompt... La prossima cosa che farò sarà addestrare direttamente sul modello de-distilled. Ho già fatto alcuni test di Lora con esso. È altamente sperimentale, quindi per favore fammi sapere se trovi errori non elencati qui sotto. Se hai buone immagini postale.. posta anche quelle non buone, questo può aiutare a migliorare :-). Proverò anche la versione 2.0 e dimmi quale checkpoint preferisci.

!Attenzione!

Il normale workflow Flux non funziona con questa versione. DEVI scaricare il mio workflow per usarla!

Puoi anche provare a capire qualcosa da solo ma per favore non incolparmi per immagini scadenti. Inoltre è un modello altamente sperimentale... vedi gli svantaggi sotto..

Pro e contro di questo checkpoint:

• Questo checkpoint può creare dettagli estremi.. Ma il prezzo è la lentezza rispetto ai normali checkpoint Flux. Il vantaggio è che spesso non serve un upscaling aggiuntivo. Invece di usare Flux Guidance, questo modello usa la scala cfg. Il che significa anche che non funzionerà con i workflow standard.

• Puoi usare prompt negativi! Questo aiuta a rimuovere elementi indesiderati dall'immagine.

• A volte possono comparire artefatti.. Puoi risolvere con un piccolo e semplice upscaling (sto lavorando su questo). Ecco un esempio.. succede stranamente non con tutti i seed.. AGGIORNAMENTO: Questo non è un problema del modello ma del workflow.. Sto lavorando a una soluzione. Se succede prova a impostare il primo upscaling a 1.14 invece di 1.2.

  

  

Impostazioni e Workflow V2.1:

Qui trovi il workflow: https://civitai.com/articles/8419

Impostazioni: a differenza del normale Flux, non serve la scala Flux Guidance. Usa invece la scala cfg. Uso principalmente cfg 3 per il workflow.. Alcune immagini possono richiedere scale cfg più basse

La cosa più importante è forse disattivare la scala flux guidance..

Ho testato con 30 passi e 2-3 cfg senza workflow. Queste potrebbero essere le impostazioni anche per Forge. Prova a sperimentare.

Raccomando di usare la parola "blurry" nei negativi

Sampler e scheduler:

Puoi scegliere tra diversi sampler funzionanti:

Euler, Heun, DPM++2m, DEIS, DDIM funzionano molto bene.

Uso principalmente "simple" come scheduler

Se trovi impostazioni migliori fammi sapere.. :-)

Per Forge raccomando il modello AIO.. ecco un esempio di impostazioni per Forge

Versione 2.0_dev_experimental

Beh.. questa è una versione sperimentale.. L'obiettivo era creare un modello più coerente e veloce. Ho addestrato alcuni lora addizionali personali e poi ho fuso i modelli risultanti in modo speciale (Tensor merge). Ha un T5xxl custom modificato con "Attention Seeker". Per aumentare velocità e qualità ho inserito lora Hyper Flux da ByteDance. Questo significa che ha spostato l'area di funzionamento.. Ti mostro cosa significa.. Ecco l'immagine principale..

16 passi V 2.0

30 passi V 1.0

Svantaggi:

Prima di tutto.. questa versione è un po' più grande della precedente.. Secondo, devo ancora creare la versione solo Unet. Aggiornerò quando sarà pronta..

Impostazioni e Workflow V2.0:

Ora puoi eseguire il modello con meno passi.. 16 passi equivalgono a 30 della vecchia versione.

Consiglio comunque 20-30 passi per ottenere più qualità nella maggior parte dei casi.

Sampler: preferisco Euler con Simple come scheduler. La guida può essere impostata da 1.5 a 3 (ovviamente sentiti libero di testare anche fuori da questo intervallo). La guida a 1.8 funziona bene per immagini realistiche. Puoi anche provare altri sampler. DPM++2M e Heun funzionano molto bene.

Workflow 2.0:

Ho creato un nuovo workflow per V2.0 e V1.0. Include il nuovo Flux Prompt Generator. Inoltre ho fatto funzionare la seconda fase di upscaling. https://civitai.com/articles/7946

Forge:

Ho testato anche con Forge ed ha funzionato molto bene.. Le immagini possono comunque differire tra Comfy UI e Forge..

Versione 1.0_dev_beta:

Questo modello è il mio primo ingresso nella serie. Per favore dimmi cosa ne pensi e posta immagini. Mi aiuta a migliorare ulteriormente il progetto. Ci sono diverse versioni tra cui scegliere. Il miglior modello in termini di qualità è la versione FP16. La versione FP16 è grande e richiede una scheda grafica potente e molta RAM. La versione FP8 è la soluzione equilibrata tra qualità e prestazioni. Se vuoi una versione GGUF scarica la Q8_0. Le versioni GGUF Q4_0/4.1 sono su richiesta. Sono più leggere ma perdi un po' di qualità.

Fondamentalmente ci sono due tipi di modelli: "All in one" che richiedono un solo file da scaricare. Hanno Clip_l, T5xxl fp8 e VAE integrati. (vedi sotto). Metti questo nella cartella checkpoints.

Le altre versioni sono quelle UNET-ONLY. Qui devi caricare i file separatamente.

In ogni caso devi scaricare il mio Clip_L per farli funzionare correttamente..

Importante scegliere il giusto clip T5xxl. Per la versione FP8 è fp8_e4m3fn t5xxl clip. Per FP16 usa FP16 clip. Assicurati di selezionare il tipo di peso di default. (immagine esempio sotto per la versione fp8)

Per la versione GGUF serve il loader GGUF!

Alcune cose note su V1.0:

Questo è solo il primo modello della serie quindi per ora può avere difficoltà con alcuni prompt o stili come arte. Le versioni successive avranno più addestramento. Fammi sapere cosa il modello non riesce a fare..

Impostazioni e Workflow:

Ho testato con circa 30 passi, Euler con Simple come scheduler. La guida può essere impostata da 1.5 a 3 (sentiti libero di testare anche fuori da questo intervallo ovviamente)

La guida a 1.8 funziona bene per immagini realistiche.

Senti libero di sperimentare con queste impostazioni.. Se ottieni buoni risultati, postali.

Ho aggiunto le immagini showcase come dati di addestramento.. Dentro c'è il workflow per Comfy. Ecco il workflow da scaricare: https://civitai.com/articles/7946

Modello "All in one":

UNET solo:

Devi anche scaricare il clip_L, è un file da 240MB.

GGUF: Ho aggiunto il workflow per GGUF qui: https://civitai.com/articles/7946

Importante:

Il modello dev non è destinato all'uso commerciale. Per questo pubblicherò il modello "schnell" in un posto diverso. È più destinato a uso personale o scientifico.

LICENZA:

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Crediti:

theunlikely https://huggingface.co/theunlikel (grazie ancora)

Versione 2.1/V4.2/5.0: Flux_dev_de-distill da nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Da V2.0: Hyper Lora da ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest per il loro incredibile modello Flux https://huggingface.co/black-forest-labs