Profondo sotto una montagna vive un gigante addormentato, capace di aiutare l'umanità o creare distruzione...

Un Colosso sorge...

Dopo la mia serie SDXL è tempo della serie FLUX di questo progetto... Questa volta ho addestrato questo modello da zero. Per l'addestramento ho usato le mie immagini. Le ho create con il mio modello schnell Flux DemonFlux/Colossus Project schnell + il mio SDXL Colossus Project 12 come raffinatore.

Questo Flux-Checkpoint SD è in grado di produrre quasi tutto... Colossus è molto bravo a creare immagini estremamente realistiche, anime e artistiche.

Se ti piace, sentiti libero di darmi un feedback. Se vuoi supportarmi puoi farlo qui. Ho speso una buona somma per costruire un computer capace di addestrare effettivamente modelli Flux.. Anche l'addestramento e i test richiedono molto tempo ed elettricità..

https://ko-fi.com/afroman4peace

Versione V12 "Hephaistos"

Pubblicare questo checkpoint mi rende felice e triste allo stesso tempo.. V12 sarà l'ultimo checkpoint di questa serie.. Il motivo principale sono le prossime leggi UE sull'IA... Un altro motivo è la licenza di Flux .1 DEV stesso. Grazie a tutti per il supporto! Ho dedicato molto tempo a questo progetto nell'ultimo anno. Ora è tempo di passare a un progetto diverso.

Comunque.. concluderò questa serie con un gran finale...

V12 è basato su V10B "BOB" ma ha fondamentalmente le migliori parti di questa serie fuse in un unico checkpoint. (È stato il risultato di un nuovo metodo di fusione che ha richiesto circa 1:30h e ha usato tutta la mia RAM da 128GB). Ho anche migliorato texture di volto e pelle rispetto a V10. Gli occhi sono molto più realistici e più "vivi" di prima.

Provalo tu stesso e dammi un feedback su V12. "Grazie" alla mia connessione internet lenta caricherò prima FP8_UNET. Poi la versione FP8 "tutto in uno" e successivamente FP16_unet e FP16_BEHEMOTH. Cercherò anche di convertirlo in int4 e fp4 (auguratemi buona fortuna).

Come sempre dammi un feedback su V12..

Versione V12 "Behemoth" (AIO)

Questo modello "tutto in uno" è il migliore della mia serie V12.. e ovviamente il più grande in dimensioni :-)

Behemoth ha un T5xxl personalizzato e Clip_l integrati dentro il modello. Se preferisci la qualità alla quantità, questo è il checkpoint per te!

Versione V12 FP4/int4

Grazie a Muyang Li di Nunchakutech che ha fatto la quantificazione di V12. https://huggingface.co/nunchaku-tech e al loro incredibile nunchaku!

Questa versione è davvero sorprendente. Combina qualità e velocità come mai visto prima.

ATTENZIONE!

Ci sono due versioni: FP4 e int4. FP4 è solo per schede grafiche Nvidia 50xx! Int4 funziona con 40xx e precedenti. (servono almeno schede grafiche serie 20xx)

Puoi anche scaricare entrambe le versioni direttamente qui: https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

GUIDA INSTALLAZIONE e WORKFLOW

Ecco una rapida guida di installazione e un workflow in corso.

https://civitai.com/articles/17313

Sto ancora lavorando ai miei nuovi workflow per Nunchaku.. quindi il seguente workflow è ancora molto in WIP (work in progress). Aggiungerò un articolo dettagliato nel weekend.

Versione V12 FP16_B_variant

Grazie a un piccolo errore fatto a notte fonda (2AM) ho rinominato e caricato il checkpoint "sbagliato". È un checkpoint molto sperimentale mai destinato alla pubblicazione. Non è molto testato ma ha performato davvero bene quando ho creato la dimostrazione. Potrebbe essere migliore della versione standard.

Predilige visi asiatici.. Questo perché volevo testare qualcosa da mescolare in un progetto secondario a cui sto ancora lavorando. Raccontami la tua esperienza con questo checkpoint :-)

Versione V12 AIO FP8

Questa versione è una versione tutto in uno di V12. Ciò significa che tutti i clip sono integrati al suo interno. Fornirà lo stesso output dell’FP8_unet con il mio clip_l personalizzato

Versione V12 GGUF Q5_1

Questa versione è stata richiesta. Non è male in qualità..

Versione V10B "BOB"

Questa è una versione alternativa di V10. L'ho creata per migliorare la versione FP8 di V10. In generale la versione FP8 è più precisa e i colori sono migliori. Purtroppo ultimamente ho poco tempo.. (la vita reale prima). Per questo ci ho messo così tanto.. Fammi sapere se preferisci questa versione. Ho anche una versione FP16 di "BOB". In base al feedback prenderò in considerazione di pubblicare una versione int4.

WORKFLOW:

Ecco il workflow per V12 e V10: https://civitai.com/articles/17163

Versione V10_int4_SVDQ "Nunchaku"

Per prima cosa voglio ringraziare theunlikely https://huggingface.co/theunlikely che ha convertito l’FP16_Unet in int4_SVDQ. Visita la sua pagina e lascia un like.

Questa versione è più o meno equivalente alla versione FP8. Anche in modalità normale nel mio workflow questo modello è circa 2X-3X più veloce del modello normale.. Con la "modalità veloce" del workflow riesco a renderizzare un’immagine da 2MP in circa 19 secondi con la mia 3090ti.

Cos'è SVDQ "Nunchaku"?

Questo nuovo metodo di quantificazione permette di ridurre i modelli Flux (in questo caso un modello FP16 nativo) da 24GB a circa 6.7GB. Ma non è tutto: puoi eseguire generazioni più veloci che mai senza perdere troppa qualità. Certo, noterai una piccola differenza rispetto al mio 32GB_Behemoth, ma per questo modello servirebbe molta più VRAM/RAM per farlo funzionare.

Per maggiori informazioni visita: https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Installazione: Visita la mia guida al workflow/installazione: https://civitai.com/articles/15610

Versione V10 "Behemoth" (FP16_AIO)

Questa versione è ancora sperimentale. L’obiettivo principale era ottenere risultati più realistici. Sono riuscito anche a ridurre alcune "Linee Flux". Questa versione si basa su Colossus Project V5.0_Behemoth, V9.0 e un altro progetto che chiamo "Ouroborus Project"

La versione FP16 è molto stabile. Sto anche per rilasciare una versione FP8. Questa versione è molto buona ma meno stabile.

Ti lascio sperimentare con essa.. Dimmi cosa ne pensi di questa versione.

Divertiti a crearla :-)

Versione V9.0:

Dovrò spiegare molto.. Per prima cosa, perché è addirittura V9.0?

Mi sono trasferito in un nuovo appartamento e a causa di errori forniti dal provider internet non avevo una connessione reale.. Quindi mentre facevo il trasloco.. ho lasciato il computer acceso. Il risultato è che ho creato molti checkpoint (per lo più rotti). Ho comunque delle ottime versioni V8 che potrei pubblicare.

Cosa è cambiato?

Ho addestrato nuovi volti e texture di pelle prendendo fondamentalmente i migliori risultati da V5.0. Inoltre il modello ha avuto un addestramento su piedi/gambe per una migliore anatomia. Le versioni V5.0 a volte tagliavano testa e piedi.. Penso di aver risolto alcuni di questi problemi..

In aggiunta l’ho addestrato anche con più mie immagini di paesaggi.. E sì, ho fatto tutto questo mentre traslocavo... Penso che il tempo totale di addestramento sia stato circa 2 settimane di calcolo, non proprio economico.. (ogni ora mi costa circa 25 centesimi di elettricità)

Comunque spero che questa versione ti piaccia.. Se vuoi supportarmi: pubblica belle immagini/o magari regalami una donazione su Buzz o Ko-fi..

Dimmi cosa ne pensi :-)

Versione 5.0:

V5.0 si basa realmente su V4.2 e V4.4 (che verrà pubblicata a breve). Ha avuto un addestramento aggiuntivo su dettagli della pelle e anatomia generale, che ha principalmente risolto problemi come mani e capezzoli. I dettagli del volto sono molto migliorati. Ho anche cercato di correggere alcune linee flux minori..

In generale questa versione è più realistica di V4.2 e migliore nei dettagli minori.. Come versione 4.2 anche questa è un modello ibrido de-distilled. Puoi usarla praticamente con le stesse impostazioni di V4.2.

Ecco anche un nuovo workflow con cui giocare: https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Dimmi cosa ne pensi di questa versione rispetto a 4.2 o V2.1..

Versione 4.4 "Research":

Ho aggiunto questa versione solo per completezza.. È leggermente più realistica di V4.2 ed è la base della Versione 5.0. Puoi provarla se vuoi. Puoi anche usare il workflow per V5.0 e V4.2..

Versione 4.2:

Questa versione è sostanzialmente uno sviluppo ulteriore di Demoncore Flux e Colossus Project Flux. L’obiettivo era ottenere un risultato più stabile con migliori texture di pelle, mani migliori e più varietà di volti. Quindi l’ho addestrata su un modello ibrido che è in parte Demoncore Flux. Ho anche migliorato un po’ capezzoli e NSFW. Dimmi se preferisci V4.2 rispetto alla versione 2.1 :-)

Per le immagini dimostrative: ho usato solo immagini native con risoluzione SDXL o da 2MP (esempio 1216x1632). Questo modello può gestire risoluzioni ancora più alte.. Ho testato questo checkpoint fino a 2500x2500 ma raccomando al massimo 2000x2000.

Per le impostazioni raccomando circa 30 passaggi e 2-2.5cfg. Io uso per lo più 2.2 o 2.3 nel mio workflow. Per la dimostrazione ho usato DPM++ 2M con Simple scheduler.

Aggiungerò altre versioni a breve ma prima di Natale ho poco tempo..

Impostazioni

A breve aggiungerò un workflow Comfy dedicato più nuovo. Per ora puoi sempre scaricare e aprire le immagini dimostrative..

La versione "All in One" funziona bene anche con Forge..

Funziona praticamente con le stesse impostazioni della Versione 2.1 (vedi sotto)

Usane 20-30 passaggi con circa 2.2cfg..

Versione 2.1_de-distilled_experimental (MERGE)

Questa versione è completamente diversa e funziona in modo diverso da un modello Flux normale!

È una fusione sperimentale tra la mia versione 2.0 e una versione de-distilled https://huggingface.co/nyanko7/flux-dev-de-distill. È avvenuto un po' per caso ma i risultati sono sbalorditivi. Otterrai dettagli incredibili. Segue anche molto bene i prompt... Quindi la prossima cosa che farò è addestrare direttamente sul modello de-distilled. Ho già fatto qualche test su Lora con esso. È altamente sperimentale, per favore segnalami se trovi errori non elencati qui sotto. Se hai buone immagini pubblicale.. anche quelle cattive possono aiutare a migliorare :-). Proverò anche la versione 2.0 e dimmi quale tipo di checkpoint preferisci.

!Attenzione!

Il normale workflow Flux non funziona con questa versione. DEVI scaricare il mio workflow per utilizzarla!

Puoi anche trovare una tua soluzione ma per favore non incolparmi per immagini di scarsa qualità. Inoltre è un modello altamente sperimentale... controlla i limiti sotto..

Pro e contro di questo checkpoint:

• Questo checkpoint può creare dettagli estremi.. Il prezzo da pagare è la lentezza rispetto ai checkpoint Flux normali. Il vantaggio è che spesso non serve un ulteriore upscaler. Questo modello usa la scala cfg invece della Flux Guidance. Ciò significa che non funzionerà con i workflow standard.

• Puoi usare i prompt negativi! Aiuta a rimuovere elementi indesiderati dall’immagine.

• A volte possono comparire artefatti.. Puoi risolvere con un piccolo e semplice upscaling (ci sto lavorando). Ecco un esempio.. Succede stranamente non sempre con ogni seed.. AGGIORNAMENTO: Non è un problema del modello in sé.. più un problema di workflow.. Sto lavorando a una soluzione. Se succede prova a impostare il primo upscaling a 1.14 invece di 1.2.

  

  

Impostazioni e Workflow V2.1:

Puoi trovare il workflow qui: https://civitai.com/articles/8419

Impostazioni: a differenza del normale Flux non serve usare la scala Flux Guidance. Usa invece la cfg. Io uso per lo più 3 cfg nel workflow.. Alcune immagini potrebbero richiedere cfg più basse

La cosa più importante è spegnere la scala flux guidance..

Ho testato senza workflow con 30 passaggi e 2-3 cfg. Queste sono probabilmente anche le impostazioni per Forge. Prova a sperimentare.

Raccomando di usare la parola "blurry" nei negativi

Sampler e scheduler:

Puoi scegliere tra vari sampler funzionanti:

Euler, Heun, DPM++2m, DEIS, DDIM funzionano bene.

Io per lo più uso "simple" come scheduler

Se trovi impostazioni migliori dimmelo.. :-)

Per Forge raccomando di usare il modello AIO.. ecco un esempio di impostazioni per Forge

Versione 2.0_dev_experimental

Questo è una versione sperimentale.. L’obiettivo era creare un modello più coerente e veloce. Ho addestrato alcune Lora aggiuntive e poi fuso i modelli risultanti in modo speciale (Tensor merge). Ha un T5xxl personalizzato modificato con "Attention Seeker". Per aumentare velocità e qualità ho unito la Hyper Flux lora da ByteDance. Ciò significa che ha spostato la zona di lavoro.. Mostro cosa significa.. Ecco l’immagine principale titolo..

16 passaggi V 2.0

30 passaggi V 1.0

Limiti:

Prima di tutto.. Questa versione è un po' più grande della precedente.. Secondo, devo ancora creare una versione solo Unet. Aggiornerò quando sarà pronta..

Impostazioni e Workflow V2.0:

Ora puoi eseguire il modello con meno passaggi.. 16 passaggi equivalgono a 30 del vecchio modello.

Raccomando comunque 20-30 passaggi perché generalmente fornisce più qualità.

Sampler: preferisco Euler con Simple come scheduler. La guida può essere impostata tra 1.5-3 (ovviamente sentiti libero di testare fuori da questo range). La guida 1.8 funziona bene per immagini realistiche. Puoi testare anche altri sampler. DPM++2M e Heun funzionano molto bene.

Workflow 2.0:

Ho creato un nuovo workflow per V2.0 e V1.0. Ha il nuovo Flux Prompt Generator. Inoltre ho fatto funzionare la seconda fase di upscaling. https://civitai.com/articles/7946

Forge:

Ho testato anche questo modello con Forge e ha funzionato molto bene.. Le immagini possono differire tra Comfy UI e Forge..

Versione 1.0_dev_beta:

Questo modello è la mia prima versione della serie. Per favore dammi un feedback e posta qualche immagine. Questo aiuta a migliorare il progetto. Ci sono diverse versioni tra cui scegliere. Il miglior modello in qualità è la versione FP16 Ma la versione FP16 è grande e richiede una GPU potente e molta RAM. La versione FP8 è una buona soluzione tra qualità e prestazioni. Se vuoi una versione GGUF scarica la Q8_0. La versione GGUF Q4_0/4.1 è stata richiesta. Sono piccole ma perdi un po’ di qualità.

Ci sono fondamentalmente due tipi di miei modelli: quelli "All in one" che richiedono un solo file da scaricare. Contengono Clip_l, T5xxl fp8 e VAE integrati. (vedi sotto). Metti questo file nella cartella checkpoints.

Le altre versioni sono solo UNET. Devi caricare tutti i file separatamente.

In ogni caso devi scaricare il mio Clip_L per farli funzionare correttamente..

Importante anche scegliere il T5xxl clip giusto. Per FP8 è il clip fp8_e4m3fn t5xxl. Per FP16 è il clip FP16. Assicurati di selezionare il tipo peso di default. (sotto c’è un’immagine di esempio per la versione fp8)

Per la versione GGUF serve il loader GGUF!

Alcune cose note finora riguardo V1.0:

È solo il primo modello della serie quindi potrebbe non riuscire con alcuni prompt o stili come arte. La prossima versione riceverà altro addestramento. Segnalami cosa il modello non riesce a fare..

Impostazioni e Workflow:

Ho testato con circa 30 passaggi, Euler e Simple come scheduler. La guida può essere impostata tra 1.5-3 (sentiti libero di testare fuori da questo range)

La guida a 1.8 funziona bene per immagini realistiche.

Sentiti libero di sperimentare con queste impostazioni.. Se ottieni buoni risultati, pubblicali.

Ho aggiunto le immagini di dimostrazione come dati di addestramento.. Dentro c’è il workflow per Comfy. Ecco il workflow da scaricare: https://civitai.com/articles/7946

Modello "All in one":

Solo UNET:

Devi scaricare anche clip_L. È il file da 240MB.

GGUF: Ho aggiunto il workflow per GGUF qui: https://civitai.com/articles/7946

Importante:

Il modello dev non è destinato all'uso commerciale. Per questo pubblicherò il modello "schnell" altrove. È pensato più per uso personale o scientifico.

LICENZA:

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Crediti:

theunlikely https://huggingface.co/theunlikel (grazie ancora)

Versione 2.1/V4.2/5.0: Flux_dev_de-distill di nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Da V2.0: Hyper Lora da ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest per il loro incredibile modello Flux https://huggingface.co/black-forest-labs