Au plus profond d'une montagne dort un géant endormi, capable soit d'aider l'humanité soit de créer la destruction...

Un Colosse se réveille...

Après ma série SDXL, c'est le temps de la série FLUX de ce projet... Cette fois, j'ai entraîné cette chose de zéro. Pour l'entraînement, j'ai utilisé mes propres images. Je les ai créées avec mon modèle schnell Flux DemonFlux/Colossus Project schnell + mon SDXL Colossus Project 12 comme affineur.

Ce checkpoint SD Flux est capable de produire presque tout... Colossus est très performant pour créer des images extrêmement réalistes, anime et artistiques.

Si vous aimez, n'hésitez pas à me donner un retour. Aussi, si vous souhaitez me soutenir, vous pouvez le faire ici. J'ai dépensé pas mal d'argent pour construire un ordinateur capable de réellement entraîner des modèles Flux... L'entraînement et les tests demandent aussi beaucoup de temps et d'électricité...

https://ko-fi.com/afroman4peace

Version V12 "Hephaistos"

Publier ce checkpoint me rend à la fois heureux et triste... V12 sera le dernier checkpoint de cette série... La principale raison est la législation européenne à venir sur l'IA... Une autre raison est la licence de Flux .1 DEV lui-même. Merci à tous pour votre soutien ! J'ai investi beaucoup de temps dans ce projet durant l'année dernière. Il est maintenant temps de passer à un autre projet.

Quoi qu'il en soit... je terminerai cette série en beauté...

V12 est construit sur V10B "BOB" mais intègre essentiellement les meilleures parties de cette série fusionnées dans ce seul checkpoint. (C'est le résultat d'une nouvelle méthode de fusion qui a pris environ 1h30 et utilisé toute ma RAM de 128 Go). J'ai également amélioré les textures du visage et de la peau par rapport à V10. Les yeux sont beaucoup plus réalistes et plus "vivants" qu'avant.

Testez-le vous-même et donnez-moi votre avis sur V12. Grâce à ma connexion internet lente, je vais d'abord mettre en ligne le FP8_UNET. Ensuite, la version FP8 "tout en un" puis les versions FP16_unet et FP16_BEHEMOTH. Je vais aussi essayer de le convertir en int4 et fp4 (souhaitez-moi bonne chance à ce sujet).

Comme toujours, donnez-moi du feedback sur V12...

Version V12 "Behemoth" (AIO)

Ce modèle "tout en un" est le meilleur de ma série V12... et évidemment le plus volumineux :-)

Le Behemoth intègre un T5xxl et Clip_l personnalisés intégrés dans le modèle. Si vous privilégiez la qualité à la quantité, c'est le checkpoint qu'il vous faut !

Version V12 FP4/int4

Merci à Muyang Li de Nunchakutech qui a réalisé la quantification de V12. https://huggingface.co/nunchaku-tech et leur incroyable nunchaku !

Cette version est vraiment époustouflante. Allier qualité et rapidité comme jamais auparavant.

ATTENTION !

Il existe deux versions FP4 et int4. FP4 est uniquement pour les cartes graphiques Nvidia 50xx ! Tandis que int4 fonctionne avec les 40xx et inférieures. (vous devez avoir au minimum une carte graphique série 20xx)

Vous pouvez aussi télécharger les deux versions directement ici : https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

GUIDE D'INSTALLATION et WORKFLOW

Voici un guide d'installation rapide et un workflow en cours.

https://civitai.com/articles/17313

GUIDE DÉTAILLÉ pour le workflow

https://civitai.com/articles/17358

Je travaille encore sur mes nouveaux workflows pour Nunchaku... donc le workflow suivant est encore très WIP (travail en cours) J'ajouterai un article détaillé ce weekend.

Version V12 FP16_B_variant

Grâce à une petite erreur que j'ai faite tard dans la nuit (2h00 du matin), j'ai renommé et uploadé le mauvais checkpoint. C'est un checkpoint très expérimental jamais destiné à être publié. Il n'est pas beaucoup testé mais a très bien fonctionné lors de la présentation. Il pourrait être mieux que la version standard.

Il tend à privilégier les visages asiatiques... C'est parce que je voulais tester quelque chose à mélanger dans un projet annexe sur lequel je travaille encore. Dites-moi votre expérience avec ce checkpoint :-)

Version V12 AIO FP8

Cette version est une version tout en un de V12. Cela signifie que tous les clips sont intégrés dedans. Elle donnera la même sortie que le FP8_unet avec mon clip_l personnalisé.

Version V12 GGUF Q5_1

Cette version était une demande. La qualité est correcte...

Version V10B "BOB"

C'est une version alternative de V10. Je l'ai créée pour améliorer la version FP8 de V10. En général, la version FP8 est plus précise et les couleurs sont meilleures. Malheureusement je n'ai pas beaucoup de temps dernièrement... (la vie réelle passe avant). C'est pour cela que cela a pris du temps... Dites-moi si vous préférez cette version. J'ai aussi une version FP16 "BOB". Selon les retours, je pourrais envisager de publier une version int4.

WORKFLOW :

Voici le workflow pour V12 et V10 : https://civitai.com/articles/17163

Version V10_int4_SVDQ "Nunchaku"

Tout d'abord, je tiens à remercier theunlikely https://huggingface.co/theunlikely qui a converti le FP16_Unet en int4_SVDQ. Visitez sa page et laissez un like.

Cette version est plus ou moins équivalente à la version FP8. Même en mode normal dans mon workflow, cette version est environ 2X-3X plus rapide que le modèle standard. Avec le "mode rapide" du workflow, je peux générer une image de 2MP en environ 19 secondes avec ma 3090ti.

Qu'est-ce que SVDQ "Nunchaku" ?

Cette nouvelle méthode de quantification permet de réduire les modèles Flux (dans ce cas un modèle FP16 natif) de 24 Go à environ 6,7 Go. Mais ce n’est pas tout : vous pouvez générer des images plus rapidement que jamais sans perdre trop en qualité. Bien sûr, vous verrez une petite différence avec mon 32GB_Behemoth, mais pour celui-ci il vous faudrait beaucoup plus de VRAM/RAM pour même le faire fonctionner.

Pour plus d’informations, visitez : https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Installation : veuillez consulter mon guide workflow/installation : https://civitai.com/articles/15610

Version V10 "Behemoth" (FP16_AIO)

Cette version est encore expérimentale. L’objectif principal était d’obtenir des résultats plus réalistes. J’ai aussi réussi à réduire quelques "Lignes Flux". Cette base est prise de Colossus Project V5.0_Behemoth, V9.0 et d’un autre projet que j’appelle "Ouroborus Project"

La version FP16 est très stable. Je publierai bientôt une version FP8. Celle-ci est aussi très bonne mais moins stable...

Je vous laisse l’expérimenter... Dites-moi ce que vous pensez de cette version.

Amusez-vous bien à créer :-)

Version V9.0 :

Je dois beaucoup expliquer… Pourquoi ce numéro V9.0 ?

J’ai récemment déménagé dans un nouvel appartement et à cause d'erreurs de mon fournisseur internet, je n’avais pas de connexion réelle... Donc pendant le déménagement, j’ai laissé mon ordinateur allumé. Le résultat est que j’ai créé beaucoup de checkpoints (la plupart corrompus). J’ai toutefois de très bonnes versions V8 que je pourrais aussi publier…

Qu’est-ce qui a changé ?

J’ai entraîné de nouveaux visages et textures de peau dans le modèle en prenant essentiellement les meilleurs résultats de V5.0. Le modèle a aussi été entraîné pour les pieds/jambes pour une meilleure anatomie. Les versions V5.0 avaient parfois des têtes ou pieds coupés... je pense avoir réussi à résoudre certains de ces problèmes...

En plus, je l’ai entraîné avec plus de mes propres images de paysages... Et oui, tout ça pendant le déménagement... Le temps total d’entraînement fut d’environ 2 semaines de calcul, ce qui n’est pas donné... (chaque heure me coûte environ 0,25 € en électricité)

J’espère que cette version vous plaira... Si vous voulez me soutenir : postez des belles images ou laissez un pourboire via Buzz ou Ko-fi...

Dites-moi ce que vous en pensez :-)

Version 5.0 :

V5.0 est basée sur V4.2 et V4.4 (qui sera bientôt publiée). Elle bénéficie d’un entraînement supplémentaire sur les détails de la peau et sur l’anatomie en général, ce qui a surtout corrigé des parties comme les mains et les tétons. Les détails du visage sont beaucoup meilleurs. J’ai aussi essayé de corriger des petites lignes de flux...

En général, cette version est plus réaliste que V4.2 et offre de meilleurs petits détails... Comme la version 4.2, c’est un modèle hybride dé-distillé. Vous pouvez l’utiliser avec les mêmes réglages que V4.2.

Voici aussi un nouveau workflow à essayer : https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Dites-moi ce que vous pensez de cette version comparée à 4.2 ou V2.1...

Version 4.4 "Research" :

J’ai ajouté cette version pour complétude... Elle est légèrement plus réaliste que V4.2 et la base de la version 5.0. Vous pouvez l’essayer si vous voulez. Elle est compatible avec le workflow pour V5.0 et V4.2...

Version 4.2 :

Cette version est essentiellement un développement du Demoncore Flux et du Colossus Project Flux. L’objectif était d’obtenir un résultat plus stable avec de meilleures textures de peau, de meilleures mains et plus de variété dans les visages. Je l’ai donc entraînée à partir d’un modèle hybride incluant partiellement Demoncore Flux. J’ai aussi amélioré les tétons et un peu la partie NSFW. Dites-moi si vous préférez V4.2 à la version 2.1 :-)

Pour les images de démonstration : j’ai utilisé uniquement des images natives avec résolution SDXL ou 2MP (par exemple 1216x1632). Ce modèle peut gérer des résolutions encore plus élevées... J’ai testé ce checkpoint jusqu’à 2500x2500 mais recommande environ 2000x2000 max.

Pour les réglages, je conseille environ 30 étapes et un cfg de 2 à 2,5. J’utilise majoritairement 2,2 à 2,3 dans mon workflow. Pour la démonstration, j’ai utilisé DPM++ 2M avec Simple scheduler.

Je publierai bientôt d'autres versions mais je n’ai pas beaucoup de temps avant Noël...

Réglages

Je vais bientôt ajouter un workflow Comfy dédié. Pour l’instant, vous pouvez toujours télécharger et ouvrir les images de démonstration...

La version "tout en un" fonctionne aussi bien avec Forge...

En général, les réglages sont les mêmes que pour la version 2.1 (voir ci-dessous)

Optez pour 20-30 étapes avec environ 2,2 cfg...

Version 2.1_de-distilled_experimental (MERGE)

Cette version est totalement différente et fonctionne en réalité différemment d’un modèle Flux normal !

C’est une fusion expérimentale entre ma version 2.0 et une version dé-distillée https://huggingface.co/nyanko7/flux-dev-de-distill. C’est arrivé un peu par accident mais les résultats sont époustouflants. Vous obtiendrez des détails surprenants. Elle suit aussi très bien les prompts... Donc la prochaine étape sera d’entraîner directement sur ce modèle dé-distillé. J’ai déjà fait quelques tests Lora avec. C’est très expérimental, merci de me signaler toute erreur non répertoriée ci-dessous. Si vous avez de belles images, postez-les... et aussi les mauvaises, cela aidera à améliorer les choses :-). Essayez aussi la version 2.0 et dites-moi quel type de checkpoint vous convient le mieux.

!Attention !

Le workflow Flux normal ne fonctionne pas avec cette version. VOUS DEVEZ télécharger mon workflow pour cela !

Vous pouvez aussi trouver une autre solution vous-même mais ne me blâmez pas pour les images médiocres. C’est un modèle très expérimental... voyez les inconvénients ci-dessous...

Avantages et inconvénients de ce checkpoint :

• Ce checkpoint produit des détails extrêmes... Mais cela a un prix... Il est lent comparé aux checkpoints Flux normaux. L’avantage est que souvent vous n’aurez plus besoin de upscaling supplémentaire. Au lieu d’utiliser Flux Guidance, ce modèle utilise le scale cfg, ce qui signifie qu’il ne fonctionnera pas avec les workflows standards.

• Vous pouvez utiliser des prompts négatifs ! Cela aide à retirer ce que vous ne voulez pas dans l’image.

• Parfois des artefacts peuvent apparaître... Vous pouvez résoudre cela par un léger upscaling simple (je travaille sur ça). Voici un exemple... ce problème n’arrive pas avec toutes les graines... MISE À JOUR : Ce n’est pas un problème du modèle lui-même, mais plutôt du workflow... Je travaille à corriger cela. Si cela arrive, essayez de mettre le premier upscaling à 1.14 au lieu de 1.2.

  

  

Réglages et Workflow V2.1 :

Voici le workflow : https://civitai.com/articles/8419

Réglages : contrairement au Flux normal, il n’a pas besoin de Flux Guidance scale. Utilisez le cfg à la place. J’utilise majoritairement 3 cfg. Certaines images peuvent nécessiter un cfg plus faible.

Le plus important est d’éteindre le flux guidance scale...

Sans ce workflow, j’ai testé à 30 étapes et 2-3 cfg. Cela peut aussi être utilisé pour Forge. Expérimentez.

Je recommande d’utiliser le mot "blurry" dans les négatifs.

Sampleur et scheduler :

Vous pouvez choisir parmi plusieurs sampleurs fonctionnels :

Euler, Heun, DPM++2m, deis, DDIM fonctionnent très bien.

J’utilise principalement "simple" comme scheduler.

Si vous trouvez de meilleurs réglages, dites-le-moi... :-)

Pour Forge, je recommande le modèle AIO... voici un exemple de réglage pour Forge :

Version 2.0_dev_experimental

Voici une version expérimentale. L’objectif était de créer un modèle plus cohérent et rapide. J’ai entraîné quelques Loras supplémentaires que j’ai fusionnés dans les modèles résultants d’une manière spéciale (fusion tensorielle). Il intègre un T5xxl personnalisé modifié avec "Attention Seeker". Pour gagner en rapidité et qualité supplémentaire, j’ai fusionné le Hyper Flux lora de ByteDance. Cela a décalé la zone de travail... Voici l’image principale du titre...

16 étapes V 2.0

30 étapes V 1.0

Inconvénients :

Premièrement, cette version est un peu plus grosse que la précédente. Deuxièmement, je dois encore créer une version Unet seule. Je mettrai à jour quand ce sera fait...

Réglages et Workflow V2.0 :

Vous pouvez maintenant faire tourner le modèle avec moins d’étapes... 16 étapes équivalent à 30 étapes de l’ancien modèle.

Je recommande tout de même entre 20 et 30 étapes pour obtenir une meilleure qualité dans la majorité des cas.

Sampleur : je préfère Euler avec Simple comme scheduler. Le guidance peut être réglé entre 1.5 et 3 (n’hésitez pas à tester en dehors de cette plage). Le guidance à 1.8 fonctionne bien pour les images réalistes. Vous pouvez aussi essayer d’autres sampleurs. DPM++2M et Heun fonctionnent bien aussi.

Workflow 2.0 :

J’ai créé un nouveau workflow pour V2.0 et V1.0. Il inclut le nouveau Flux Prompt Generator. J’ai aussi activé la deuxième étape d’upscaling. https://civitai.com/articles/7946

Forge :

J’ai testé ce modèle avec Forge et cela a très bien fonctionné. Les images peuvent toutefois différer entre Comfy UI et Forge...

Version 1.0_dev_beta :

C’est ma première version de la série. Merci de me donner du feedback et de poster des images. Cela m’aide à améliorer ce projet. Plusieurs versions sont disponibles. La meilleure en termes de qualité est la version FP16. Cependant, cette version est très lourde et nécessite une carte graphique puissante avec beaucoup de RAM. La version FP8 est un bon compromis entre qualité et performance. Si vous souhaitez une version GGUF, téléchargez la Q8_0. La version GGUF Q4_0/4.1 a été créée sur demande. Elle est légère mais avec une perte de qualité.

Il y a essentiellement deux types de mes modèles : les modèles "tout en un" qui nécessitent un seul fichier à télécharger. Ils contiennent Clip_l, T5xxl fp8 et VAE intégrés. (voir ci-dessous). Placez-les dans votre dossier checkpoints.

Les autres versions sont les UNET-ONLY. Vous devez charger chaque fichier séparément.

Dans tous les cas, vous devez télécharger mon Clip_L pour que cela fonctionne correctement.

Il est aussi important de choisir le bon clip T5xxl. Pour la version FP8, c’est le clip fp8_e4m3fn t5xxl. Pour FP16, c’est le clip FP16. Assurez-vous de sélectionner le type de poids par défaut. (ci-dessous une image d’exemple pour la version fp8)

Pour la version GGUF, il faut le chargeur GGUF !

Quelques informations connues pour l’instant concernant V1.0 :

C’est juste la première version de la série donc elle peut avoir du mal avec certains prompts ou styles comme l’art. La prochaine version recevra plus d’entraînement. Dites-moi ce que le modèle ne peut pas faire...

Réglages et Workflow :

J’ai testé avec environ 30 étapes, Euler et Simple comme scheduler. Le guidance peut être réglé entre 1.5 et 3 (n’hésitez pas à tester en dehors de cette plage bien sûr).

Le guidance à 1.8 fonctionne bien pour les images réalistes.

N’hésitez pas à expérimenter avec ces réglages... Si vous obtenez de bons résultats, merci de les poster.

J’ai ajouté les images de démonstration comme données d’entraînement... Le workflow est prévu pour Comfy. Voici le workflow à télécharger : https://civitai.com/articles/7946

Modèle "Tout en un" :

UNET_only :

Vous devez aussi télécharger le clip_L. C'est un fichier de 240 Mo.

GGUF : J'ai ajouté le workflow pour GGUF ici : https://civitai.com/articles/7946

Important :

Le modèle dev n’est pas destiné à un usage commercial. Pour cela, je publierai le modèle "schnell" ailleurs. Il est plus destiné à un usage personnel ou scientifique.

LICENCE :

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Crédits :

theunlikely https://huggingface.co/theunlikel (merci encore)

Version 2.1/V4.2/5.0 : Flux_dev_de-distill from nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Depuis V2.0 : Hyper Lora de ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest pour leur incroyable modèle Flux https://huggingface.co/black-forest-labs