Au plus profond d'une montagne vit un géant endormi, capable soit d'aider l'humanité soit de créer la destruction...

Un Colosse se lève...

Après ma série SDXL, il est temps pour la série FLUX de ce projet... Cette fois, j'ai entraîné cette chose depuis zéro. Pour l'entraînement, j'ai utilisé mes propres images. Je les ai créées avec mon modèle schnell Flux DemonFlux/Colossus Project schnell + mon SDXL Colossus Project 12 comme affiner.

Ce SD Flux-Checkpoint est capable de produire presque tout.. Colossus est très bon pour créer des images extrêmement réalistes, anime et artistiques.

Si vous l'aimez, n'hésitez pas à me donner votre avis. Aussi, si vous voulez me soutenir, vous pouvez le faire ici. J'ai dépensé pas mal d'argent pour construire un ordinateur capable d'entraîner réellement les modèles Flux.. De plus, l'entraînement et les tests prennent beaucoup de temps et d'électricité..

https://ko-fi.com/afroman4peace

Version V12 "Hephaistos"

Publier ce point de contrôle me rend à la fois heureux et triste.. V12 sera le dernier point de contrôle de cette série.. La raison principale est la future législation européenne sur l'IA... Une autre raison est la licence de Flux .1 DEV lui-même. Merci à tous pour le soutien ! J'ai investi beaucoup de temps dans ce projet au cours de l'année dernière. Maintenant, il est temps de passer à un autre projet.

Quoi qu'il en soit.. je terminerai cette série en beauté...

V12 est basé sur V10B "BOB" mais intègre essentiellement les meilleures parties de cette série fusionnées dans ce point de contrôle. (C'était le résultat d'une nouvelle méthode de fusion qui a pris environ 1h30 et a utilisé toute ma RAM de 128 Go). J'ai également amélioré les textures du visage et de la peau par rapport à V10. Les yeux sont beaucoup plus réalistes et plus "vivants" qu'avant.

Testez-le vous-même et donnez-moi votre avis sur V12. "Grâce" à ma connexion internet lente, je vais d'abord téléverser le FP8_UNET. Ensuite la version FP8 "tout en un" puis le FP16_unet et FP16_BEHEMOTH. Je vais aussi essayer de le convertir en int4 et fp4 (souhaitez-moi bonne chance).

Comme toujours, donnez-moi vos retours sur V12..

Version V12 "Behemoth" (AIO)

Ce modèle "tout en un" est le meilleur de ma série V12.. et bien sûr le plus volumineux :-)

Le Behemoth contient un T5xxl personnalisé et Clip_l intégrés dans le modèle. Si vous préférez la qualité à la quantité, c’est le checkpoint qu'il vous faut !

Version V12 FP4/int4

Merci à Muyang Li de Nunchakutech qui a effectué la quantification de V12. https://huggingface.co/nunchaku-tech et leur formidable nunchaku !

Cette version est véritablement époustouflante. Alliant qualité et vitesse jamais vues auparavant.

ATTENTION !

Il y a deux versions : FP4 et int4. FP4 est uniquement pour les cartes graphiques Nvidia série 50xx ! Tandis que int4 fonctionne avec les 40xx et inférieures. (vous avez besoin d'au moins une carte graphique série 20xx)

Vous pouvez également télécharger les deux versions directement ici : https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

GUIDE D'INSTALLATION et WORKFLOW

Voici un guide d'installation rapide et un workflow en cours.

https://civitai.com/articles/17313

GUIDE DÉTAILLÉ pour le Workflow

https://civitai.com/articles/17358

Je travaille encore sur mes nouveaux workflows pour Nunchaku... donc le workflow suivant est encore très WIP (travail en cours). J'ajouterai un article détaillé ce week-end.

Version V12 FP16_B_variant

Suite à une petite erreur faite tard dans la nuit (2h du matin), j'ai renommé et uploadé le "mauvais" checkpoint. C'est un checkpoint très expérimental jamais destiné à être publié. Il n'a pas été beaucoup testé mais a très bien fonctionné pour la showcase. Il est peut-être meilleur que la version standard.

Il tend à privilégier les visages asiatiques.. C’est parce que je voulais tester quelque chose à intégrer dans un projet parallèle sur lequel je travaille encore. Dites-moi vos expériences avec ce checkpoint :-)

Version V12 AIO FP8

Cette version est une version tout-en-un de V12. Cela signifie que tous les clips sont intégrés dedans. Cela donnera la même sortie que le FP8_unet avec mon clip_l personnalisé.

Version V12 GGUF Q5_1

Cette version a été demandée. La qualité est correcte..

Version V10B "BOB"

Ceci est une version alternative de V10. Je l'ai créée pour améliorer la version FP8 de V10. En général, la version FP8 est plus précise et les couleurs sont meilleures. Malheureusement, je n'ai pas eu beaucoup de temps récemment.. (la vie réelle passe en premier). C’est pourquoi cela a pris autant de temps.. Dites-moi si vous préférez cette version. J'ai aussi une version FP16 de "BOB". Selon les retours, je considérerai aussi publier une version int4.

WORKFLOW :

Voici le workflow pour V12 et V10 : https://civitai.com/articles/17163

Version V10_int4_SVDQ "Nunchaku"

Tout d'abord, je tiens à remercier theunlikely https://huggingface.co/theunlikely qui a converti le FP16_Unet en int4_SVDQ. Visitez sa page et laissez un like.

Cette version est plus ou moins équivalente à la version FP8. Même en mode normal dans mon workflow, celle-ci est environ 2 à 3 fois plus rapide que le modèle régulier.. Avec le "mode rapide" du workflow, je peux rendre une image 2MP en environ 19 secondes avec ma 3090ti.

Qu'est-ce que SVDQ "Nunchaku" ?

Cette nouvelle méthode de quantification permet de réduire les modèles Flux (dans ce cas un modèle FP16 natif) de 24 Go à environ 6,7 Go. Mais ce n’est pas tout : vous pouvez générer plus rapidement que jamais sans trop perdre en qualité. Bien sûr, vous verrez une petite différence avec mon 32GB_Behemoth mais pour ce modèle vous aurez besoin de beaucoup plus de VRAM / RAM pour même le faire fonctionner.

Pour plus d'informations, visitez : https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Installation : merci de consulter mon guide/workflow d'installation : https://civitai.com/articles/15610

Version V10 "Behemoth" (FP16_AIO)

Cette version est encore expérimentale. L’objectif principal était d’obtenir des résultats plus réalistes. J’ai également réussi à réduire certaines "lignes Flux". Ce modèle est basé sur Colossus Project V5.0_Behemoth, V9.0 et un autre projet que j’appelle "Ouroborus Project"

La version FP16 est très stable. Je sortirai aussi bientôt une version FP8. Cette version est aussi très bonne mais moins stable..

Je vous laisse l’expérimenter.. Dites-moi ce que vous pensez de cette version.

Amusez-vous bien à créer :-)

Version V9.0 :

Bon, il faut que j’explique pas mal de choses... D’abord, pourquoi est-ce même la V9.0 ?

J’ai récemment déménagé dans un nouvel appartement et à cause d’erreurs de mon fournisseur d’accès internet, je n’avais pas de vraie connexion.. Pendant le déménagement, j’ai laissé mon ordinateur tourner. Le résultat est que j’ai créé beaucoup (la plupart cassés) de checkpoints. J’ai quand même quelques bonnes versions V8 que je publierai peut-être plus tard..

Qu’est-ce qui a changé ?

J’ai entraîné de nouveaux visages et textures de peau dans le modèle en prenant essentiellement les meilleurs résultats de V5.0. Le modèle a aussi eu un entraînement pieds/jambes pour une meilleure anatomie. Les versions V5.0 faisaient parfois couper la tête et les pieds.. Je pense avoir corrigé certains de ces problèmes..

En plus, je l’ai entraîné avec plus de mes propres images de paysages... Et oui, tout ça pendant le déménagement... Le temps total d’entraînement a été d’environ 2 semaines de calcul, ce qui n’est pas donné... (chaque heure me coûte environ 25 centimes d’électricité)

Quoi qu’il en soit, j’espère que vous aimerez cette version... Si vous souhaitez me soutenir : postez de belles images ou même donnez un pourboire via buzz ou Ko-fi...

Dites-moi ce que vous en pensez :-)

Version 5.0 :

V5.0 est en fait basé sur V4.2 et V4.4 (qui sera aussi bientôt publiée). Il a eu un entraînement supplémentaire sur les détails de la peau et sur l’anatomie en général, corrigeant notamment des détails comme les mains et les tétons. Les détails du visage sont beaucoup meilleurs. J’ai aussi essayé de corriger les petites lignes Flux restantes..

En général, cette version est plus réaliste que V4.2 et meilleure sur les petits détails.. Comme pour la version 4.2, cette version est aussi un modèle hybride dédistillé. Vous pouvez l’utiliser avec à peu près les mêmes réglages que V4.2.

Voici aussi un nouveau workflow pour jouer avec : https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Dites-moi ce que vous en pensez comparé à 4.2 ou V2.1..

Version 4.4 "Research" :

J’ai ajouté cette version juste pour la complétude.. Elle est un peu plus réaliste que V4.2 et est la base de la version 5.0. Vous pouvez la tester si vous voulez. Vous pouvez aussi utiliser le workflow pour V5.0 et V4.2..

Version 4.2 :

Cette version est essentiellement une évolution de Demoncore Flux et Colossus Project Flux. L’objectif était d’obtenir un résultat plus stable avec de meilleures textures de peau, de meilleures mains et plus de variété de visages. J’ai donc entraîné sur un modèle hybride partiellement Demoncore Flux. J’ai aussi amélioré un peu les tétons et NSFW. Dites-moi si vous préférez V4.2 à la version 2.1 :-)

Pour les images de démonstration : j’ai utilisé uniquement des images natives en résolution SDXL ou 2MP (par exemple 1216x1632). Ce modèle peut gérer des résolutions encore plus élevées.. J’ai testé ce checkpoint jusqu’à 2500x2500 mais je recommande de ne pas dépasser environ 2000x2000.

Pour les réglages, je recommande environ 30 étapes et 2-2.5 CFG. J’utilise surtout 2.2 ou 2.3 dans mon workflow. Pour la démo j’ai utilisé DPM++ 2M avec planificateur Simple.

Je vais ajouter plus de versions bientôt mais je n’ai pas trop de temps avant Noël..

Réglages

Je vais bientôt ajouter un workflow dédié Comfy plus récent. Vous pouvez toujours télécharger et ouvrir les images de démonstration pour l’instant..

La version "Tout en un" fonctionne aussi bien avec Forge..

En gros, elle fonctionne avec les mêmes réglages que la Version 2.1 (voir ci-dessous)

Utilisez 20-30 étapes avec environ 2.2 CFG..

Version 2.1_de-distilled_experimental (MERGE)

Cette version est complètement différente et fonctionne en fait différemment d’un modèle Flux normal !

C’est une fusion expérimentale entre ma version 2.0 et une version dédistillée https://huggingface.co/nyanko7/flux-dev-de-distill. Ça s’est fait un peu par accident mais les résultats sont époustouflants. Vous aurez des détails incroyables. Ça suit aussi très bien les prompts... La prochaine étape sera d’entraîner directement sur le modèle dédistillé. J’ai déjà fait quelques tests de Loras avec. C’est très expérimental alors merci de me signaler les erreurs non listées ci-dessous. Si vous avez de belles images, postez-les.. postez aussi les mauvaises, cela peut aider à améliorer les choses :-). Essayez aussi la version 2.0 et dites-moi quel type de checkpoint vous convient le mieux.

!Attention !

Le workflow Flux normal ne fonctionne pas avec cette version. VOUS DEVEZ télécharger mon workflow pour celle-ci !

Vous pouvez aussi trouver une solution vous-même mais ne me blâmez pas pour de mauvaises images. C’est un modèle très expérimental... voyez les inconvénients ci-dessous..

Les avantages et inconvénients de ce checkpoint :

• Ce checkpoint peut créer des détails extrêmes.. Cela a un prix.. Il est lent comparé aux checkpoints Flux normaux. L’avantage est qu’on n’a souvent plus besoin d’upscale additionnel. Au lieu d’utiliser le Flux Guidance, ce modèle utilise l’échelle CFG. Ce qui signifie aussi qu’il ne fonctionne pas avec des workflows standards.

• Vous pouvez utiliser des prompts négatifs ! Cela aide à retirer ce que vous ne voulez pas dans l’image.

• Parfois, des artefacts peuvent apparaître.. Vous pouvez résoudre cela par un petit et simple upscale (je travaille dessus). Voici un exemple.. cela arrive bizarrement pas avec toutes les seeds.. MISE À JOUR : Ce n’est pas un problème du modèle lui-même.. plutôt du workflow.. Je travaille à une correction. Si ça arrive, essayez de régler le premier upscale à 1.14 au lieu de 1.2.

  

  

Réglages et Workflow V2.1 :

Voici le workflow pour cette version : https://civitai.com/articles/8419

Réglages : contrairement à Flux normal, il ne nécessite pas le Flux Guidance scale. Utilisez le CFG à la place. Je mets souvent 3 CFG pour ce workflow.. Certaines images peuvent nécessiter un scale CFG plus bas.

L’important est de désactiver le flux guidance scale..

Sans workflow, je l’ai testé avec 30 étapes et 2-3 CFG. Ce sont aussi peut-être les réglages pour Forge. Essayez d’expérimenter.

Je recommande d’ajouter le mot "flou" (blurry) dans les prompts négatifs.

Sampler et planificateur :

Vous pouvez choisir parmi plusieurs samplers fonctionnels :

Euler, Heun, DPM++2m, deis et DDIM fonctionnent très bien.

J’utilise surtout "simple" comme planificateur.

Si vous trouvez de meilleurs réglages, dites-le moi.. :-)

Pour Forge, je recommande d’utiliser le modèle AIO.. voici un exemple de réglage pour Forge :

Version 2.0_dev_experimental

Bon.. c’est une version expérimentale.. L’objectif était de créer un modèle plus cohérent et plus rapide. J’ai entraîné plusieurs loras supplémentaires que j’ai ensuite fusionnés d’une façon spéciale (fusion tensorielle). Le modèle contient un T5xxl custom que j’ai modifié avec "Attention Seeker". Pour gagner en vitesse et qualité, j’ai fusionné le lora Hyper Flux de ByteDance. Cela a décalé la zone de travail.. Je vous montre ce que ça signifie.. Voici l’image principale..

16 étapes V 2.0

30 étapes V 1.0

Inconvénients :

Tout d’abord, cette version est un peu plus volumineuse que la précédente.. Ensuite, je dois encore créer la version Unet only. Je mettrai à jour quand c’est fait..

Réglages et Workflow V2.0 :

Vous pouvez désormais faire tourner le modèle avec moins d’étapes.. 16 étapes équivalent à 30 étape de l'ancien modèle.

Je recommande toujours d’utiliser environ 20-30 étapes car cela donnera généralement plus de qualité.

Sampler : je préfère Euler avec Simple comme planificateur. La guidance peut être réglée de 1.5 à 3 (n’hésitez pas à tester en dehors de cette plage). Une guidance de 1.8 fonctionne bien pour les images réalistes. Vous pouvez aussi tester d’autres samplers. DPM++2M et Heun fonctionnent très bien aussi.

Workflow 2.0 :

J’ai créé un nouveau workflow pour V2.0 et V1.0. Il intègre le nouveau générateur de prompt Flux. En plus, la deuxième étape d’upscale fonctionne. https://civitai.com/articles/7946

Forge :

J’ai testé ce modèle avec Forge et ça a très bien fonctionné.. Les images peuvent néanmoins différer entre Comfy UI et Forge..

Version 1.0_dev_beta :

Ce modèle est ma première entrée dans la série. Merci de me donner vos retours et poster des images. Cela m’aide à améliorer ce projet. Plusieurs versions sont disponibles. La meilleure en qualité est la version FP16 Bien que lourde, elle nécessite une carte graphique puissante et beaucoup de RAM. La version FP8 est un bon compromis qualité/performance. Si vous voulez une version GGUF, téléchargez la Q8_0. La version GGUF Q4_0/4.1 était sur demande. Elles sont plus légères mais perdent un peu en qualité.

Il y a essentiellement deux types de modèles, les "Tout en un" qui nécessitent un seul fichier à télécharger. Ils contiennent le Clip_l, le T5xxl fp8 et le VAE intégrés. (voir ci-dessous). Placez ceci dans votre dossier checkpoints.

L'autre type est uniquement UNET. Ici, vous devez charger tous les fichiers séparément.

Dans tous les cas, vous devez télécharger mon Clip_L pour que cela fonctionne correctement..

Il est aussi important de choisir le clip T5xxl adapté. Pour la version FP8 c’est le clip fp8_e4m3fn t5xxl. Pour FP16, c’est le clip FP16. Assurez-vous de sélectionner le type de poids par défaut. (voir l’image d’exemple ci-dessous pour la version fp8)

Pour la version GGUF, vous avez besoin du loader GGUF !

Quelques points connus pour l’instant concernant V1.0 :

C’est seulement le premier modèle de la série, donc il peut avoir du mal avec certains prompts ou styles comme l’art. La prochaine version recevra un entrainement supplémentaire. Dites-moi ce que le modèle ne peut pas faire..

Réglages et Workflow :

Je l’ai testé avec environ 30 étapes, Euler et Simple comme planificateur. La guidance est réglable de 1.5 à 3 (n’hésitez pas à tester en dehors de cette plage)

Une guidance de 1.8 fonctionne bien pour les images réalistes.

N’hésitez pas à expérimenter les réglages.. Si vous obtenez de bons résultats, postez-les.

J’ai ajouté les images de démonstration comme données d’entraînement.. Le workflow Comfy est inclus. Voici le lien pour le workflow : https://civitai.com/articles/7946

Modèle "Tout en un" :

Uniquement UNET :

Vous devez aussi télécharger le clip_L. C’est un fichier de 240 Mo.

GGUF : J’ai ajouté le workflow pour GGUF ici : https://civitai.com/articles/7946

Important :

Le modèle dev n'est pas destiné à un usage commercial. Pour cela, je publierai le modèle "schnell" ailleurs. Il est plus destiné à un usage personnel ou scientifique.

LICENCE :

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Crédits :

theunlikely https://huggingface.co/theunlikel (merci encore)

Version 2.1/V4.2/5.0 : Flux_dev_de-distill de nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Depuis V2.0 : Hyper Lora de ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest pour leur incroyable modèle Flux https://huggingface.co/black-forest-labs