Au cœur d'une montagne dort un géant endormi, capable soit d'aider l'humanité soit de semer la destruction...

Un Colosse se relève...

Après ma série SDXL, il est temps pour la série FLUX de ce projet... Cette fois, j'ai entraîné cela depuis le début. Pour l'entraînement, j'ai utilisé mes propres images. Je les ai créées avec mon modèle schnell Flux DemonFlux/Colossus Project schnell + mon SDXL Colossus Project 12 en tant que raffineur.

Ce Flux-Checkpoint SD est capable de produire presque tout... Colossus est très efficace pour créer des images extrêmement réalistes, des anime et de l'art.

Si vous l'aimez, n'hésitez pas à me donner vos retours. Si vous souhaitez me soutenir, vous pouvez le faire ici. J'ai dépensé pas mal d'argent pour construire un ordinateur capable d'entraîner réellement les modèles Flux... L'entraînement et les tests prennent aussi beaucoup de temps et d'électricité...

https://ko-fi.com/afroman4peace

Version V12 "Hephaistos"

Publier ce checkpoint me rend à la fois heureux et triste... V12 sera le dernier checkpoint de cette série... La raison principale sont les futures lois européennes sur l'IA... Une autre raison est la licence de Flux .1 DEV lui-même. Merci à tous pour le soutien ! J'ai consacré beaucoup de temps à ce projet l'année dernière. Il est maintenant temps de passer à un autre projet.

Quoi qu'il en soit... je terminerai cette série en beauté...

V12 est construit sur V10B "BOB" mais intègre essentiellement les meilleures parties de cette série fusionnées en un seul checkpoint. (C'était le résultat d'une nouvelle méthode de fusion qui a pris environ 1h30 et a utilisé toute ma RAM de 128 Go). J'ai également amélioré les textures du visage et de la peau par rapport à V10. Les yeux sont beaucoup plus réalistes et "vivants" qu'avant.

Testez-le vous-même et donnez-moi un retour sur V12. "Merci" à ma connexion internet lente, je vais d'abord télécharger le FP8_UNET. Puis la version FP8 "tout-en-un" et ensuite le FP16_unet et FP16_BEHEMOTH. J'essaierai aussi de le convertir en int4 et fp4 (souhaitez-moi bonne chance là-dessus).

Comme toujours, donnez-moi votre avis sur V12...

Version V12 "Behemoth" (AIO)

Ce modèle "tout en un" est le meilleur de ma série V12... et bien sûr le plus volumineux :-)

Le Behemoth intègre un T5xxl personnalisé et Clip_l incorporé dans le modèle. Si vous préférez la qualité à la quantité, c'est le checkpoint qu'il vous faut !

Version V12 FP4/int4

Merci à Muyang Li de Nunchakutech qui a effectué la quantification de V12. https://huggingface.co/nunchaku-tech et leurs incroyables nunchaku !

Cette version est vraiment impressionnante. Elle combine qualité et vitesse comme jamais auparavant.

ATTENTION !

Il existe deux versions : FP4 et int4. FP4 est uniquement pour les cartes graphiques Nvidia 50xx ! Tandis que int4 fonctionne avec les 40xx et inférieures (vous avez besoin d'au moins une carte graphique de la série 20xx).

Vous pouvez aussi télécharger les deux versions directement ici : https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

GUIDE D'INSTALLATION ET FLUX DE TRAVAIL

Voici un guide d'installation rapide et un flux de travail en cours de développement.

https://civitai.com/articles/17313

GUIDE DÉTAILLÉ pour le flux de travail

https://civitai.com/articles/17358

Je travaille toujours sur mes nouveaux flux de travail pour Nunchaku... donc le flux ci-dessous est encore très WIP (en cours). J'ajouterai un article détaillé ce week-end.

Version V12 FP16_B_variant

Suite à une petite erreur faite tard dans la nuit (2h du matin), j'ai renommé et téléchargé le mauvais checkpoint. C'est un checkpoint très expérimental jamais destiné à être publié. Il n'a pas été beaucoup testé mais a très bien fonctionné lors de la création de la vitrine. Il pourrait être meilleur que la version standard.

Il a tendance à pencher davantage vers des visages asiatiques... C'est parce que je voulais tester quelque chose à mélanger dans un projet annexe sur lequel je travaille encore. Dites-moi vos impressions avec ce checkpoint :-)

Version V12 AIO FP8

Cette version est une version tout-en-un de V12. Cela signifie que tous les clips sont intégrés. Elle donnera la même sortie que le FP8_unet avec mon clip_l personnalisé.

Version V12 GGUF Q5_1

Cette version a été demandée. Elle n'est pas mauvaise en qualité...

Version V10B "BOB"

C'est une version alternative de V10. Je l'ai créée pour améliorer la version FP8 de V10. En général, la version FP8 est plus précise et les couleurs sont meilleures. Malheureusement, je n'ai pas beaucoup de temps récemment... (La vie réelle passe avant). C'est pourquoi cela a pris autant de temps... Dites-moi si vous préférez cette version. J'ai aussi une version FP16 de "BOB". Selon les retours, je considérerai également publier une version int4.

FLUX DE TRAVAIL :

Voici le flux de travail pour V12 et V10 : https://civitai.com/articles/17163

Version V10_int4_SVDQ "Nunchaku"

Je tiens d'abord à remercier theunlikely https://huggingface.co/theunlikely qui a converti le FP16_Unet en int4_SVDQ. Allez visiter sa page et laissez un like.

Cette version est plus ou moins équivalente à la version FP8. Même en mode normal dans mon flux elle est environ 2X-3X plus rapide que le modèle régulier... Avec le "mode rapide" du flux je peux rendre une image 2MP en environ 19 secondes avec ma 3090ti.

Qu'est-ce que SVDQ "Nunchaku" ?

Cette nouvelle méthode de quantification permet de réduire les modèles Flux (ici un modèle FP16 natif) de 24 Go à environ 6,7 Go. Mais ce n'est pas tout : vous pouvez générer plus rapidement que jamais sans trop perdre en qualité. Bien sûr, vous verrez une petite différence avec mon 32GB_Behemoth mais pour celui-ci, vous aurez besoin de beaucoup plus de VRAM/RAM pour même le faire tourner.

Pour plus d'informations, visitez : https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Installation : Veuillez visiter mon guide d'installation du workflow : https://civitai.com/articles/15610

Version V10 "Behemoth" (FP16_AIO)

Cette version est encore expérimentale. L'objectif principal était d'obtenir des résultats plus réalistes. J'ai aussi réussi à réduire certaines "lignes Flux". Ce modèle est basé sur Colossus Project V5.0_Behemoth, V9.0 et un autre projet que j'appelle "Ouroborus Project".

La version FP16 est très stable. Je vais bientôt sortir une version FP8 également. Cette version est aussi très bonne mais pas aussi stable...

Je vous laisse l'expérimenter... Dites-moi ce que vous pensez de cette version.

Amusez-vous bien en créant :-)

Version V9.0 :

Eh bien, il faut beaucoup expliquer... Pourquoi est-ce même la V9.0 ?

J'ai récemment emménagé dans un nouvel appartement et à cause d'erreurs du fournisseur internet, je n'avais pas de connexion réelle... Donc pendant tout le déménagement... j'ai laissé mon ordinateur allumé. Le résultat a été que j'ai créé beaucoup (la plupart cassés) de checkpoints. J'ai quand même de très bonnes versions V8 que je pourrais aussi publier...

Qu'est-ce qui a changé ?

J'ai entraîné de nouveaux visages et textures de peau dans le modèle en utilisant essentiellement les meilleurs résultats de V5.0. Le modèle a aussi reçu un entraînement des pieds/jambes pour une meilleure anatomie. Les versions V5.0 coupaient parfois la tête et les pieds... Je pense avoir corrigé certains de ces problèmes...

De plus, je l'ai formé avec plus de mes propres images de paysages... Et oui, j'ai fait tout cela en emménageant dans un nouvel appartement... Je pense que le temps total d'entraînement est d'environ 2 semaines de calcul, ce qui n'est pas donné... (chaque heure me coûte environ 25 centimes d'électricité)

Quoi qu'il en soit, j'espère que vous apprécierez cette version... Si vous voulez me soutenir : postez de belles images ou même un pourboire sur Buzz ou Ko-fi...

Dites-moi ce que vous en pensez :-)

Version 5.0 :

V5.0 est en réalité basé sur V4.2 et V4.4 (qui sera aussi bientôt publié). Il a reçu un entraînement supplémentaire sur les détails de la peau et l'anatomie en général, ce qui a principalement corrigé des choses comme les mains et les tétons. Les détails du visage sont bien meilleurs. J'ai aussi essayé de corriger certaines petites lignes Flux...

En général, cette version est plus réaliste que V4.2 et meilleure pour les petits détails... Comme la version 4.2, c'est aussi un modèle hybride dédistillé. Vous pouvez l'utiliser essentiellement avec les mêmes réglages que V4.2.

Voici également un nouveau flux de travail à essayer : https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Dites-moi ce que vous pensez de cette version comparée à 4.2 ou V2.1...

Version 4.4 "Research" :

J'ai ajouté cette version pour compléter... Elle est légèrement plus réaliste que V4.2 et sert de base à la version 5.0. Vous pouvez l'essayer si vous le voulez. Vous pouvez aussi utiliser le flux de travail pour V5.0 et V4.2...

Version 4.2 :

Cette version est essentiellement un développement supplémentaire de Demoncore Flux et Colossus Project Flux. Le but était d'obtenir un résultat plus stable avec de meilleures textures de peau, de meilleures mains et plus de variété dans les visages. J'ai donc entraîné sur un modèle hybride en partie Demoncore Flux. J'ai aussi un peu amélioré les tétons et le contenu NSFW. Dites-moi si vous préférez V4.2 à la version 2.1 :-)

Pour les images de vitrine : j'ai utilisé uniquement des images natives en résolution SDXL ou 2MP (par exemple 1216x1632). Ce modèle peut gérer des résolutions encore plus élevées... J'ai testé ce checkpoint jusqu'à 2500x2500 mais je recommande plutôt autour de 2000x2000.

Pour les réglages, je recommande environ 30 étapes et 2-2.5 CFG. J'utilise principalement 2.2 ou 2.3 dans mon flux. Pour la vitrine, j'ai utilisé DPM++ 2M avec un scheduler Simple.

Je vais ajouter d'autres versions bientôt mais je n'ai pas beaucoup de temps avant Noël...

Réglages

Je vais bientôt ajouter un nouveau flux de travail Comfy dédié. Pour l'instant, vous pouvez toujours télécharger et ouvrir les images de vitrine.

La version "Tout en un" fonctionne aussi bien avec Forge...

En gros, elle utilise les mêmes réglages que la version 2.1 (voir ci-dessous).

Utilisez 20-30 étapes avec environ 2.2 CFG...

Version 2.1_de-distilled_experimental (MERGE)

Cette version est complètement différente et fonctionne en fait différemment d'un modèle Flux normal !

C'est une fusion expérimentale entre ma version 2.0 et une version dédistillée https://huggingface.co/nyanko7/flux-dev-de-distill. Cela s'est produit un peu par accident mais les résultats sont impressionnants. Vous aurez des détails époustouflants. Suivant aussi extrêmement bien les prompts... La prochaine étape sera d'entraîner directement sur le modèle dédistillé. J'ai déjà fait quelques tests de Lora avec lui. C'est très expérimental, alors merci de me dire si vous trouvez des erreurs non listées ci-dessous. Si vous avez de bonnes images, postez-les... postez aussi les mauvaises, cela aide à améliorer les choses :-). Vous pouvez aussi essayer la version 2.0 et me dire quel type de checkpoint vous convient le mieux.

!Attention !

Le flux normal Flux ne fonctionne pas avec cette version. VOUS DEVEZ télécharger mon workflow pour celui-ci !

Vous pouvez aussi trouver un système vous-même mais merci de ne pas me reprocher les mauvaises images. C'est aussi un modèle très expérimental... voyez les inconvénients ci-dessous...

Points positifs et négatifs de ce checkpoint :

• Ce checkpoint peut produire des détails extrêmes.. Cela a un prix... Il est lent comparé aux checkpoints Flux normaux. Le point positif est que vous n'aurez souvent pas besoin d'un upscale supplémentaire. Au lieu d'utiliser Flux Guidance, ce modèle utilise l'échelle CFG. Ce qui signifie aussi qu'il ne fonctionnera pas avec les workflows standards.

• Vous pouvez utiliser des prompts négatifs ! Cela aide à retirer ce que vous ne voulez pas dans l'image.

• Parfois, des artefacts peuvent apparaître.. Vous pouvez résoudre cela par un petit et simple upscale (je travaille dessus). Voici un exemple.. cela arrive étrangement pas avec toutes les graines.. MISE À JOUR : Ce n'est pas un problème du modèle lui-même.. plutôt un problème de workflow.. Je travaille à une correction. Si cela arrive, essayez de régler le premier upscale à 1.14 au lieu de 1.2.

  

  

Réglages et flux V2.1 :

Voici le flux de travail pour celui-ci : https://civitai.com/articles/8419

Réglages : contrairement à Flux normal, il ne nécessite pas Flux Guidance scale. Utilisez CFG à la place. J'utilise principalement 3 CFG pour le flux... Certaines images peuvent nécessiter une échelle CFG plus basse.

La chose la plus importante est peut-être d'éteindre le flux guidance scale...

Sans le flux, je l'ai testé avec 30 étapes et 2-3 CFG. Ce sont aussi probablement les réglages pour Forge. Essayez d'expérimenter ici.

Je recommande d'utiliser le mot "blurry" dans les négatifs.

Sampleur et scheduler :

Vous pouvez choisir parmi plusieurs sampleurs fonctionnels :

Euler, Heun, DPM++2M, Deis, DDIM fonctionnent très bien.

J'ai principalement utilisé "simple" comme scheduler.

Si vous trouvez de meilleurs réglages, dites-le-moi.. :-)

Pour Forge, je recommande d'utiliser le modèle AIO... voici un exemple de réglage pour Forge.

Version 2.0_dev_experimental

Eh bien... c'est une version expérimentale... Le but était de créer un modèle plus cohérent et plus rapide. J'ai entraîné plusieurs loras faites maison, puis fusionné les modèles résultants d'une façon spéciale (Tensor merge). Il intègre un T5xxl personnalisé que j'ai modifié avec "Attention Seeker". Pour gagner en vitesse et qualité supplémentaire, j'ai intégré le lora Hyper Flux de ByteDance. Cela signifie qu'il a déplacé la zone de travail.. Je vous montre ce que cela signifie.. Voici l'image principale..

16 étapes V 2.0

30 étapes V 1.0

Inconvénients :

Premièrement... cette version est un peu plus grande que la précédente... Deuxièmement, je dois encore créer la version Unet uniquement. Je mettrai à jour quand ce sera prêt...

Réglages et flux V2.0 :

Vous pouvez maintenant faire tourner le modèle avec moins d'étapes... 16 étapes équivalent à 30 étapes de l'ancien modèle.

Je recommande toujours environ 20-30 étapes parce que cela apporte plus de qualité dans la plupart des cas.

Sampleur : je préfère Euler avec Simple comme scheduler. Le guidance peut être réglé de 1.5 à 3 (n'hésitez pas à tester en dehors de cette plage). Un guidance de 1.8 marche bien pour des images réalistes. Vous pouvez aussi tester d'autres sampleurs. DPM++2M et Heun fonctionnent aussi très bien.

Flux 2.0 :

J'ai créé un nouveau flux pour V2.0 et V1.0. Il intègre le nouveau Flux Prompt Generator. En plus, le second étage d'upscaler marche. https://civitai.com/articles/7946

Forge :

J'ai aussi testé ce modèle avec Forge et il a très bien fonctionné... Les images peuvent varier entre Comfy UI et Forge cependant...

Version 1.0_dev_beta :

C'est mon premier modèle de la série. Merci de me donner des retours et poster des images. Cela m'aide à améliorer le projet. Plusieurs versions sont disponibles. Le meilleur modèle en termes de qualité est la version FP16. Elle est volumineuse et nécessite une carte graphique puissante et beaucoup de RAM. La version FP8 est un bon compromis entre qualité et performance. Si vous voulez une version GGUF, téléchargez le Q8_0. La version GGUF Q4_0/4.1 a été demandée. Elle est petite mais vous perdez un peu en qualité.

Il y a essentiellement deux types de modèles : les modèles "tout en un" nécessitant un seul fichier à télécharger. Ils contiennent le Clip_l, T5xxl fp8 et le VAE intégrés. (voir ci-dessous). Placez-les dans votre dossier checkpoints.

Les autres versions sont uniquement UNET. Ici, vous devez charger chaque fichier séparément.

Dans tous les cas, vous devez télécharger mon Clip_L pour que ça fonctionne correctement..

Il est aussi important de choisir le bon clip T5xxl. Pour la version FP8, c'est le fp8_e4m3fn t5xxl clip. Pour la FP16, c'est le clip FP16. Assurez-vous de sélectionner le type de poids par défaut. (ci-dessous une image d'exemple pour la version fp8)

Pour la version GGUF, vous avez besoin du chargeur GGUF !

Certaines choses connues pour l'instant concernant V1.0 :

C'est juste le premier modèle de la série, donc il peut avoir des difficultés avec certains prompts ou styles comme l'art. La prochaine version recevra plus d'entraînement. Dites-moi ce que le modèle ne sait pas faire...

Réglages et flux de travail :

Je l'ai testé avec environ 30 étapes, Euler avec Simple comme scheduler. Le guidance peut être réglé de 1.5 à 3 (n'hésitez pas à tester en dehors de cette plage).

Le guidance de 1.8 fonctionne bien pour des images réalistes.

N'hésitez pas à expérimenter avec ces réglages... Si vous obtenez de bons résultats, merci de les partager.

J'ai ajouté les images de vitrine comme données d'entraînement... Le flux de travail pour Comfy est inclus. Voici le flux à télécharger : https://civitai.com/articles/7946

Modèle "Tout en un" :

UNET_seulement :

Vous devez aussi télécharger le clip_L. C'est un fichier de 240 Mo.

GGUF : J'ai ajouté le flux pour GGUF ici : https://civitai.com/articles/7946

Important :

Le modèle dev n'est pas destiné à un usage commercial. Pour cela, je publierai le modèle "schnell" ailleurs. Il est plutôt destiné à un usage personnel ou scientifique.

LICENCE :

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Crédits :

theunlikely https://huggingface.co/theunlikel (merci encore)

Version 2.1/V4.2/5.0 : Flux_dev_de-distill de nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Depuis V2.0 : Hyper Lora de ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest pour leur incroyable modèle Flux https://huggingface.co/black-forest-labs