SDXL / Flux.1 D - Noir Mat (Vanta) - Expérience - Flux.1 D v1.0

Flux.1 D - V2.0

Dernière tentative pour le faire fonctionner dans Flux... et par « faire fonctionner », j'entends foutre le bordel autant que possible. Il ne fera probablement jamais la même chose que la version SDXL. Même après 6000 étapes et d'après mes observations, c'était assez évident. SDXL est un peu comme « d’accord, je l’apprends, mais avec ma propre touche », tandis que Flux combat / compense intensément contre tout ce qu'il ne sait pas gérer ou ce que je veux exactement lui faire apprendre. En revanche, après un long entraînement, il produit totalement ces images de manière rigide, au point de copier la donnée d'entraînement 1/1, ce qui donne presque du noir pur. Flux peut copier une image parfaitement, comme des photos, même après seulement quelques étapes.

Comme je l'ai dit dans la dernière version Flux, c'est surtout quelque chose que je veux mixer avec d'autres LoRA plus colorées ou avec un certain style.

Mêmes images que la v3.0 SDXL avec beaucoup plus ajoutées pour la version Flux (certains formats paysage). Mais... j'ai retiré 3 images qui étaient probablement responsables d’au moins 80 % des images publiées par moi ou d'autres. C'était quelque chose que je voulais faire avec la version SDXL, mais j'avais décidé contre à l'époque. Ces images étaient trop dominantes, provoquant beaucoup de comportements étranges et un biais pour créer des images spécifiques. Vu cela dans la version v1.0 Flux et maintenant elles ont disparu. La popularité va probablement en prendre un coup, mais je m’en fiche.

J'ai l'impression que beaucoup de personnes utilisent une certaine LoRA simplement parce qu'elle fait partie de leur « pipeline ». Dans certains cas, des images sans LoRA sont meilleures et on ne le sait même pas. Les LoRA de style sont différentes car ils ajoutent un style clairement visible lors de la génération. Ici, ce truc a beaucoup de potentiel pour tout rendre pire, c’est pourquoi je n'ai pas vraiment sélectionné les images que j'ai postées pour montrer ce que je veux dire. Si vous ajoutez quelque chose avec une forte lueur ou une source lumineuse comme une bougie, Flux (et quelques modèles SDXL) ajoute naturellement un environnement sombre, car une source de lumière a toujours besoin d’un peu d’obscurité pour être perceptible (un phare de voiture en plein jour ne fera pas grand-chose).

Et ne me demandez même pas si ça marche sur NF4 ou QQUFUF version 5.64.3255 K4 2 ou je ne sais quoi. Le fichier n’est pas vraiment gros, vous pouvez tester vous-même. Je reste à distance de ces modèles sauf s’ils apportent plus d’avantages qu'une version Dev normale FP8/16 autre que la simple réduction de mémoire consommée et/ou un gain de vitesse négligeable (ou pire, une baisse de vitesse).

Je sais à quel point c’est agaçant quand quelqu'un publie une nouvelle version d’un modèle en peu de temps alors qu’on vient juste de s’y habituer. Je ne vais pas pousser celle-ci plus loin, je verrai si moi ou quelqu’un d’autre peut en tirer quelque chose d’utile.

Aussi, la quantité de travail pour préparer les images dans Photoshop n’en vaut pas la peine, surtout sachant que ça ne change rien. Je préfère faire quelque chose de nouveau, ou plus probablement stupide, qui est intéressant ou crée des effets aléatoires... ou simplement appliquer fluxifier sur d’anciens modèles pour voir ce que ça donne.

Flux.1 D - V1.0

Après quelques tests avec Kohya et d'autres, et à ma surprise, des tests réussis avec des LoRA concepts assez étranges pour Flux, j'ai pensé essayer celui-ci pour voir s'il fonctionne. En fait, l'objectif n'était pas vraiment d'avoir une version Flux car Flux gère bien le contraste (pour la plupart). Mon but principal était plutôt d’éliminer cet aspect artificiel/faux et je pensais qu’un dataset aussi « indéfini » ferait l’affaire. Bon, ça marche parfois ou ça empire les choses.

Comme la version SDXL, c’est plutôt à utiliser avec d’autres LoRA, surtout celles qui ajoutent beaucoup de couleurs.

Désolé pour la flemme avec les prompts et images. J’ai utilisé à peu près les mêmes que pour la v3.0, mais cela suffit pour une présentation pour l’instant. Parfois ça supprime les détails sans rien d’intéressant de particulier (image de méduse ou perroquet par exemple).

• Même seed pour les images correspondantes

• Les deux premières images sont avec et sans LoRA, puis inversé ensuite, donc d'abord sans puis avec LoRA (parfois à différentes forces)

• Certains ont les mots déclencheurs au début, mais je doute qu’ils soient nécessaires dans Flux

• Basé sur le dataset V1.0, pas le nouveau (je ne voulais pas utiliser trop d’images)

Je ne sais pas si je veux faire plus de LoRA pour Flux, mais je vais beaucoup tester. C’est vraiment confus avec toutes ces versions et ça ne vaut pas la peine de passer trop de temps sur quelque chose qui pourrait être obsolète dans 10 heures.

Et, juste pour info : entraîné sur une 4060 TI (16 GB), usage VRAM entre 14.4 et 15.2 GB max, 3.95s/it - 5.15s/it, 512x, Rank 4.... donc pas besoin de 4090 ici. Bien sûr ça irait plus vite, mais si on peut lancer et oublier pour faire autre chose entre temps, ce n’est pas un problème, sauf si vous voulez tester quelque chose.

Comme toujours, je l'utiliserai de temps en temps pour voir si j’en tire quelque chose d’utile. Probablement juste pour satisfaire ma curiosité.

V.3.0

Après ma petite erreur sur la v2.0, je me suis assuré que cette fois c’était du sérieux, sans fusion ni autre. J’étais un peu sceptique au début à cause du nombre d’images ajoutées, craignant que ça s’éloigne trop de la première version, mais heureusement ce n’est pas le cas.

Je suis vraiment content que beaucoup de gens aient trouvé une utilité à cette LoRA et aient créé autant d’images. Même si ce n’était pas prévu, c’est chouette de voir qu’elle a une autre vocation, ou plutôt qu’on peut l’utiliser pour autre chose (comme toutes les LoRA).

Cela sera probablement (très probablement) la dernière version pendant un bon moment, car rajouter plus d’images ne changera pas l'effet principal. La plupart vient d’ailleurs de l’utilisation de différents modèles, combinaisons de LoRA et prompts.

Je vais me concentrer davantage sur la création d’images pour trouver plus de combinaisons (et me détendre un peu), créer de nouvelles LoRA étranges, corriger les anciennes, etc. J’ai aussi téléchargé plein d'autres trucs de gens et je n’ai pas encore eu l’occasion de m’en servir.

Merci encore pour toutes les images publiées jusqu’ici, j’espère en voir plus, même si chaque LoRA a une durée de vie limitée dans ce secteur IA en évolution rapide et que le facteur nouveauté finira inévitablement par s’éteindre. :)

V2.0

Petite annonce pour la V2.0 (02.04 ou 04.02 selon votre pays je suppose)

Eh bien, je suis officiellement un idiot.

J’ai commencé à entraîner une autre LoRA quand j’ai remarqué qu’il ne se passait rien dans les images échantillons même après 2000 étapes, ce qui est quasiment impossible. J’ai cherché pourquoi et vu un réglage que je n’avais pas remis à jour (ou dans ce cas réglé correctement) : LR warmup. Normalement je n’utilise pas les warmup steps, mais précédemment je testais ce que ça fait vraiment. C’était sur un dataset d’environ 4 images. J’ai toujours un réglage de 100 époques, mais avec un export de modèle toutes les 500 étapes et non par époque. Warm Up était réglé à 32 %, donc 4 images x 10 répétitions x 100 époques = 4000 étapes (32 % warmup = 1280 étapes où il ne se passe pas grand-chose).

Cette LoRA avait les mêmes réglages, mais avec 60 images (60 x 10 x 100 = 60000 - 32 % warmup = 19 200 étapes)... donc même après 12 000 étapes elle n’avait pas vraiment commencé, ce qui signifie que j’ai essentiellement entraîné de l’air chaud. Ça explique pas mal de choses. Je ne m’en suis pas rendu compte car je me suis endormi, même si c’était un peu bizarre que l’effet prenne autant de temps à apparaître, ce que j’attribuais aux images elles-mêmes.

Oui... donc c’est un ratage et la plupart du résultat vient en fait de la fusion avec la V1.0.

Je vais le réentraîner ce weekend quand je reviendrai du travail, cette fois avec les bons réglages.

Je suis vraiment désolé pour ça. Peut-être que c’était une blague involontaire du poisson d’avril :) .... :(

J’ai ajouté quelques images car je l’utilise beaucoup ces derniers temps et je n’ai pas uploadé une nouvelle LoRA depuis un moment, ce qui vient surtout du fait que j’ai trop de boulot et que je choisis des sujets stressants et compliqués à traiter... tout le reste serait ennuyeux.

Beaucoup de temps a aussi été consacré à démonter Pony, qui me surprend à certains égards. Si on met de côté tout ce qui est Furry, Anime et porno général, il est presque plus basique que le modèle Base XL, ce qui est bien pour ajouter des concepts et styles via l’entraînement LoRA, mais il connait des choses plus complexes comme le positionnement, les émotions, des angles bizarres, etc... mais c’est une toute autre histoire.

Je ne sais pas combien d’entraînements je ferai d’ici la fin de l’année. Peut-être que je ferai des trucs plus simples entre-temps, mais qui sait. L’IA évolue vite, donc il y aura peut-être des nouveautés dans un mois... ou une semaine.

• Testé avec la même seed et le même modèle sur des images déjà générées. Le changement est parfois subtil, parfois extrême (et maintenant je sais pourquoi : voir l’annonce)

• Désolé aussi de ne pas avoir fait plus de variations dans les images présentées. Préparer les images prend parfois plus de temps que l’entraînement LoRA, mais ça ne devrait pas être trop important ici. Plus de choses suivront naturellement de toute façon.

V1.0

J’ai essayé de pousser l’IA un peu pour voir ce qu’elle capterait sur des images d’entraînement presque noires avec juste une forme vague.

C'était presque impossible de préparer le dataset dans Photoshop car je ne voyais presque rien. Bien sûr, chaque personne a des réglages différents d’écran, donc difficile de dire si ces images étaient vraiment si sombres, mais ça a beaucoup sollicité mes yeux. Même regarder les images générées maintenant est difficile, bien qu’elles ne soient pas aussi sombres que celles d’entraînement.

J’ai été surpris que le modèle ait capté quoi que ce soit. Je le mets de côté pour l’instant jusqu’à ce que je trouve quoi en faire. Il produit certainement des choses étranges. Mettre les images générées dans ControlNet IP-Adapter améliore tout et produit des résultats aléatoires.

Conseils pour la génération :

• Je n’ai aucune idée... bonne chance.