SDXL / Flux.1 D - Matte (Vanta)Black - Expérience - SDXL v1.0

Flux.1 D - V2.0

Dernière tentative pour le faire fonctionner dans Flux... et par faire fonctionner je veux dire foutre le bazar autant que possible. Il ne fera très probablement jamais la même chose que la version SDXL. Même après 6000 étapes et juste d’après l’observation, c’était assez évident. SDXL est un peu du genre « ok, je vais l’apprendre, mais en y mettant ma touche personnelle » tandis que Flux lutte / compense férocement contre tout ce qu’il ne sait pas comment gérer ou ce que je veux exactement qu’il apprenne. D’un autre côté, après un long entraînement, il produit totalement ces images et durement, à tel point qu’il copie les données d’entraînement 1/1 ce qui donne presque du noir pur. Flux peut copier une image parfaitement, comme des photos, même après quelques étapes seulement.

Comme je l’ai dit dans la dernière version Flux, c’est en grande partie quelque chose que je veux mélanger avec d’autres LoRA plus colorés ou avec un style particulier.

Les mêmes images que SDXL v.3.0 avec beaucoup plus ajoutées pour la version Flux (quelques formats paysage). Mais... j’ai retiré 3 images qui étaient très probablement responsables d’au moins 80 % des images postées par moi ou d’autres. C’était quelque chose que je voulais faire avec la version SDXL, mais je m’en étais abstenu à ce moment. La raison est que ces images étaient trop dominantes, causant beaucoup de comportements étranges et un biais à créer des images spécifiques. Je l’ai vu dans la version v.1.0 Flux, et maintenant elles ont disparu. La popularité en prendra probablement un coup ici, mais je m’en fiche.

J’ai l’impression que beaucoup de gens utilisent un certain LoRA juste parce qu’il fait partie de leur « pipeline », je suppose. Dans certains cas, les images faites sans LoRA ont une meilleure apparence, ce que l’on ne saurait même pas. Les LoRA de style sont différents, car ils ajoutent un style assez apparent lors de la génération des images. Celui-ci a cependant beaucoup de potentiel pour tout empirer, c’est pourquoi je n’ai pas trié les images que j’ai publiées, juste pour montrer ce que je veux dire. Si vous ajoutez quelque chose avec une lumière forte ou une source lumineuse comme une bougie, Flux (et quelques modèles SDXL) ajoute lui-même un environnement sombre, car une source lumineuse nécessite toujours une certaine obscurité pour être visible (les phares d’une voiture en plein jour ne servent pas à grand-chose).

Et ne me demandez même pas s’il fonctionne en version NF4 ou QQUFUF 5.64.3255 K4 2 ou je ne sais quel nom. Le fichier n’est pas vraiment gros, vous pouvez le tester vous-même. Je resterai à distance de ces modèles à moins qu’ils n’offrent plus d’avantages qu’une version Dev FP8/16 normale, mis à part une réduction de consommation mémoire et/ou un gain de vitesse négligeable (ou pire, une perte de vitesse).

Je sais combien ça peut être agaçant quand quelqu’un sort une nouvelle version d’un type de modèle dans un court laps de temps alors qu’on vient de s’y habituer. Je ne poursuivrai pas celui-ci plus loin et verrai simplement si moi ou quelqu’un d’autre en tire quelque chose d’utile.

De plus, le travail nécessaire pour préparer les images sous Photoshop n’en vaut pas vraiment la peine, surtout si on sait que ça ne changera rien. Autant faire quelque chose de nouveau, ou plus probablement stupide, ce qui est intéressant ou produit des effets aléatoires... ou juste "fluxifier" d’anciens modèles pour voir ce qui se passe.

Flux.1 D - V1.0

Après quelques essais avec Kohya et d’autres, à ma surprise, des tests réussis avec des LoRA conceptuelles assez étranges pour Flux, j’ai pensé tenter celui-ci pour voir s’il fonctionne. En fait, mon objectif n’était pas vraiment d’avoir une version Flux, puisque Flux fait un bon travail sur le contraste (pour la plupart). Mon but principal était de me débarrasser de cet aspect artificiel/faux tant redouté, et je pensais qu’un dataset aussi "non défini" ferait l’affaire. Eh bien, parfois ça marche, ou même ça empire.

Comme la version SDXL, c’est plutôt à utiliser avec d’autres LoRA, surtout ceux qui ajoutent beaucoup de couleur.

Désolé d’être un peu paresseux avec les prompts et les images. J’ai utilisé à peu près les mêmes que dans la V.3.0, mais ça suffit pour les démonstrations pour l’instant. Parfois il détruit les détails et n’ajoute rien de particulièrement intéressant (image de méduse par exemple ou le perroquet).

• Même graine pour les images correspondantes

• Les deux premières images sont avec et sans LoRA, ensuite c’est inversé, d’abord sans puis avec LoRA (parfois à différentes intensités)

• Certaines ont les mots déclencheurs au début, mais je doute qu’ils soient nécessaires dans Flux

• Basé sur le dataset V1.0, pas le nouveau (je ne voulais pas utiliser trop d’images)

Je ne sais pas si je veux faire plus de LoRA pour Flux, mais je vais beaucoup tester. C’est vraiment confus en ce moment avec toutes les versions différentes, et ça ne semble pas valoir la peine de passer beaucoup de temps sur quelque chose qui pourrait être obsolète 10h plus tard.

Et juste une remarque : ceci a été entraîné avec une 4060 TI (16 Go), utilisation max VRAM entre 14,4 et 15,2 Go, 3,95s/it - 5,15s/it, 512x, Rang 4... donc, pas besoin de 4090 ici. Bien sûr ce serait plus rapide, mais si vous pouvez lancer et oublier puis faire autre chose en attendant, ce n’est pas un problème, sauf pour tester quelque chose.

Comme toujours, je l’utiliserai ici et là pour voir si j’en tire quelque chose d’utile. Probablement juste pour satisfaire ma curiosité.

V.3.0

Après ma petite erreur avec la v2.0, je me suis assuré que cette fois c’est du sérieux, sans fusion ni autre. J’étais un peu sceptique au début, à cause du nombre d’images ajoutées, que ça s’éloigne trop de la première version, mais heureusement non.

Je suis vraiment content que beaucoup de gens aient trouvé un usage à ce LoRA et aient créé tant d’images. Sachant que ce n’était jamais prévu pour faire ce qu’il fait maintenant, c’est sympa de voir qu’il a une autre utilité ou qu’il peut être utilisé pour autre chose (comme tous les LoRA).

Cela sera probablement (très probablement) la dernière version pendant un certain temps car ajouter plus d’images ne changera pas l’effet principal. La plupart viennent de l’utilisation de différents modèles, combinaisons de LoRA et prompts de toute façon.

Je vais me concentrer davantage sur la création d’images pour trouver plus de combinaisons (et pour me détendre un peu), faire de nouveaux LoRA étranges, réparer d’anciens LoRA, etc. J’ai aussi téléchargé beaucoup d’autres trucs provenant d’autres personnes et je n’ai pas encore eu l’occasion de les utiliser en grande partie.

Merci encore pour toutes les images postées jusqu’à présent et j’espère en voir plus, même si chaque LoRA a une durée de vie dans ce secteur de l’IA en évolution rapide et que le facteur « nouveauté » finira inévitablement par disparaître. :)

V2.0

Petite annonce pour la V2.0 (02.04 ou 04.02 selon votre pays je suppose)

Eh bien, je suis officiellement un idiot.

J’ai commencé à entraîner un autre LoRA quand j’ai remarqué que rien ne se passait dans les images d’échantillon même après 2000 étapes, ce qui est pratiquement impossible. J’ai donc cherché pourquoi cela arrivait et j’ai vu un paramètre que je n’avais pas remis (ou dans ce cas réglé correctement) : le LR warmup. Normalement je n’utilise pas de warmup steps, mais pour ce que j’avais fait avant, je testais ce que ça faisait vraiment. C’était sur un dataset d’environ 4 images. J’ai toujours un paramètre de 100 Epochs, mais il est réglé pour sortir un modèle toutes les 500 étapes et non par époque. Le Warm Up était réglé à 32 %, donc 4 images x 10 répétitions x 100 Epochs = 4000 étapes (32 % warmup = 1280 étapes où il ne se passe pas grand-chose).

Maintenant, ce LoRA avait les mêmes réglages, juste avec 60 images (60 x 10 x 100 = 60000 - 32 % warmup = 19200 étapes)... donc, même après 12000 étapes, il ne démarrait même pas, ce qui signifie que je n’ai pratiquement entraîné que du vent. Explique beaucoup en fait. Comme je me suis endormi je ne l’ai pas vu, bien que ce soit un peu surprenant que ça ait mis autant de temps à avoir un effet au départ, ce que je pensais être dû aux images elles-mêmes.

Oui... donc celui-ci est un raté et la plupart de ce qu’il fait vient de la fusion avec la V1.0.

Je le réentraînerai ce week-end à mon retour du travail, cette fois avec les bons réglages.

Je suis vraiment désolé pour ça. Peut-être juste une blague involontaire du poisson d’avril :) .... :(

Ajouté quelques images de plus car je l’utilise assez souvent ces derniers temps et je n’ai pas téléchargé de nouveau LoRA depuis un moment, ce qui est en grande partie dû au fait que j’ai trop de boulot au travail et que je choisis uniquement des sujets nerveusement compliqués qui doivent aussi être réalisés de la manière la plus alambiquée... tout le reste serait ennuyeux.

De plus, beaucoup de temps a été passé à démonter Pony, ce qui me surprend à certains égards. Si on met de côté tout ce qui est Furry, Anime et porno général, il est presque plus basique que le modèle Base XL, ce qui est bon pour ajouter des concepts et styles via l’entraînement LoRA, mais il connaît des choses beaucoup plus complexes comme le positionnement, les émotions, des angles bizarres, etc... mais c’est une toute autre histoire.

Je ne sais pas combien d’entraînements supplémentaires je ferai cette année. Peut-être que je ferai des choses plus simples entre-temps, mais qui sait. L’IA évolue vite, donc il pourrait y avoir de nouvelles choses dans un mois... ou une semaine.

• Testé avec la même graine et le même modèle avec des images générées précédemment. Le changement est assez subtil dans certains cas et extrême dans d’autres (et maintenant je sais pourquoi : voir annonce)

• Désolé aussi de ne pas avoir fait plus de variations dans les images exposées. Parfois, préparer les images prend plus de temps que d’entraîner le LoRA, mais ça ne devrait pas trop importer dans ce cas. D’autres choses viendront naturellement de toute façon.

V1.0

J’ai essayé de pousser l’IA un peu pour voir ce qu’elle captait sur des images d’entraînement quasiment noires avec juste une forme vague.

La préparation du dataset sous Photoshop était quasiment impossible car je ne voyais presque rien. Bien sûr, chaque personne a des réglages d’écran différents, donc il est difficile de dire si ces images étaient vraiment aussi sombres, mais cela a beaucoup sollicité mes yeux. Même maintenant, regarder les images générées est assez difficile, bien qu’elles ne soient pas aussi sombres que les images d’entraînement.

J’ai été surpris que le modèle capte quoi que ce soit en fait. Je le mets de côté pour le moment jusqu’à ce que je sache quoi en faire. Il fait certainement des choses étranges. D’une certaine manière, insérer des images générées dans ControlNet IP-Adapter améliore tout et produit des résultats aléatoires.

Conseils pour la génération :

• Je n’ai aucune idée... bonne chance.