Anti-flou Flux Lora - v1.0

AntiBlur Lora a été significativement amélioré !

Améliorations dans la nouvelle Lora :

• La DoF peut être ajustée par le poids de la Lora.

Un poids de 0 donnera une DoF faible, typique des générations Flux.

Un poids par défaut de 1.0 réduira la DoF pour une image (espérons-le) plus agréable, sans changements significatifs de style et de composition. L'objectif était d'obtenir une DoF au poids 1.0 exactement comme attendu : un joli bokeh léger ici et là, sans exagérations comme c'est souvent le cas avec Flux (plus de détails plus loin)

Un poids supérieur à 1.0 peut être utilisé pour réaliser des prises avec une DoF profonde. La Lora peut gérer des poids jusqu'à 3.0 et au-delà sans dégradation significative de la qualité.

• Stylistiquement neutre

Le jeu de données a été constitué de centaines d'images créées avec Flux, afin de ne pas trop éloigner le style du modèle original, tandis qu'un petit nombre de photos réelles ont été utilisées pour éviter que Flux ne dégrade la composition (ce qui arrive lorsque l'IA est entraînée sur ses propres images)

• Fonctionne bien avec Hires. fix

Cette Lora fonctionne bien avec hires.fix, ce qui permet d'augmenter davantage les détails et de minimiser la DoF faible. Ce n'était pas le cas avec Flux de base, car en essayant de faire hires. fix sur une image floue avec DoF faible, elle restait floue avec le même effet de DoF. Il faut que les détails commencent à apparaître dans l'image pour que hires.fix les améliore ensuite.

• Plus besoin de mots déclencheurs

Il suffit de connecter la Lora et elle fait le travail

• Beaucoup moins d'artefacts

L'utilisation d'images générées par Flux minimise les artefacts. J'ai également entraîné beaucoup de modèles et fait une fusion des meilleurs, utilisant un outil fourni par anashel (Cela a lissé les bords des modèles individuels qui causaient des artefacts. La fusion s’est avérée particulièrement utile pour rendre le modèle plus diversifié stylistiquement.)

Pourquoi la Lora pèse-t-elle 655 Mo

Il m’a semblé qu’une Lora avec un effet "DoF profonde" de base devrait être petite, car elle n’introduit pas de nouveau style ou concept, elle doit juste supprimer la DoF faible.

J’ai donc essayé différents rangs de Lora, mais il s’est avéré que l’information sur les arrière-plans est partout dans l’espace latent, et plus le modèle est grand, meilleur est le résultat. C’est ainsi que j’ai choisi la Lora de rang 128.

Il est possible d’isoler les couches de la Lora, et de n’utiliser que celles contenant des informations sur la DoF, mais en fait, ces informations sont dispersées dans la plupart des couches. Par exemple, lors de la génération de macros, la DoF est générée dès les premières couches. L’information sur les arrière-plans est vraiment partout dans le modèle, et cette DoF faible constante est juste la nature des données d'entraînement de Flux. Pour aggraver les choses, Flux a une très mauvaise compréhension conceptuelle de la DoF et du flou. Donc non seulement elle est présente en plus grande quantité que dans SD1.5/SDXL, mais elle offre aussi un contrôle bien moins bon que SD1.5/SDXL.

Comment cette Lora a-t-elle été créée

Tout d’abord, j’ai constitué un énorme jeu de données avec des techniques de focus stacking et une DoF profonde, sur lequel j’ai entraîné une nouvelle Lora. Ensuite, en utilisant cette Lora, j’ai généré des images pour un nouveau jeu de données.

J’ai obtenu plusieurs centaines de variantes de la Lora "antiblur", sélectionné les meilleures, chacune avec leurs avantages, et les ai combinées en un modèle bien équilibré.

Et ensuite ?

Plus le rang est élevé, meilleure est la qualité, la manière évidente d’améliorer le résultat serait de faire un finissage complet (touchant effectivement tous les recoins de l’espace latent où se trouve l’information relative aux arrière-plans), puis d’extraire la Lora.

Une autre option théorique serait de trouver le concept/poids "blur" ou "dof" dans l’espace latent Flux, et de faire une Lora à partir des poids inversés. Cette méthode n’a toutefois pas été très efficace pour le contrôle de la DoF dans les modèles basés sur SD.

Pour l’instant, je suis satisfait du résultat. Ce modèle restera mon meilleur effort pour un moment.