SameFace Fix [Flux Lora] - v0.1

Important : Ce Lora doit être utilisé avec un poids NÉGATIF.

De plus : Ce modèle vise uniquement à diversifier l'apparence des femmes. Je prévois de faire un modèle séparé pour les hommes plus tard (et en particulier pour les hommes avec barbe).

Autre fait intéressant : la taille du Lora est seulement de 4 Mo (limité à 2 blocs avec un rang élevé).

• Alors, qu'est-ce qu'un "Sameface" ?

C'est un problème courant en IA générative, où le modèle génère des personnes avec des apparences identiques. Contrairement à SD1.5/SDXL, ce n'est pas seulement le résultat d'un ensemble de données diversifié convergeant vers un seul token comme "femme". Dans Flux, Dev/Schnell ont été distillés de la version Pro, entraînant une perte de diversité.

• Pourquoi utiliser un poids négatif ?

Le Lora a été entraîné sur les photos les plus génériques de femmes générées par Flux.

Si vous appliquez ensuite ce Lora avec un poids NÉGATIF, il fonctionne comme une sorte de prompt négatif, mais sans prompt négatif explicite !

Avec cette astuce ingénieuse, le Lora dit essentiellement à Flux de générer tout sauf un visage typique de Flux. En conséquence, nous obtenons de magnifiques visages uniques à chaque fois !

• Pourquoi un Lora et pas des astuces comme réduire la Guidance ?

Les utilisateurs veulent des visages diversifiés avec une guidance élevée pour maintenir une forte adhérence au prompt et la qualité de l'image, c'est pourquoi les interventions au niveau de l'espace latent sont optimales.

• En quoi ce Lora est-il différent des autres Loras de personnages ?

Alors que d'autres Loras introduisent leurs propres "samefaces", ce Lora indique uniquement à Flux ce qui NE DOIT PAS apparaître dans la génération, pas ce qu'il faut ajouter. Ainsi, ce Lora diversifie l'apparence des personnes au lieu de la restreindre davantage.

• Comment ce Lora a-t-il été réellement créé ?

Au début, j'étais déçu car rien ne fonctionnait. J'ai failli abandonner ce projet, mais j'ai essayé d'entraîner le Lora avec seulement 2 couches, et soudain, lors des tests, j'ai vu de beaux visages, avec une apparence authentique, éloignée de Flux.

• Et ensuite ?

J'ai beaucoup d'expérimentations à faire. Différents taux d'apprentissage, couches et rangs doivent être testés pour améliorer la qualité. Fusionner différentes variantes de Lora pourrait résoudre les problèmes d'artefacts à des valeurs plus élevées. Je veillerai à faire une meilleure version si ce Lora suscite suffisamment d'intérêt.

J'attends vraiment vos retours, car ce modèle est très expérimental. Tout retour est apprécié et m'aidera, je l'espère, à améliorer le modèle.

remerciements spéciaux à Ostris pour AI-Toolkit