EnvyBetterHands LoCon - beta2
Mots-clés et tags associés
Images en vedette
Prompts recommandés
nice hands,perfect hands,beautiful hands,fingernails
(masterpiece,best quality:1.3),nice hands
Prompts négatifs recommandés
extra fingers,deformed hands,polydactyl:1.5,worst quality, low quality, poor quality, bad quality:1.35
deformed hands,polydactyl:1.3),(worst quality,low quality,poor quality,bad quality:1.35)
Paramètres recommandés
samplers
steps
cfg
resolution
vae
other models
Paramètres haute résolution recommandés
upscaler
upscale
steps
denoising strength
Conseils
La force doit être réglée autour de 1.0.
Mélangez librement avec d’autres LoRAs pour de meilleurs résultats.
Évitez d’utiliser des embeddings négatifs comme badhandv4 pour améliorer les mains.
Expérimentez avec le dynamic thresholding pour de meilleurs résultats.
Points forts de la version
Reprise de l'entraînement depuis zéro, car apparemment entraîner sur vanilla 1.5 est en fait meilleur pour créer des modèles qui ne surcuisent pas les images ou ne modifient pas beaucoup le style. Cette nouvelle version a encore besoin de plus d’entraînement, donc elle n’est pas aussi efficace que l’ancienne, mais en moyenne elle améliore un peu les choses, fonctionne sur beaucoup plus de modèles et ne modifie pas le style, donc je pense que c’est probablement la bonne direction. Je vais expérimenter un peu sur le prompting et mettre à jour la description principale avec des conseils.
Sponsors du créateur
J'utilise Lora Block Weight. Je crois que vous pouvez également utiliser Additional Networks et SD Webui Lycoris.
Ce modèle est un LoCon. Vous DEVEZ installer l'extension Lycoris pour pouvoir le charger.
J'utilise Lora Block Weight. Je crois que vous pouvez également utiliser Additional Networks et SD Webui Lycoris.
MISE À JOUR 27/04/2023 : J'ai atteint un plateau d'entraînement, donc je suis en train d'ajouter beaucoup plus d'images au jeu de données, incluant des cas plus compliqués comme des doigts entremêlés. Je vais probablement devoir baisser encore le taux d'apprentissage, donc les progrès pourraient ralentir. Je tiendrai tout le monde informé au fur et à mesure.
Conseils pour le prompting pour la beta 2 :
C'est un entraînement complètement nouveau basé sur Stable Diffusion 1.5 vanilla. J'ai fait cela suivant le conseil d’un passionné, et c'est étonnant à quel point cela est plus compatible avec différents modèles. Cela ne modifie pas du tout le style de votre modèle, à ma connaissance, et cela affecte vraiment uniquement les mains et parfois les bras, laissant le reste intact.
Il semble fonctionner au mieux avec une force de 1, bien qu'augmenter au-delà (1.5, 2, etc.) puisse aider sur certaines images mais détériorer d'autres. Pas besoin de toucher à votre échelle CFG, car cela ne provoque pas de surcuisson à ces niveaux.
Vous pouvez le mélanger librement avec d'autres LoRAs.
J'ai obtenu les meilleurs résultats en mettant "nice hands, perfect hands" dans le prompt positif (augmenter le poids empire les choses), et "(extra fingers, deformed hands, polydactyl:1.5)" dans le prompt négatif. Cela sur EnvyMix v1 (et probablement RevAnimated), mais vos résultats peuvent varier selon le modèle.
Les embeddings négatifs "Bad hands" semblent empirer la situation, bien que je n’aie pas testé cela en profondeur.
Comme d'habitude, ce n'est pas miraculeux, mais je trouve qu'en moyenne sur un grand nombre d'images, cela améliore généralement les choses. Espérons que cela continuera à s'améliorer avec quelques nuits supplémentaires de formation.
Conseils pour le prompting pour alpha 3 et beta 1 :
Notez que ces conseils sont pour RevAnimated 1.2. Vos résultats peuvent varier avec d'autres modèles.
Il y a un peu de surcuisson, mais il faut que la force soit réglée à 1.0 pour que ça marche bien. Vous pouvez contourner cela en réduisant la valeur CFG à environ 5 ou 6. J'ai eu de bons résultats en activant l'extension de dynamic thresholding en la réglant pour imiter CFG 5, puis je peux mettre mon CFG à 9 ou 10 et les résultats restent corrects.
J'ai essayé avec un autre LoRA et obtenu des résultats assez étranges, donc vos résultats peuvent varier aussi ici. Pour l’instant, j’essaie juste de le faire fonctionner de façon stable dans un cas simple.
Bizarrement, je pense qu’il a un peu régressé sur les mains en position neutre, mais c’est visiblement mieux pour des interactions plus compliquées, comme tenir des objets (d’où beaucoup de photos de forgerons et bibliothécaires dans les exemples).
Gardez vos prompts simples, c’est en général mieux.
Avec RevAnimated, j’obtiens environ 1 ou 2 images utilisables sur 8, avec d’autres assez proches qu’on peut sûrement corriger avec de l’inpainting.
Conseils pour le prompting pour alpha 2 :
Il devient plus fort maintenant, et marche mieux autour d’une force de 1. Le réglage à 1.3 comme la version précédente donne un mauvais rendu.
Mon prompt négatif reste "(extra fingers, deformed hands:1.15), (worst quality, low quality, poor quality, bad quality:1.35)"
J’ai eu de bons résultats en mettant simplement "nice hands" dans le prompt principal.
Conseils pour le prompting pour alpha 1 :
Votre prompt devrait contenir ces mots : "beautiful hands, perfect hands, fingernails". J’ai eu les meilleurs résultats avec ces termes vers le milieu et sans emphase.
Le LoCon alpha1 semble fonctionner au mieux autour de la force 1.3 (sur RevAnimated 1.1, où je le teste en ce moment — vos résultats peuvent varier selon les modèles)
N’utilisez pas d’embeddings négatifs pour améliorer les mains. Quand j’ai retiré badhandv4 de mon prompt négatif, ça s’est nettement amélioré. Vous pouvez essayer sans aucun embedding négatif. Je n’en utilise plus depuis un moment.
Mon prompt négatif est : "(extra fingers, deformed hands:1.15), (worst quality, low quality, poor quality, bad quality:1.35)", obtenu après beaucoup d’expérimentation en ajustant forces et termes un par un. Cela devrait bien fonctionner.
Tout cela me donne l’espoir qu’il y a une vraie chance de résoudre le problème des mains sur SD 1.5. Même avec un bon prompting, je n’obtiens pas des résultats parfaits, mais c’est proche. Je considérerai que c’est terminé quand il produira des mains bien formées sans rien ajouter au prompt positif ou négatif.
Retour maintenant à votre readme habituel...
Je teste la théorie que la raison pour laquelle les mains de MidJourney sont bien meilleures maintenant est qu’ils ont simplement pris le temps d’entraîner spécifiquement un réseau sur un ensemble de photos de mains de haute qualité, et littéralement personne d'autre n’a vraiment essayé. Ce LoRA n’est définitivement pas encore au niveau de MidJourney, mais je l’ai entraîné plusieurs nuits à la suite en ajoutant au dataset là où il était déficient, et la qualité semble s’améliorer continuellement. Je publie donc cette version pour que les gens puissent commencer à l’utiliser. Considérez ceci comme une alpha précoce — je ne mettrai plus à jour que lorsqu’il ne s’améliorera plus.
Les images d'exemple sont triées sur le volet. Merci de ne pas vous attendre à ce que ce modèle améliore toutes vos générartions de mains. Il peut même en détériorer certaines, donc vous devriez évaluer son utilité sur un grand nombre d’images et pas seulement une. S’il fonctionne comme pour moi, beaucoup de vos résultats seront de qualité égale ou meilleure (certaines juste mauvaises mais différemment).
Détails du modèle
Discussion
Veuillez vous log in pour laisser un commentaire.