Ajouter des Appareils Dentaires

Note : Tous les utilisateurs sont fortement encouragés à passer à la version 3 ou 4. La version 1 est de mauvaise qualité.

Objectif :

Ce modèle vise à ajouter des appareils dentaires photoréalistes sur les dents des sujets dans les images générées. Les appareils doivent être précisément dimensionnés et alignés pour s'intégrer naturellement, tout en répondant aux indications spécifiant la couleur des brackets (par exemple, or ou argent) et la couleur des ligatures.

Fonctionnalités actuelles :

Ce n'est pas parfait mais la version 4 fonctionne bien la plupart du temps. Elle fonctionne aussi bien pour les hommes que pour les femmes. Bien qu'entraîné pour ajouter des appareils photoréalistes sur des images photoréalistes, j'ai constaté qu'il peut ajouter des appareils sur à peu près tout, robots, animaux, etc. Il fonctionne aussi bien dans d'autres styles, pas seulement sur photos, comme les dessins et les styles cartoon.

Données d'entraînement :

La version 4 de ce modèle a été entraînée sur un ensemble de 128 photos haute résolution (1024 x 1024) d'appareils dentaires réels, utilisant 6912 étapes d'entraînement réparties sur 54 époques. Le jeu de données comprend principalement des images montrant différents types d'appareils et diverses couleurs de ligatures.

Exemples d'invites

Comme le plan est que la LORA vous permette de spécifier la couleur des brackets et du fil (par exemple, or ou argent) et le matériau (plastique ou métal), j'ai commencé à ajouter des informations spécifiques sur la couleur des brackets, du fil, et des ligatures dans les étiquettes pour chaque invite.

Jusqu'à présent, seule la couleur des ligatures fonctionne. En partie parce que le jeu actuel ne comprend que des exemples d'appareils avec brackets argentés et ligatures argentées.

Lors des tests de la version 4, j'ai remarqué que les résultats étaient meilleurs et plus cohérents si je reflétais cette information dans l'invite.

En suivant quelque chose comme :

adddentalbraces, un [Personne/Animal/Objet] [Âge optionnel] [Si pour une personne, indiquer homme ou femme] sur [ses/dents] avec des ligatures [couleur], brackets argentés, et un fil argenté.

Exemples :

adddentalbraces, un homme de 20 ans avec un appareil dentaire sur ses dents avec des ligatures rouges, brackets argentés, et un fil argenté.

adddentalbraces, une femme de 20 ans avec un appareil dentaire sur ses dents avec des ligatures rouges, brackets argentés, et un fil argenté.

Pour être clair, vous n'êtes PAS obligé d'utiliser cette forme d'invite, mais lors des tests, j'obtenais une qualité plus constante en procédant ainsi puisque ce style d'invite est plus proche de nombreuses étiquettes utilisées dans le jeu de données et que celles-ci spécifient des détails comme la couleur des brackets et du fil.

Résultats des tests A/B :

Version 3 vs. Version 4

Amélioration de la texture de la peau :

La version 3 avait tendance à donner un aspect airbrush à la peau du visage. En revanche, la version 4 a intégré des images de régularisation dans son jeu de données pour résoudre ce problème spécifiquement.

• Les tests A/B réalisés après l'entraînement ont montré une amélioration significative à ce niveau.

Détails améliorés du jeu de données :

La version 4 intègre aussi des améliorations dans son jeu de données pour offrir des représentations plus détaillées des appareils réels.

• Les tests A/B ont révélé que la version 4 introduisait parfois des détails subtils sur les appareils, comme des crochets pour les élastiques, absents dans la version 3.

Représentation des couleurs alternées des ligatures :

La version 4 comprend aussi un plus grand nombre d’exemples d’appareils avec des couleurs de ligatures alternées dans son jeu de données.

• Les tests A/B ont démontré que la version 4 gérait efficacement les invites spécifiant des ligatures à couleurs alternées (par exemple, « avec des ligatures alternant entre bleu et vert »), surpassant la version 3 à cet égard.

Résumé des performances générales :

En résumé, la version 4 a obtenu des résultats globaux légèrement supérieurs et présenté moins d’anomalies, comme des sections de brackets qui ne devraient pas apparaître. À l’inverse, la version 3 produisait parfois de meilleures ligatures, au prix d’une qualité d’image globale moindre.

Conseils pour de meilleurs résultats

Utilisez des descripteurs spécifiques pour l’âge, le sexe et les matériaux des appareils afin d’améliorer le réalisme.

Suivez le style d’invite :

adddentalbraces, un [Personne/Animal/Objet] [Âge optionnel] [Si pour une personne, indiquer homme ou femme] sur [ses/dents] avec des ligatures [couleur], brackets argentés, et un fil argenté.

Ou au moins spécifiez une couleur pour les ligatures et utilisez la phrase « avec brackets argentés, et un fil argenté. »

Des invites simples comme

adddentalbraces, Une femme de 25 ans avec un appareil dentaire sur ses dents.

donnent systématiquement des résultats très satisfaisants, produisant des photographies style portrait rapproché. Les appareils sont les plus esthétiques vus de près, et la LORA créera généralement des images dans ce style sauf indication explicite contraire dans l’invite.

La LORA peut aussi gérer des invites plus complexes et incorporer l’appareil de manière fiable, bien que pour des prises de vue en plein corps ou de loin, la qualité des appareils ajoutés puisse diminuer. Le jeu de données actuel manque d’exemples suffisants d’appareils vues de loin, ce qui entraîne parfois des incohérences ou des représentations inexactes. (Je prévois d’ajouter des exemples d’appareils vus de plus loin dans la prochaine version du jeu de données pour améliorer cet aspect, mais cela peut prendre du temps pour obtenir ou produire des images de qualité suffisante. Je suis méticuleux quant à la qualité des images présentes dans le jeu de données et je crois fermement que la qualité des données est le facteur primordial pour obtenir de bons résultats d’entraînement.)

Restez à l’écoute pour les mises à jour ! Les retours des utilisateurs sont toujours bienvenus, faites-moi savoir ce qui fonctionne et ce qui doit être amélioré.