Introduction du modèle (Partie anglaise)

I Contenu

Dans cette introduction, vous apprendrez :

1. Informations sur le modèle (voir Section II) ;

2. Instructions d’utilisation (voir Section III) ;

3. Paramètres d'entraînement (voir Section IV) ;

4. Liste des mots déclencheurs (voir Annexe Partie A)

II AIDXL

Anime Illustration Diffusion XL, ou AIDXL, est un modèle dédié à la génération d’illustrations d’anime stylisées. Il possède plus de 800 styles d’illustrations intégrés (et s’enrichit continuellement) qui sont activés par des mots déclencheurs spécifiques (voir Annexe A).

Avantages :

• Composition flexible plutôt que pose AI traditionnelle.

• Détails habiles contrairement à un chaos désordonné.

• Reconnaît mieux les personnages d’anime.

III Guide de l’utilisateur

1 Utilisation de base

1.1 Prompt

1. Mots déclencheurs: Ajoutez les mots déclencheurs fournis dans Annexe A pour styliser l’image. Les mots déclencheurs appropriés amélioreront grandement la qualité ;

   Il est conseillé de réduire le poids des mots déclencheurs de style artiste, par exemple (by xxx:0.6).

2. Tri sémantique: Ordonner les tags ou phrases de votre prompt aidera le modèle à comprendre le sens.

   Ordre recommandé des tags : Mot déclencheur (by xxx) -> personnage (une fille nommée frieren dans la série sousou no frieren) -> race (elfe) -> composition (plan cowboy) -> style (impasto ) -> thème (fantaisie) -> environnement principal (dans la forêt, en journée) -> arrière-plan (arrière-plan en dégradé) -> action (assis par terre) -> expression (sans expression) -> caractéristiques principales (cheveux blancs) -> caractéristiques corporelles (queues jumelles, yeux verts, lèvre fendue) -> vêtements (robe blanche) -> accessoires vestimentaires (volants) -> autres objets (un chat) -> environnement secondaire (herbe, soleil) -> esthétique (belle couleur, détaillé, esthétique) -> qualité ((best quality:1.3))

3. Prompts négatifs : (worst quality:1.3), low quality, lowres, messy, abstrait, laid, déformé, mauvaise anatomie, brouillon, mains déformées, doigts fusionnés, signature, texte, vues multiples

1.2 Paramètres de génération

1. Résolution : Assurez-vous que le nombre total de pixels (=largeur * hauteur) soit environ 1024*1024 et que la largeur et la hauteur soient des multiples de 32, ce qui permet à AIDXL de produire le meilleur résultat. Par exemple, 832x1216 (2:3), 1216x832 (3:2) et 1024x1024 (1:1), etc.

2. Échantillonneur et étapes: Utilisez l’échantillonneur "Euler Ancester", appelé Euler A dans webui. Échantillonné sur environ ~28 étapes avec un CFG Scale de 7 à 9.

3. 'Affiner': L’image générée via text2image est parfois floue, dans ce cas vous devrez l’‘affiner’ avec image2image ou inpainting, etc.

   Pour un simple agrandissement, vous pouvez consulter : Agrandir à grande taille et ajouter des détails avec SD Upscale, c’est facile ! : r/StableDiffusion (reddit.com)

4. Autres composants : Pas besoin d’utiliser un modèle affiner. Utilisez le VAE du modèle lui-même ou le sdxl-vae.

Q : Comment reproduire l’image de couverture du modèle ? Pourquoi ne puis-je pas obtenir la même image avec les mêmes paramètres de génération ?

A : Car les paramètres de génération affichés sur la couverture ne sont PAS ceux du text2image, mais ceux du image2image (pour agrandissement). L’image de base est majoritairement générée avec l’échantillonneur Euler Ancester et non le DPM sampler.

2 Utilisation spéciale

2.1 Styles généralisés

Depuis la version 0.7, AIDXL résume plusieurs styles similaires et introduit les mots déclencheurs de style généralisé. Ces mots déclencheurs représentent chacun une catégorie courante de style d’illustration d’animation. Notez que les mots déclencheurs de style général ne correspondent pas nécessairement à la signification artistique de leur mot, mais sont des mots spéciaux redéfinis.

2.2 Personnages

Depuis la version 0.7, AIDXL a renforcé l’entraînement sur les personnages. L’effet de certains mots déclencheurs de personnages peut déjà atteindre celui d’une Lora, et permet de bien dissocier le concept du personnage de ses vêtements.

La méthode de déclenchement est : {personnage} \({copyright}\). Par exemple, pour déclencher l’héroïne Lucy dans l’animation "Cyberpunk: Edgerunners", utilisez lucy \(cyberpunk\) ; pour le personnage Gan Yu dans le jeu "Genshin Impact", utilisez ganyu \(genshin impact\). Ici, "lucy" et "ganyu" sont des noms de personnages, "\(cyberpunk\)" et "\(genshin impact\)" sont les origines des personnages correspondants, et les parenthèses sont échappées par des barres obliques "\" pour éviter qu’elles soient interprétées comme des tags pondérés. Pour certains personnages, la partie copyright n’est pas nécessaire.

Depuis la version v0.8, il existe une autre méthode plus simple : un(e) {fille/garçon} nommé(e) {personnage} de la série {copyright}.

Pour la liste des mots déclencheurs de personnages, veuillez consulter : selected_tags.csv · SmilingWolf/wd-v1-4-convnext-tagger-v2 at main (huggingface.co). Certaines autres mots déclencheurs non mentionnés dans ce document peuvent également être inclus.

Certaines personnages nécessitent une étape déclencheur supplémentaire. Si, lors de l’utilisation, un personnage ne peut être complètement restauré avec un seul mot déclencheur, les caractéristiques principales du personnage doivent être ajoutées au prompt.

AIDXL supporte l’habillage des personnages. Les mots déclencheurs de personnages ne portent généralement pas le concept des caractéristiques vestimentaires du personnage lui-même. Pour ajouter les vêtements du personnage, il faut ajouter le tag des vêtements dans le prompt. Par exemple, silver evening gown, plunging neckline donne la robe du personnage St. Louis (Luxurious Wheels) du jeu Azur Lane. De même, vous pouvez ajouter les tags de vêtements de n’importe quel personnage à un autre.

2.3 Tags de qualité

Qualité et esthétique sont formellement entraînés. Les ajouter dans les prompts influencera la qualité de l’image générée.

Depuis la version 0.7, AIDXL entraîne officiellement et introduit les tags de qualité. Les qualités sont divisées en six niveaux, du meilleur au pire : amazing quality, best quality, high quality, normal quality, low quality et worst quality.

Il est conseillé d’ajouter un poids supplémentaire aux tags de qualité, par exemple (amazing quality:1.5).

2.4 Tags esthétiques

Depuis la version 0.7, des tags esthétiques ont été introduits pour décrire les caractéristiques esthétiques particulières des images.

2.5 Fusion de styles

Vous pouvez fusionner plusieurs styles dans votre style personnalisé. « Fusionner » signifie en fait utiliser plusieurs mots déclencheurs de styles en même temps. Par exemple, chun-li, amazing quality, (by yoneyama mai:0.9), (by chi4:0.8), by ask, by modare, (by ikky:0.9).

Quelques conseils :

• Contrôlez le poids et l’ordre des styles pour ajuster le style final.

• Ajoutez-les à la fin du prompt plutôt qu’au début.

IV Stratégie d’entraînement et paramètres

AIDXLv0.1

Utilisation de SDXL1.0 comme modèle de base, avec environ 22k images labellisées entraînées sur environ 100 époques avec un scheduler cosinus à un taux d’apprentissage de 5e-6 et un nombre de cycles = 1 pour obtenir le modèle A. Puis, avec un taux d’apprentissage de 2e-7 et les mêmes autres paramètres pour obtenir le modèle B. Le modèle AIDXLv0.1 est obtenu par fusion des modèles A et B.

AIDXLv0.51

Stratégie d’entraînement

Reprise de l’entraînement à partir d’AIDXLv0.5, trois sessions de formation sont enchaînées :

1. Entraînement avec longues légendes : utilisation de tout le dataset, avec certaines images légendées manuellement. Entraînement simultané de l’U-Net et de l’encodeur de texte avec optimiseur AdamW8bit, taux d’apprentissage élevé (~1.5e-6) et scheduler cosinus. Arrêt lorsque le taux d’apprentissage descend en dessous d’un seuil (~5e-7).

2. Entraînement avec courtes légendes : redémarrage à partir du résultat de l’étape 1 avec les mêmes paramètres mais un dataset avec des légendes plus courtes.

3. Étape de raffinage : préparation d’un sous-ensemble d’images de haute qualité extraites manuellement du dataset de l’étape 1. Redémarrage à partir du résultat de l’étape 2 avec un taux d’apprentissage bas (~7.5e-7), scheduler cosinus avec redémarrages entre 5 et 10 fois. Entraînement jusqu’à obtenir un bon rendu esthétique.

Paramètres d’entraînement fixes

• Pas de bruit additionnel tel que noise offset.

• Min snr gamma = 5 : accélère l’entraînement.

• Précision bf16 complète.

• Optimiseur AdamW8bit : équilibre entre efficacité et performance.

Dataset

• Résolution : 1024x1024 total (= hauteur * largeur) avec une stratégie de bucketing modifiée officielle de SDXL.

• Légendes : générées par le modèle WD14-Swinv2 avec un seuil de 0.35.

• Recadrage en gros plans : découpe d’images en plusieurs gros plans. Très utile quand les images d’entraînement sont grandes ou rares.

• Mots déclencheurs : garder la première étiquette d’image comme mot déclencheur.

AIDXLv0.6

Stratégie d’entraînement

Reprise de l’entraînement à partir d’AIDXLv0.52, mais avec une stratégie adaptative de répétition – pour chaque image légendée dans le dataset, augmenter son nombre de répétitions à l’entraînement sous réserve des règles suivantes :

• Règle 1 : Plus la qualité de l’image est élevée, plus son nombre de répétitions est élevé ;

• Règle 2 : Si l’image appartient à une classe de style :

  • Si la classe est encore non adaptée ou sous-adaptée, alors augmenter manuellement ou automatiquement son nombre de répétitions afin que le total des répétitions de la classe atteigne une valeur préétablie (~100).

  • Si la classe est déjà adaptée ou surdaptée, diminuer manuellement le nombre de répétitions à 1 et la supprimer si sa qualité est faible.

• Règle 3 : Le nombre de répétitions est limité pour ne pas dépasser un seuil d’environ 10.

Cette stratégie présente les avantages suivants :

1. Protège les informations originales du modèle des nouveaux entraînements, suivant la même idée que l’image régularisée ;

2. Rend l’impact des données d’entraînement plus contrôlable ;

3. Équilibre l’entraînement entre différentes classes en motivant les classes non encore adaptées et en évitant le surapprentissage des classes déjà adaptées ;

4. Économise considérablement les ressources de calcul et facilite l’ajout de nouveaux styles dans le modèle.

Paramètres d’entraînement fixes

Identiques à AIDXLv0.51.

Dataset

Le dataset d’AIDXLv0.6 est basé sur celui d’AIDXLv0.51. Par ailleurs, les optimisations suivantes sont appliquées :

• Tri sémantique des légendes : Ordonner les tags des légendes par ordre sémantique, par ex. "gun, 1boy, holding, short hair" -> "1boy, short hair, holding, gun".

• Suppression des doublons dans les légendes : Enlever les tags dupliqués, garder celui qui porte le plus d’information. Les doublons sont des tags similaires, par exemple "long hair" et "very long hair".

• Tags additionnels : Ajouter manuellement des tags supplémentaires à toutes les images, par exemple "high quality", "impasto" etc. Ceci peut être fait rapidement avec certains outils.

V Remerciements spéciaux

Sponsoring de la puissance de calcul : Merci à la communauté @NieTa (捏Ta (nieta.art)) pour le soutien en puissance de calcul ;

Soutien en données : Merci à @KirinTea_Aki (Profil créateur KirinTea_Aki | Civitai) et à @Chenkin (Civitai | Partagez vos modèles) pour l’apport massif de données ;

Il n’y aurait pas eu de version 0.7 sans eux.

VI AIDXL vs AID

08/08/2023. AIDXL est entraîné sur le même ensemble de données qu’AIDv2.10, mais dépasse AIDv2.10. AIDXL est plus intelligent et peut faire beaucoup de choses que les modèles basés sur SD1.5 ne peuvent pas. Il fait également un excellent travail pour distinguer les concepts, apprendre les détails de l’image, gérer des compositions difficiles voire impossibles pour SD1.5 et AID. Dans l’ensemble, il a un potentiel absolu. Je continuerai à mettre à jour AIDXL.

VII Sponsoring

Si vous aimez notre travail, vous pouvez nous sponsoriser via Ko-fi (https://ko-fi.com/eugeai) pour soutenir notre recherche et développement. Merci pour votre soutien~

Présentation du modèle (Partie chinoise)

I Table des matières

Dans cette présentation, vous apprendrez :

1. Introduction du modèle (voir Partie II) ;

2. Guide d’utilisation (voir Partie III) ;

3. Paramètres d’entraînement (voir Partie IV) ;

4. Liste des mots déclencheurs (voir Annexe Partie A)

II Présentation du modèle

Anime Illustration Diffusion XL, ou AIDXL, est un modèle dédié à la génération d’illustrations d’anime. Il intègre plus de 800 styles d’illustration (nombre croissant avec les mises à jour) activés par des mots déclencheurs spécifiques (voir Annexe Partie A).

Avantages : composition audacieuse, sans sensation de pose forcée, sujet principal mis en avant, absence de détails superflus, et capacité à reconnaître de nombreux personnages d’anime (déclenchés via leur nom en romaji, par exemple "ayanami rei" pour "綾波麗", "kamado nezuko" pour "祢豆子").

III Guide d’utilisation (évolutif)

1 Utilisation de base

1.1 Écriture des prompts

1. Utilisation des mots déclencheurs : utilisez les mots déclencheurs fournis dans l’Annexe A pour styliser l’image. Les mots appropriés augmenteront grandement la qualité générée ;

2. Taggage des prompts : utilisez des prompts taggés pour décrire les objets générés ;

3. Ordre des prompts : ordonner vos prompts aidera le modèle à comprendre le sens. Ordre recommandé :

   Mots déclencheurs (by xxx) -> personnage principal (1girl) ->personnage (frieren) -> race (elf) ->composition (cowboy shot) -> style (impasto) -> thème (fantasy) -> environnement principal (forest, day) ->arrière-plan (gradient background) -> action (sitting) -> expression (expressionless) ->caractéristiques principales (white hair) ->caractéristiques corporelles (twintails, green eyes, parted lip) ->vêtements (white dress) -> accessoires de vêtements (frills) -> autres objets (magic wand) -> environnement secondaire (grass, sunshine) ->esthétique (beautiful color, detailed, aesthetic) ->qualité (best quality)

4. Mots négatifs : worst quality, low quality, lowres, messy, abstrait, laid, déformé, mauvaise anatomie, mains déformées, doigts fusionnés, signature, texte, vues multiples

1.2 Paramètres de génération

1. Résolution : assurez-vous que la résolution totale de l’image (résolution totale = hauteur x largeur) tourne autour de 1024*1024 et que largeur et hauteur sont des multiples de 32. Par exemple, 832x1216 (3:2), 1216x832 (3:2), et 1024x1024 (1:1).

2. Ne pas appliquer "Clip Skip", c’est-à-dire Clip Skip = 1.

3. Échantillonneur et nombre d’étapes : utiliser “euler_ancester” comme échantillonneur, nommé Euler A dans webui. Échantillonner 28 étapes à un CFG Scale de 7.

4. Utiliser uniquement le modèle lui-même, pas besoin d’affineur (Refiner).

5. Utiliser le VAE du modèle de base ou sdxl-vae.

2 Utilisation spéciale

2.1 Styles généralisés

La version 0.7 a résumé plusieurs styles d’illustration similaires et introduit les mots déclencheurs de style généralisé, chacun représentant une catégorie courante de style d’illustration d’anime.

Notez que ces mots déclencheurs ne correspondent pas toujours exactement à leur signification artistique originale, ils sont des mots spéciaux redéfinis.

2.2 Personnages

La version 0.7 a renforcé l’entraînement de personnages. Certains mots déclencheurs de personnages permettent désormais d’obtenir un effet comparable à Lora, dissociant bien le concept personnage de ses vêtements.

La méthode pour déclencher un personnage est : nom_du_personnage \(œuvre\). Par exemple, pour activer le personnage principal Lucy de l’animation Cyberpunk: Edgerunners, utilisez lucy \(cyberpunk\) ; pour Gan Yu dans le jeu Genshin Impact, utilisez ganyu \(genshin impact\). "lucy" et "ganyu" sont les noms des personnages, "\(cyberpunk\)" et "\(genshin impact\)" les œuvres d’origine, les parenthèses sont échappées par \ pour éviter l'interprétation comme tags pondérés. Pour certains personnages, la partie œuvre n’est pas nécessaire.

Veuillez consulter selected_tags.csv · SmilingWolf/wd-v1-4-convnext-tagger-v2 at main (huggingface.co) pour la liste complète des mots déclencheurs de personnages.

Si un personnage ne peut être parfaitement reproduit par un seul mot déclencheur, il faut ajouter ses caractéristiques principales dans le prompt.

AIDXL gère les changements d’habits des personnages : les mots déclencheurs ne comprennent généralement pas les caractéristiques vestimentaires du personnage. Pour changer les vêtements, ajoutez les tags correspondants, par exemple silver evening gown, plunging neckline pour la tenue du personnage St. Louis (Luxurious Wheels) du jeu Azur Lane. De même, vous pouvez appliquer les vêtements de n’importe quel personnage à un autre.

2.3 Tags de qualité

Les tags de qualité et esthétique sont officiellement entraînés. Les utiliser dans les prompts influence la qualité des images générées.

Depuis la version 0.7, les tags de qualité sont divisés en six niveaux : amazing quality, best quality, high quality, normal quality, low quality et worst quality.

Il est conseillé d’ajouter un poids supplémentaire, par exemple (amazing quality:1.5).

2.4 Tags esthétiques

Introduits à partir de la version 0.7, ces tags décrivent des caractéristiques esthétiques spécifiques aux images.

2.5 Fusion de styles

Vous pouvez fusionner plusieurs styles dans un style personnalisé. « Fusionner » signifie utiliser plusieurs déclencheurs de style au même moment. Par exemple : chun-li, amazing quality, (by yoneyama mai:0.9), (by chi4:0.8), by ask, by modare, (by ikky:0.9).

Conseils :

• Contrôlez le poids et l’ordre des styles pour ajuster le style final.

• Ajoutez-les à la fin, pas au début du prompt.

3 Remarques

1. Utilisez les modèles VAE, embeddings texte et Lora supportés par SDXL. Note : sd-vae-ft-mse-original n'est pas un VAE compatible SDXL ; EasyNegative, badhandv4 et autres embeddings négatifs ne sont pas compatibles SDXL ;

2. Pour les versions 0.61 et antérieures : il est fortement recommandé d’utiliser des embeddings négatifs spécifiques au modèle (disponibles dans la section Ressources suggérées), qui ont un effet quasiment uniquement positif pour ce modèle ;

3. Les nouveaux mots déclencheurs ajoutés à chaque version ont un effet relativement faible ou instable dans la version actuelle.

IV Paramètres d’entraînement

Basé sur SDXL1.0, environ 2w images annotées ont été entraînées avec un scheduler cosinus à un taux d’apprentissage de 5e-6 et 1 cycle durant environ 100 époques pour obtenir le modèle A. Ensuite, avec un taux de 2e-7 en conservant les autres paramètres, on obtient le modèle B. En fusionnant A et B, on obtient AIDXLv0.1.

Pour les autres paramètres, veuillez vous référer à la version anglaise.

V Remerciements spéciaux

Soutien en calcul : Merci à la communauté @捏Ta (捏Ta (nieta.art)) pour son soutien en puissance de calcul ;

Soutien en données : Merci à @秋麒麟热茶 (Profil créateur KirinTea_Aki | Civitai) et @风吟 (Profil créateur Chenkin | Civitai) pour leur important soutien en données ;

Sans eux, il n’y aurait pas eu la version 0.7.

VI Journal des mises à jour

08/08/2023 : AIDXL a été entraîné sur le même dataset qu’AIDv2.10, mais surpasse AIDv2.10. AIDXL est plus intelligent, réalise des tâches impossibles aux modèles SD1.5. Il distingue bien les concepts, apprend les détails, gère des compositions complexes, et maîtrise des styles inaccessibles à la version antérieure d’AID. En résumé, il offre une meilleure marge que SD1.5. Je continuerai à mettre à jour AIDXL.

27/01/2024 : La version 0.7 introduit beaucoup de nouveautés, avec un dataset plus du double en taille que la version précédente.

1. Pour obtenir des annotations satisfaisantes, j’ai expérimenté de nombreux algorithmes de traitement des tags, comme tri des tags, randomisation hiérarchique, séparation des caractéristiques des personnages, etc. Projet : Eugeoter/sd-dataset-manager (github.com) ;

2. Pour un contrôle total de l’entraînement, j’ai développé un script personnalisé basé sur Kohya-ss ;

3. Pour maîtriser la fusion des générations de modèles, j’ai développé des algorithmes heuristiques de fusion ; pour la stylisation suffisante, j’ai abandonné la fusion des encodeurs texte et couches OUT de l’UNET qui améliore la stabilité et l’esthétique, car cela nuit au style du modèle.

4. Pour filtrer et nettoyer les données, j’ai entraîné des modèles de détection de watermark, classification d’image et notation esthétique.

VII Sponsorisez-nous

Si vous appréciez notre travail, vous pouvez nous soutenir via Ko-fi (https://ko-fi.com/eugeai) pour appuyer notre recherche et développement. Merci pour votre soutien !

Annexe

A. Liste spéciale des mots déclencheurs

• Mots déclencheurs de style artistique : Cliquez ici

• Mots déclencheurs de style peinture : flat color, clean color, celluloid, flat-pasto, thin-pasto, pseudo-impasto, impasto, realistic, photorealistic, cel shading, 3d

  • flat color : Couleurs plates, lignes pour décrire lumière et ombre

    平涂：Couleurs plates, utilisation de lignes et taches de couleurs pour ombre et volumes

  • clean color : Style entre flat color et flat-pasto. Coloration simple et nette.

    Couleur claire : style entre flat color et flat-pasto, coloration simple et propre.

  • celluloid : Coloration anime

    Coloration celluloïd : coloration type anime

  • flat-pasto : Couleurs presque plates, gradation pour lumière et ombres

    Coloris presque plats, utilisant des dégradés pour lumière et ombres.

  • thin-pasto : Contour fin, gradation et épaisseur de peinture pour lumière, ombre, contenu

    Contour fin, utilisant gradations et épaisseur de peinture pour décrire lumière, ombre et volume

    

  • pseudo-impasto : Utilisation des dégradés et épaisseur de peinture pour lumière, ombre, volumes

    Pseudo-impasto / semi-impasto : utilisation de dégradés et épaisseur pour lumière, ombre et couches

  • impasto : Utilisation d’épaisseur de peinture pour lumière, ombre, dégradés

    Impasto : emploi d’épaisseur de peinture pour lumière, ombre et dégradé

  • realistic

    Réaliste

  • photorealistic : Redéfini comme style proche du monde réel

    Photorealiste : redéfini comme style proche du réel

  • cel shading : Style d’animation 3D

    Cel shading : style 3D animé

  • 3d

    

• Mots déclencheurs esthétiques :

  • beautiful

    Beau

  • aesthetic : sens artistique légèrement abstrait

    Esthétique : sens artistique légèrement abstrait

  • detailed

    Détaillé

  • beautiful color : utilisation subtile des couleurs

    Couleurs harmonieuses : usage subtil des couleurs

  • lowres

  • messy : composition ou détails désordonnés

    Désordonné : composition ou détails confus

• Mots déclencheurs de qualité : amazing quality, best quality, high quality, low quality, worst quality