DMD2 | 1 CFG SCALE | Moins d'étapes - V5 | DTLVVTT_DMD2 (LITE)

Bonjour, vous vous demandez probablement : pourquoi autant de versions ?

Eh bien... je me poserais la même question à votre place. La raison est simple : c’est conçu ainsi pour offrir plus de contrôle, car, contrairement aux LoRAs classiques, DMD2 fonctionne mieux à sa puissance maximale.

Par exemple :

• HD 1 CFG Scale a une puissance « diluée », il nécessite donc l’aide de déclencheurs ou une augmentation manuelle de sa puissance LoRA. Cela le rend très utile pour combiner avec les LoRAs PDXL dans Illustrious, car vous pouvez simplement augmenter la puissance sans perdre les détails.

• DPM A1 et DPM A15 ont déjà une puissance et un détail renforcés, ils ne nécessitent donc pas de déclencheurs. A1 est la puissance standard, tandis que A15 ajoute un +15 % supplémentaire.

• V4 est une expérience pour générer des images en 2 étapes. Elle a été créée à l’inverse de HD 1 CFG : au lieu de réduire la puissance pour améliorer la stabilité, V4 augmente la puissance d’un rapport de 1,35 (soit 20 de plus que DPM A15).

En résumé : cela dépend de vos goûts et de vos objectifs. Par exemple, V4 produira plus de « bruit » (détails) et pourrait sacrifier un peu de réalisme à moins de l’utiliser avec un checkpoint réaliste.

Mais à quoi ça sert ?

Ce LoRA est basé sur l’architecture et le style de DMD2, une approche bien connue pour optimiser les modèles de diffusion en se concentrant sur la réduction du nombre d’étapes de génération sans compromettre la qualité visuelle.

Alors... Qu’est-ce que DMD2 ?

DMD2 (Denoising Diffusion Probabilistic Model 2) est une variante des modèles de diffusion probabiliste, conçue pour générer des images de haute qualité à partir du bruit via un processus itératif de débruitage.
Selon la littérature (par exemple, Ho et al., 2020, Denoising Diffusion Probabilistic Models), DMD2 optimise le processus de débruitage en réduisant le nombre d’étapes nécessaires pour atteindre un niveau de qualité comparable aux modèles traditionnels comme DDPM.

DMD2 utilise une paramétrisation améliorée du processus de diffusion inverse, ajustant les poids de variance et les termes de débruitage pour accélérer la convergence.
Dans le contexte des LoRAs, DMD2 sert de base pour entraîner des modules d’adaptation à faible rang qui affinent un modèle pré-entraîné (comme Stable Diffusion) pour des tâches spécifiques, minimisant le coût computationnel tout en conservant la qualité visuelle.

En conclusion :

Les LoRAs décrits ici (HD_DMD2_1_CFG-SCALE, DPM_4STEPS_A1, DPM_4STEPS_A15 et V4) sont des adaptations exploitant la structure DMD2 pour fonctionner avec une échelle CFG de 1.

Ceci est particulièrement intéressant car normalement une échelle CFG plus élevée est nécessaire pour maintenir la même qualité, mais ces LoRAs peuvent réduire le nombre d’étapes à 4, 6, 8 ou 10 (10 étant le minimum autorisé sur Civitai) tout en obtenant des résultats impressionnants — réduisant les temps de génération de minutes à seulement quelques secondes.

Fonctionnalités clés

• Optimisé pour une génération rapide : Conçu pour produire des images de haute qualité avec un très faible nombre d’étapes d’inférence (4, 6 ou 8), permettant une génération rapide et efficace.

• Faible échelle effective de CFG : Fonctionne de manière optimale autour d’une échelle CFG de 1, fournissant un équilibre idéal entre créativité et fidélité sans surajustement.

• Trois variantes pour différents besoins : Comprend des versions adaptées pour 8, 6 et 4 étapes, offrant de la flexibilité selon les exigences de vitesse et de détail.

• Qualité visuelle robuste : Maintient des détails forts dans les couleurs, textures et compositions même avec des étapes réduites — parfait pour les applications nécessitant à la fois rapidité et qualité.

• Large applicabilité : Convient aux utilisateurs souhaitant optimiser le temps de génération sans sacrifier la définition de leurs images.

Instructions d’utilisation & recommandations

• Si le LoRA que vous utilisez nécessite plus d’étapes pour obtenir un bon résultat, vous pouvez augmenter la puissance du LoRA ou ajouter des prompts positifs avec des mots-clés comme « hdr » pour améliorer l’éclairage et les détails, et des prompts négatifs comme « flat color » pour contrôler la saturation et les ombres.

• Alternativement, vous pouvez diminuer la puissance du LoRA, ce qui vous permet d’utiliser des échelles CFG plus élevées sans sursaturer l’image. Cependant, comme ce LoRA est principalement conçu pour une échelle CFG de 1, la puissance idéale peut varier selon votre cas spécifique.

• Expérimentez avec la puissance et l’échelle CFG pour trouver l’équilibre optimal pour votre flux de travail et le style désiré.