DMD2 | 1 CFG SCALE | Weniger Schritte - V5 | DTLVVTT_DMD2 (LITE)

Hallo, du fragst dich wahrscheinlich: warum so viele Versionen?

Naja… Ich würde mich an deiner Stelle genauso fragen. Der Grund ist einfach: Es ist so konzipiert, um mehr Kontrolle zu bieten, da DMD2 anders als normale LoRAs am besten bei maximaler Stärke funktioniert.

Zum Beispiel:

• HD 1 CFG Scale hat eine „verdünnte“ Stärke, weshalb die Hilfe von Triggern oder manuelles Erhöhen der LoRA-Stärke nötig ist. Das macht sie besonders nützlich zur Kombination mit PDXL LoRAs in Illustrious, da man die Stärke einfach erhöhen kann, ohne Details zu verlieren.

• DPM A1 und DPM A15 kommen bereits mit erhöhter Stärke und Details, benötigen also keine Trigger. A1 ist die Standardstärke, während A15 zusätzlich +15 % dazugibt.

• V4 ist ein Experiment, um Bilder in 2 Schritten zu erzeugen. Es wurde im Gegensatz zu HD 1 CFG entwickelt: Statt die Stärke zu reduzieren, um Stabilität zu verbessern, erhöht V4 die Stärke um das 1,35-Fache (20 mehr als DPM A15).

Kurz gesagt: Es hängt von deinem Geschmack und Ziel ab. V4 erzeugt zum Beispiel mehr „Rauschen“ (Details) und kann etwas Realismus opfern, wenn du es nicht mit einem realistischeren Checkpoint verwendest.

Wofür ist das?

Diese LoRA basiert auf der Architektur und dem Stil von DMD2, einem bekannten Ansatz zur Optimierung von Diffusionsmodellen durch Reduzierung der Generierungsschritte ohne Qualitätsverlust.

Also... was ist DMD2?

DMD2 (Denoising Diffusion Probabilistic Model 2) ist eine Variante probabilistischer Diffusionsmodelle, die hochwertige Bilder aus Rauschen mittels eines iterativen Denoising-Prozesses erzeugt.
Laut Literatur (z. B. Ho et al., 2020, Denoising Diffusion Probabilistic Models) optimiert DMD2 den Denoising-Prozess, indem die Anzahl der erforderlichen Schritte reduziert wird, um eine Qualität zu erreichen, die mit traditionellen Modellen wie DDPM vergleichbar ist.

DMD2 nutzt eine verbesserte Parametrisierung des Reverse-Diffusionsprozesses, justiert Varianzgewichte und Denoising-Terme, um die Konvergenz zu beschleunigen.
Im Kontext von LoRAs dient DMD2 als Basis zum Training von Low-Rank-Adaptationsmodulen, die ein vortrainiertes Modell (wie Stable Diffusion) für spezifische Aufgaben feinabstimmen, um Rechenkosten zu minimieren und gleichzeitig visuelle Qualität zu bewahren.

Zusammenfassend:

Die hier beschriebenen LoRAs (HD_DMD2_1_CFG-SCALE, DPM_4STEPS_A1, DPM_4STEPS_A15 und V4) sind Anpassungen, die die DMD2-Struktur nutzen und mit einem CFG-Wert von 1 arbeiten.

Das ist besonders interessant, da normalerweise ein höherer CFG-Wert nötig ist, um die gleiche Qualität zu halten, aber diese LoRAs die Schrittzahl auf 4, 6, 8 oder 10 reduzieren können (wobei 10 das auf Civitai erlaubte Minimum ist) und dabei beeindruckende Ergebnisse erzielen—die Generierungszeit wird von Minuten auf nur wenige Sekunden reduziert.

Hauptmerkmale

• Optimiert für schnelle Generierung: Entwickelt, um bei sehr wenigen Inferenzschritten (4, 6 oder 8) hochwertige Bilder zu erzeugen und so schnelle sowie effiziente Generierung zu ermöglichen.

• Niedriger effektiver CFG-Wert: Arbeitet optimal bei einem CFG-Wert um 1, bietet ein ideales Gleichgewicht aus Kreativität und Genauigkeit ohne Überanpassung.

• Drei Varianten für unterschiedliche Bedürfnisse: Beinhaltet Versionen für 8, 6 und 4 Schritte, die je nach Anforderungen an Geschwindigkeit und Detailflexibilität bieten.

• Robuste visuelle Qualität: Bewahrt starke Details in Farben, Texturen und Komposition trotz reduzierter Schritte—perfekt für Anwendungen, die sowohl Geschwindigkeit als auch Qualität verlangen.

• Breite Anwendbarkeit: Geeignet für Nutzer, die die Generierungszeit optimieren möchten, ohne an Bildschärfe einzubüßen.

Gebrauchsanweisung & Empfehlungen

• Falls deine LoRA mehr Schritte benötigt, um ein gutes Ergebnis zu erzielen, kannst du die LoRA-Stärke erhöhen oder positive Prompts mit Schlüsselwörtern wie "hdr" hinzufügen, um Beleuchtung und Details zu verbessern, sowie negative Prompts wie "flat color", um Sättigung und Schatten zu kontrollieren.

• Alternativ kannst du die LoRA-Stärke verringern, was höhere CFG-Werte erlaubt, ohne das Bild zu übersättigen. Da diese LoRA jedoch primär für CFG-Wert 1 konzipiert ist, kann die ideale Stärke je nach Anwendungsfall variieren.

• Experimentiere mit Stärke und CFG-Wert, um das optimale Gleichgewicht für deinen Workflow und gewünschten Stil zu finden.