DMD2 | 1 CFG SCALE | Meno Passi - V5 | DTLVVTT_DMD2 (LITE)

Ciao, probabilmente ti starai chiedendo: perché così tante versioni?

Beh… mi farei la stessa domanda se fossi al tuo posto. Il motivo è semplice: è progettato in questo modo per offrire maggiore controllo, poiché, a differenza delle normali LoRA, DMD2 funziona meglio alla sua forza massima.

Per esempio:

• HD 1 CFG Scale ha una forza “diluita”, quindi richiede l’uso di trigger o di aumentare manualmente la forza della LoRA. Questo lo rende molto utile per combinarlo con le LoRA PDXL in Illustrious, poiché puoi semplicemente aumentare la forza senza perdere dettagli.

• DPM A1 e DPM A15 hanno già una forza e un dettaglio potenziati, quindi non richiedono trigger. A1 è la forza standard, mentre A15 aggiunge un extra del +15%.

• V4 è un esperimento per generare immagini in 2 passaggi. È stato creato all’opposto rispetto a HD 1 CFG: invece di ridurre la forza per migliorare la stabilità, V4 aumenta la forza di 1.35 volte (20 in più rispetto a DPM A15).

In breve: dipende dal tuo gusto e obiettivo. Per esempio, V4 produrrà più “rumore” (dettagli) e potrebbe sacrificare un po’ di realismo a meno che non lo usi con un checkpoint realistico.

Ma a cosa serve?

Questa LoRA si basa sull’architettura e lo stile di DMD2, un approccio noto per ottimizzare i modelli di diffusione concentrandosi sulla riduzione del numero di passaggi di generazione senza compromettere la qualità visiva.

Quindi... cos’è DMD2?

DMD2 (Denoising Diffusion Probabilistic Model 2) è una variante dei modelli di diffusione probabilistici, progettata per generare immagini di alta qualità dal rumore tramite un processo iterativo di denoising.
Secondo la letteratura (ad esempio Ho et al., 2020, Denoising Diffusion Probabilistic Models), DMD2 ottimizza il processo di denoising riducendo il numero di passaggi necessari per raggiungere un livello di qualità paragonabile a modelli tradizionali come DDPM.

DMD2 utilizza una parametrizzazione migliorata del processo di diffusione inversa, regolando pesi di varianza e termini di denoising per accelerare la convergenza.
Nel contesto di LoRA, DMD2 serve come base per l’addestramento di moduli di Low-Rank Adaptation che perfezionano un modello preaddestrato (come Stable Diffusion) per compiti specifici, minimizzando il costo computazionale mantenendo la qualità visiva.

In conclusione:

Le LoRA descritte qui (HD_DMD2_1_CFG-SCALE, DPM_4STEPS_A1, DPM_4STEPS_A15 e V4) sono adattamenti che sfruttano la struttura DMD2 per operare con una scala CFG di 1.

Questo è particolarmente interessante perché normalmente è necessaria una scala CFG più alta per mantenere la stessa qualità, ma queste LoRA possono ridurre il numero di passaggi a 4, 6, 8 o 10 (10 è il minimo consentito su Civitai) ottenendo risultati impressionanti—riducendo i tempi di generazione da minuti a pochi secondi.

Caratteristiche principali

• Ottimizzato per generazione veloce: Progettato per produrre immagini di alta qualità con un numero molto basso di passaggi di inferenza (4, 6 o 8), permettendo una generazione rapida ed efficiente.

• Bassa scala CFG effettiva: Funziona in modo ottimale intorno a una scala CFG di 1, offrendo un equilibrio ideale tra creatività e fedeltà senza overfitting.

• Tre varianti per diverse esigenze: Include versioni studiate per 8, 6 e 4 passaggi, offrendo flessibilità in base a velocità e necessità di dettaglio.

• Qualità visiva robusta: Mantiene dettagli forti in colori, texture e composizione anche con passaggi ridotti—perfetto per applicazioni che richiedono velocità e qualità.

• Ampia applicabilità: Adatto a utenti che vogliono ottimizzare i tempi di generazione senza sacrificare la definizione delle immagini.

Istruzioni d’uso e raccomandazioni

• Se la LoRA che stai usando richiede più passaggi per un buon risultato, puoi aumentare la forza della LoRA o aggiungere prompt positivi con parole chiave come "hdr" per migliorare illuminazione e dettagli, e prompt negativi come "flat color" per controllare saturazione e ombre.

• In alternativa, puoi abbassare la forza della LoRA, il che ti permette di usare scale CFG più alte senza sovrasaturare l’immagine. Tuttavia, poiché questa LoRA è progettata principalmente per scala CFG 1, la forza ideale può variare a seconda del tuo caso d’uso specifico.

• Sperimenta sia con forza che scala CFG per trovare l’equilibrio ottimale per il tuo flusso di lavoro e lo stile desiderato.