DMD2 | 1 CFG SCALE | Mniej kroków - V5 | DTLVVTT_DMD2 (LITE)

Cześć, pewnie zastanawiasz się: dlaczego tyle wersji?

Cóż… sam bym się tego zapytał na twoim miejscu. Powód jest prosty: jest to zaprojektowane tak, aby oferować więcej kontroli, ponieważ, w przeciwieństwie do zwykłych LoR, DMD2 działa najlepiej przy maksymalnej sile.

Na przykład:

• HD 1 CFG Scale ma „rozcieńczoną” siłę, więc wymaga pomocy wyzwalaczy lub ręcznego zwiększenia siły LoRA. Czyni to go bardzo użytecznym do łączenia z LoRami PDXL w Illustrious, ponieważ możesz po prostu podnieść siłę bez utraty detali.

• DPM A1 i DPM A15 mają już podniesioną siłę i detale, więc nie potrzebują wyzwalaczy. A1 to standardowa siła, a A15 dodaje dodatkowe +15%.

• V4 to eksperyment mający na celu generowanie obrazów w 2 krokach. Powstał odwrotnie do HD 1 CFG: zamiast zmniejszać siłę dla poprawy stabilności, V4 zwiększa siłę o współczynnik 1,35 (20 więcej niż DPM A15).

Krótko mówiąc: zależy to od twojego gustu i celu. Na przykład V4 wygeneruje więcej „szumu” (detali) i może poświęcić trochę realizmu, chyba że użyjesz go z realistycznym checkpointem.

A do czego to służy?

Ta LoRA opiera się na architekturze i stylu DMD2, znanym podejściu do optymalizacji modeli dyfuzyjnych poprzez redukcję liczby kroków generacji bez utraty jakości wizualnej.

Więc... czym jest DMD2?

DMD2 (Denoising Diffusion Probabilistic Model 2) to wariant probabilistycznych modeli dyfuzyjnych, zaprojektowany do generowania wysokiej jakości obrazów z szumu poprzez iteracyjny proces odszumiania.
Według literatury (np. Ho i in., 2020, Denoising Diffusion Probabilistic Models), DMD2 optymalizuje proces odszumiania przez zmniejszenie liczby kroków potrzebnych do uzyskania jakości porównywalnej z tradycyjnymi modelami jak DDPM.

DMD2 korzysta z ulepszonej parametryzacji odwrotnego procesu dyfuzji, dostosowując wagi wariancji i termy odszumiania, aby przyspieszyć konwergencję.
W kontekście LoR, DMD2 służy jako baza do trenowania modułów Low-Rank Adaptation, które dostrajają wstępnie wytrenowany model (np. Stable Diffusion) do konkretnych zadań, minimalizując koszty obliczeniowe przy zachowaniu jakości wizualnej.

Podsumowując:

Opisane tutaj LoRy (HD_DMD2_1_CFG-SCALE, DPM_4STEPS_A1, DPM_4STEPS_A15 oraz V4) to adaptacje wykorzystujące strukturę DMD2 do działania przy skali CFG równej 1.

To szczególnie interesujące, ponieważ zwykle potrzebna jest wyższa skala CFG dla utrzymania tej samej jakości, ale te LoRy mogą zmniejszyć liczbę kroków do 4, 6, 8 lub 10 (10 to minimalny dopuszczalny na Civitai), osiągając imponujące wyniki — skracając czas generacji z minut do zaledwie kilku sekund.

Kluczowe cechy

• Optymalizacja pod szybkie generowanie: Zaprojektowane do produkcji wysokiej jakości obrazów przy bardzo niskiej liczbie kroków inferencji (4, 6 lub 8), umożliwiając szybką i efektywną generację.

• Niska efektywna skala CFG: Działa optymalnie w okolicach skali CFG 1, zapewniając idealną równowagę między kreatywnością a wiernością bez nadmiernego dopasowania.

• Trzy warianty dla różnych potrzeb: Zawiera wersje dostosowane do 8, 6 i 4 kroków, oferując elastyczność w zależności od wymagań prędkości i detali.

• Solidna jakość wizualna: Utrzymuje silne detale w kolorach, teksturach i kompozycji nawet przy zmniejszonej liczbie kroków — idealne do zastosowań wymagających zarówno szybkości, jak i jakości.

• Szerokie zastosowanie: Odpowiednie dla użytkowników, którzy chcą zoptymalizować czas generacji bez poświęcania wyrazistości obrazów.

Instrukcje użytkowania i zalecenia

• Jeśli używana LoRA wymaga więcej kroków, aby osiągnąć dobry efekt, możesz zwiększyć siłę LoRA lub dodać pozytywne prompta z słowami kluczowymi takimi jak "hdr" dla poprawy oświetlenia i detali oraz negatywne prompta jak "flat color" dla kontroli nasycenia i cieni.

• Alternatywnie, możesz obniżyć siłę LoRA, co pozwala używać wyższych skal CFG bez przesycenia obrazu. Jednak ponieważ ta LoRA jest głównie zaprojektowana dla skali CFG 1, idealna siła może się różnić w zależności od konkretnego zastosowania.

• Eksperymentuj zarówno z siłą, jak i skalą CFG, aby znaleźć optymalną równowagę dla swojego workflow i oczekiwanego stylu.