DMD2 | 1 CFG SCALE | Menos Passos - V5 | DTLVVTT_DMD2 (LITE)

Olá, você provavelmente está se perguntando: por que tantas versões?

Bem… eu também faria a mesma pergunta se estivesse no seu lugar. A razão é simples: foi projetado dessa forma para oferecer mais controle, já que, ao contrário das LoRAs normais, DMD2 funciona melhor em sua força máxima.

Por exemplo:

• HD 1 CFG Scale tem força “diluída”, então requer a ajuda de gatilhos ou aumento manual da força da LoRA. Isso a torna muito útil para combinar com LoRAs PDXL em Illustrious, pois você pode simplesmente aumentar a força sem perder detalhes.

• DPM A1 e DPM A15 já vêm com força e detalhes aumentados, então não precisam de gatilhos. A1 é a força padrão, enquanto A15 acrescenta um extra de +15%.

• V4 é um experimento para gerar imagens em 2 passos. Foi criado de forma oposta ao HD 1 CFG: em vez de reduzir a força para melhorar a estabilidade, V4 aumenta a força em um fator de 1,35 (20 a mais que o DPM A15).

Resumindo: depende do seu gosto e objetivo. Por exemplo, V4 vai produzir mais “ruído” (detalhes) e pode sacrificar um pouco do realismo, a menos que você use com um checkpoint realista.

Mas para que serve isso?

Esta LoRA é baseada na arquitetura e estilo de DMD2, uma abordagem conhecida para otimizar modelos de difusão focando na redução do número de passos de geração sem comprometer a qualidade visual.

Então... O que é DMD2?

DMD2 (Denoising Diffusion Probabilistic Model 2) é uma variante de modelos de difusão probabilística, projetada para gerar imagens de alta qualidade a partir do ruído através de um processo iterativo de remoção de ruído.
De acordo com a literatura (ex., Ho et al., 2020, Denoising Diffusion Probabilistic Models), DMD2 otimiza o processo de remoção de ruído reduzindo o número de passos necessário para atingir um nível de qualidade comparável aos modelos tradicionais como DDPM.

DMD2 usa uma parametrização melhorada do processo reverso de difusão, ajustando pesos de variância e termos de remoção de ruído para acelerar a convergência.
No contexto das LoRAs, DMD2 serve como base para treinar módulos de adaptação de baixo rank que ajustam um modelo pré-treinado (como stable diffusion) para tarefas específicas, minimizando o custo computacional enquanto preserva a qualidade visual.

Concluindo:

As LoRAs descritas aqui (HD_DMD2_1_CFG-SCALE, DPM_4STEPS_A1, DPM_4STEPS_A15 e V4) são adaptações que utilizam a estrutura do DMD2 para operar com uma escala CFG de 1.

Isso é particularmente interessante porque normalmente se precisa de uma escala CFG maior para manter a mesma qualidade, mas essas LoRAs podem reduzir a contagem de passos para 4, 6, 8 ou 10 (sendo 10 o mínimo permitido no Civitai) ao alcançar resultados impressionantes—reduzindo os tempos de geração de minutos para apenas alguns segundos.

Principais Características

• Otimizado para geração rápida: Projetado para produzir imagens de alta qualidade com um número muito baixo de passos de inferência (4, 6 ou 8), permitindo geração rápida e eficiente.

• Baixa escala efetiva de CFG: Funciona de forma ótima em torno de uma escala CFG de 1, proporcionando um equilíbrio ideal entre criatividade e fidelidade sem overfitting.

• Três variantes para necessidades diferentes: Inclui versões adaptadas para 8, 6 e 4 passos, oferecendo flexibilidade dependendo da velocidade e requisitos de detalhe.

• Qualidade visual robusta: Mantém detalhes fortes em cores, texturas e composição mesmo com passos reduzidos—perfeito para aplicações que exigem velocidade e qualidade.

• Amplamente aplicável: Adequado para usuários que desejam otimizar o tempo de geração sem sacrificar a definição em suas imagens.

Instruções de Uso e Recomendações

• Se a LoRA que você está usando requer mais passos para obter um bom resultado, você pode aumentar a força da LoRA ou adicionar prompts positivos com palavras-chave como "hdr" para melhorar iluminação e detalhes, e prompts negativos como "flat color" para controlar saturação e sombras.

• Alternativamente, você pode reduzir a força da LoRA, o que permite usar escalas CFG mais altas sem super saturar a imagem. Contudo, como esta LoRA é projetada principalmente para escala CFG 1, a força ideal pode variar dependendo do seu caso de uso específico.

• Experimente tanto a força quanto a escala CFG para encontrar o equilíbrio ótimo para seu fluxo de trabalho e estilo desejado.