RunDiffusion XL - beta

Apresentando RunDiffusion XL Beta!

RunDiffusion.com fez isso de novo! Um dos primeiros Modelos SDXL do mundo!

Junte-se ao nosso Discord com 15 mil membros onde ajudamos você com seus projetos, falamos sobre melhores práticas, postamos atualizações e novidades emocionantes e compartilhamos a arte incrível que geramos.

Por quê? O SDXL já não é incrível?

Sim! Sentimos que este é um avanço! O SDXL tem um problema com pessoas ainda parecendo plásticas, olhos, mãos e membros extras. Não conseguimos resolver todos os problemas (por isso a beta), mas estamos perto! Testamos centenas de prompts SDXL diretamente do Civitai.com (usando ComfyUI) para garantir que os pipelines fossem idênticos e descobrimos que este modelo realmente produz imagens melhores! Veja você mesmo aqui.

O modelo tende a favorecer close-ups ou "retratos" mais do que o corpo inteiro, a menos que você peça explicitamente. Não temos certeza se isso é uma característica desejada. Aceitamos feedbacks sobre isso.

Pontos fortes

• Mais foto-realista para animais, carros e pessoas.

• Modelo diferente, gerações diferentes. Experimente com seu prompt favorito!

• Retratos melhores. SDXL gosta de colocar o sujeito bem distante. Este traz o foco para mais perto.

• Olhos e mãos um pouco melhores (segundo nossos testes)

• Controle melhor do prompt. Certifique-se de usar vírgulas e separar sujeitos e estilos!

Pontos fracos

• Ainda há alguns conceitos que parecem "plásticos" (como comida, mas por favor teste seus prompts e nos informe!)

• Pode ser às vezes muito "tendencioso para pessoas"

• A criatividade é um pouco limitada. Poderia ser considerado um modelo "Foto-realista". Mas, novamente, TESTE!

• Tendência para "carros esportivos" rs

Note que o RDXL segue o prompt um pouco melhor. Ao pedir "tronco", ele tende a seguir isso.

Como usar

• Use o prompt normalmente. Use vírgulas para separar sujeitos e estilos. Se não conseguir o resultado desejado, repita o token no prompt em diferentes posições. Exemplo: homem de ferro feito de lava, armadura infundida com lava derretida, ...etc se não aparecer o Homem de Ferro na geração, coloque o token em outro lugar, `homem de ferro feito de lava, armadura infundida com lava derretida, marvel homem de ferro super herói ...etc`

• Use o refiner padrão ou o refiner 1.0-0.9. https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/blob/main/sd_xl_refiner_1.0_0.9vae.safetensors

• Use ComfyUI

Nosso processo

Usamos um pequeno conjunto de dados de 700 imagens e treinamos por 14 mil passos em 20 épocas. Legendando manualmente tudo para ser o mais descritivo possível. Descobrimos que o SDXL é bastante receptivo ao treinamento! As mudanças que conseguimos fazer se mostram extremamente animadoras. O futuro do SDXL é brilhante!

Planos futuros

Queremos facilitar as gerações, então estamos trazendo o ComfyUI para a plataforma para que você possa simplesmente importar imagens com metadados e gerar com um clique. Este é o futuro do compartilhamento de fluxo de trabalho e somos muito gratos ao /u/comfyanonymous pela ajuda em fazer isso funcionar em nossa plataforma. Também um agradecimento especial ao /u/Searge pelo trabalho incrível no SeargeSDXL. Amamos esse fluxo de trabalho! (Será que podemos trabalhar para fazer os dados de geração funcionarem no Civitai.com?)

Continuaremos trabalhando neste modelo conforme o feedback que recebermos. Prepare-se para um lançamento completo nas próximas semanas.