RunDiffusion XL - bêta

Présentation de RunDiffusion XL Bêta !

RunDiffusion.com l’a fait de nouveau ! L'un des premiers modèles SDXL au monde !

Rejoignez notre Discord de 15 000 membres où nous vous aidons dans vos projets, discutons des meilleures pratiques, publions des mises à jour et des actualités passionnantes, et partageons les magnifiques œuvres que nous générons.

Pourquoi ? SDXL n’est-il pas déjà incroyable ?

Oui ! Nous pensons que c’est un pas en avant ! SDXL a un problème avec les personnes qui ont encore un aspect plastique, les yeux, les mains et les membres supplémentaires. Nous n’avons pas pu résoudre tous les problèmes (d’où cette version bêta), mais nous sommes proches ! Nous avons testé des centaines de prompts SDXL directement depuis Civitai.com (avec ComfyUI) pour vérifier que les pipelines étaient identiques et avons constaté que ce modèle produisait de meilleures images ! Voyez par vous-même ici.

Le modèle a tendance à privilégier les gros plans ou les « portraits rapprochés » plus que le corps entier, sauf indication explicite dans le prompt. Nous ne sommes pas sûrs que ce soit une fonctionnalité souhaitée. Nous sommes ouverts à vos retours à ce sujet.

Points forts

• Plus photoréaliste pour les animaux, voitures et personnes.

• Modèle différent, générations différentes. Essayez-le avec votre prompt préféré !

• Meilleurs portraits. SDXL a tendance à placer le sujet très loin. Ce modèle rapproche les choses.

• Les yeux et les mains sont un peu améliorés (d’après nos tests).

• Meilleur contrôle des prompts. Pensez à utiliser des virgules et à séparer sujets et styles !

Points faibles

• Encore quelques concepts donnant un aspect « plastique » (nourriture, mais merci de tester vos prompts et de nous en informer !)

• Peut parfois être trop « biaisé vers la personne »

• La créativité est un peu limitée. Cela peut être considéré comme un modèle « photoréaliste ». Mais encore une fois, TESTEZ !

• Biais vers les « voitures de sport » lol

Notez que RDXL suit un peu mieux le prompt. Lorsqu’on demande « buste », il tend à respecter cette consigne.

Comment utiliser

• Utilisez le prompt comme d’habitude. Séparez sujets et styles avec des virgules. Si vous n’obtenez pas ce que vous souhaitez, répétez le token dans le prompt à différents endroits. Par exemple, iron man made of lava, suit of armor infused with molten lava, ...etc. Si Iron Man n’apparaît pas dans votre génération, placez ce token ailleurs dans le prompt : iron man made of lava, suit of armor infused with molten lava, marvel iron man super hero ...etc

• Utilisez le refiner standard ou le refiner 1.0-0.9. https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/blob/main/sd_xl_refiner_1.0_0.9vae.safetensors

• Utilisez ComfyUI

Notre processus

Nous avons utilisé un petit dataset de 700 images et entraîné pendant 14k steps sur 20 epochs. Nous avons légendé manuellement chaque image pour être aussi descriptifs que possible. Il s’avère que SDXL est très réceptif à l’entraînement ! Les modifications apportées sont extrêmement enthousiasmantes. L’avenir s’annonce brillant pour SDXL !

Plans futurs

Nous voulons faciliter les générations, c’est pourquoi nous intégrons ComfyUI à la plateforme pour que vous puissiez simplement importer des images avec métadonnées et générer en un clic. C’est l’avenir du partage de workflows et nous remercions grandement /u/comfyanonymous pour son aide à la mise en place sur notre plateforme. Un merci spécial également à /u/Searge pour son travail remarquable sur SeargeSDXL. Nous adorons ce workflow ! (Pourrions-nous collaborer pour que les données de génération fonctionnent sur Civitai.com?)

Nous continuerons à travailler sur ce modèle à partir des retours que nous recevrons. Préparez-vous pour une version complète dans les semaines à venir.