Qu'est-ce que DPO ?

DPO est Direct Preference Optimization, le nom donné au processus par lequel un modèle de diffusion est fine-tuné en se basant sur des images choisies par des humains. Meihua Dang et al. ont entraîné Stable Diffusion 1.5 et Stable Diffusion XL en utilisant cette méthode et le jeu de données Pick-a-Pic v2, disponible sur https://huggingface.co/datasets/yuvalkirstain/pickapic_v2, et ont rédigé un article à ce sujet sur https://huggingface.co/papers/2311.12908.

Que fait-il ?

Les modèles DPO entraînés ont été observés produire des images de meilleure qualité que leurs homologues non fine-tunés, avec un accent significatif sur l’adhérence du modèle à votre prompt. Ces LoRA peuvent apporter cette adhérence au prompt à d'autres modèles Stable Diffusion fine-tunés.

Qui a entraîné cela ?

Ces LoRA sont basés sur les travaux de Meihua Dang (https://huggingface.co/mhdang) à

https://huggingface.co/mhdang/dpo-sdxl-text2image-v1 et https://huggingface.co/mhdang/dpo-sd1.5-text2image-v1, sous licence OpenRail++.

Comment ces LoRA ont-ils été créés ?

Ils ont été créés en utilisant Kohya SS en les extrayant d'autres checkpoints sous licence OpenRail++ sur CivitAI et HuggingFace.

1.5 : https://civitai.com/models/240850/sd15-direct-preference-optimization-dpo extrait de https://huggingface.co/fp16-guy/Stable-Diffusion-v1-5_fp16_cleaned/blob/main/sd_1.5.safetensors.

XL : https://civitai.com/models/238319/sd-xl-dpo-finetune-direct-preference-optimization extrait de https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/sd_xl_base_1.0_0.9vae.safetensors

Ils sont également hébergés sur HuggingFace à https://huggingface.co/benjamin-paine/sd-dpo-offsets/