Was ist DPO?

DPO steht für Direct Preference Optimization, der Name für den Prozess, bei dem ein Diffusionsmodell basierend auf von Menschen ausgewählten Bildern feinabgestimmt wird. Meihua Dang et. al. haben Stable Diffusion 1.5 und Stable Diffusion XL mit dieser Methode und dem Pick-a-Pic v2 Dataset trainiert, welches unter https://huggingface.co/datasets/yuvalkirstain/pickapic_v2 zu finden ist, und darüber eine Arbeit verfasst unter https://huggingface.co/papers/2311.12908.

Was bewirkt es?

Die trainierten DPO-Modelle haben sich als fähig erwiesen, Bilder mit höherer Qualität als ihre untrainierten Gegenstücke zu erzeugen, mit einem deutlichen Schwerpunkt auf die Einhaltung des Prompts durch das Modell. Diese LoRA können diese Prompt-Genauigkeit auf andere feinabgestimmte Stable Diffusion-Modelle übertragen.

Wer hat das trainiert?

Diese LoRA basieren auf den Arbeiten von Meihua Dang (https://huggingface.co/mhdang) bei

https://huggingface.co/mhdang/dpo-sdxl-text2image-v1 und https://huggingface.co/mhdang/dpo-sd1.5-text2image-v1, lizenziert unter OpenRail++.

Wie wurden diese LoRA erstellt?

Sie wurden mit Kohya SS erstellt, indem sie aus anderen OpenRail++ lizenzierten Checkpoints auf CivitAI und HuggingFace extrahiert wurden.

1.5: https://civitai.com/models/240850/sd15-direct-preference-optimization-dpo extrahiert von https://huggingface.co/fp16-guy/Stable-Diffusion-v1-5_fp16_cleaned/blob/main/sd_1.5.safetensors.

XL: https://civitai.com/models/238319/sd-xl-dpo-finetune-direct-preference-optimization extrahiert von https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/sd_xl_base_1.0_0.9vae.safetensors

Diese sind ebenfalls auf HuggingFace unter https://huggingface.co/benjamin-paine/sd-dpo-offsets/ verfügbar.