Cos'è DPO?

DPO è Direct Preference Optimization, il nome dato al processo mediante il quale un modello di diffusione viene finemente ottimizzato basandosi su immagini scelte dall'uomo. Meihua Dang et al. hanno addestrato Stable Diffusion 1.5 e Stable Diffusion XL usando questo metodo e il dataset Pick-a-Pic v2, disponibile su https://huggingface.co/datasets/yuvalkirstain/pickapic_v2, e hanno scritto un documento a riguardo su https://huggingface.co/papers/2311.12908.

Cosa Fa?

I modelli DPO addestrati hanno dimostrato di produrre immagini di qualità superiore rispetto ai loro corrispettivi non ottimizzati, con un significativo focus sull'aderenza del modello al tuo prompt. Queste LoRA possono apportare questa aderenza al prompt ad altri modelli Stable Diffusion finemente ottimizzati.

Chi li ha Addestrati?

Queste LoRA si basano sui lavori di Meihua Dang (https://huggingface.co/mhdang) su

https://huggingface.co/mhdang/dpo-sdxl-text2image-v1 e https://huggingface.co/mhdang/dpo-sd1.5-text2image-v1, con licenza OpenRail++.

Come Sono State Create queste LoRA?

Sono state create usando Kohya SS estraendole da altri checkpoint con licenza OpenRail++ su CivitAI e HuggingFace.

1.5: https://civitai.com/models/240850/sd15-direct-preference-optimization-dpo estratto da https://huggingface.co/fp16-guy/Stable-Diffusion-v1-5_fp16_cleaned/blob/main/sd_1.5.safetensors.

XL: https://civitai.com/models/238319/sd-xl-dpo-finetune-direct-preference-optimization estratto da https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/sd_xl_base_1.0_0.9vae.safetensors

Questi sono anche ospitati su HuggingFace a https://huggingface.co/benjamin-paine/sd-dpo-offsets/