¿Qué es DPO?

DPO es Optimización Directa de Preferencias, el nombre dado al proceso mediante el cual un modelo de difusión se ajusta finamente basándose en imágenes seleccionadas por humanos. Meihua Dang y su equipo han entrenado Stable Diffusion 1.5 y Stable Diffusion XL usando este método y el conjunto de datos Pick-a-Pic v2, disponible en https://huggingface.co/datasets/yuvalkirstain/pickapic_v2, y publicaron un artículo al respecto en https://huggingface.co/papers/2311.12908.

¿Qué hace?

Se ha observado que los modelos DPO entrenados producen imágenes de mayor calidad que sus contrapartes no ajustadas, con un énfasis significativo en la adherencia del modelo a tu prompt. Estos LoRA pueden aportar esa adherencia al prompt a otros modelos de Stable Diffusion ajustados finamente.

¿Quién entrenó esto?

Estos LoRA están basados en los trabajos de Meihua Dang (https://huggingface.co/mhdang) en

https://huggingface.co/mhdang/dpo-sdxl-text2image-v1 y https://huggingface.co/mhdang/dpo-sd1.5-text2image-v1, con licencia OpenRail++.

¿Cómo se hicieron estos LoRA?

Fueron creados usando Kohya SS extrayéndolos de otros checkpoints con licencia OpenRail++ en CivitAI y HuggingFace.

1.5: https://civitai.com/models/240850/sd15-direct-preference-optimization-dpo extraído de https://huggingface.co/fp16-guy/Stable-Diffusion-v1-5_fp16_cleaned/blob/main/sd_1.5.safetensors.

XL: https://civitai.com/models/238319/sd-xl-dpo-finetune-direct-preference-optimization extraído de https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/sd_xl_base_1.0_0.9vae.safetensors

También están alojados en HuggingFace en https://huggingface.co/benjamin-paine/sd-dpo-offsets/