Anti-blur Flux Lora - v1.0

¡AntiBlur Lora ha sido significativamente mejorado!

Mejoras en la nueva Lora:

• La DoF puede ajustarse con el peso de la Lora.

Un peso de 0 dará una DoF superficial, típica en las generaciones de Flux.

Un peso por defecto de 1.0 reducirá la DoF para obtener una imagen (esperablemente) más agradable, sin cambios significativos en el estilo y la composición. El objetivo era conseguir que la DoF con peso 1.0 sea exactamente como se espera: un bokeh menor acertado aquí y allá, sin exageraciones como suele ocurrir con Flux (más adelante se explica).

Un peso superior a 1.0 puede usarse para realizar tomas con DoF profunda. La Lora puede manejar pesos hasta 3.0 y más sin degradación significativa de calidad.

• Estilísticamente neutral

El conjunto de datos se creó con cientos de imágenes generadas con Flux, para no alejar demasiado el estilo del modelo original, mientras que se usó un pequeño número de fotos reales para evitar que Flux se degradara en la composición (lo que pasa cuando entrenas IA con sus propias imágenes).

• Funciona bien con Hires. fix

Esta Lora funciona bien con hiresfix, lo que permite aumentar aún más los detalles y minimizar la DoF superficial. Esto no ocurría con Flux básico, porque al intentar aplicar hires.fix a una imagen desenfocada con DoF superficial, ésta permanecía desenfocada con el mismo efecto de DoF. Solo necesitas que comiencen a aparecer detalles en la imagen para que hires.fix los mejore más.

• Sin necesidad de palabras desencadenantes

Solo conecta la Lora y hará el trabajo.

• Muchos menos artefactos

El uso de imágenes generadas con Flux minimiza los artefactos. También entrené muchos modelos y realicé una fusión de los mejores, usando herramienta proporcionada por anashel (esto suavizó los bordes de los modelos individuales que causaban artefactos. Además, la fusión resultó especialmente útil para hacer el modelo más diverso estilísticamente).

¿Por qué la Lora pesa 655mb?

Me pareció que una Lora con efecto «DoF profundo» debería ser pequeña, ya que no introduce un nuevo estilo o concepto, solo tiene que eliminar la DoF superficial.

Probé diferentes rangos de Lora, pero resultó que la información sobre los fondos está presente en todo el espacio latente, y cuanto más grande es el modelo, mejores resultados ofrece. Por eso me decidí por la Lora de rango 128.

Es posible aislar las capas de la Lora y usar solo las capas con información de DoF, pero resultó que la información de DoF está dispersa en la mayoría de las capas. Por ejemplo, al generar tomas macro, la DoF se genera en las primeras capas. La información que aparece en los fondos está realmente en todo el modelo, y la DoF superficial constante es simplemente como eran los datos de entrenamiento para Flux. Para empeorar las cosas, Flux tiene una comprensión realmente pobre del concepto de DoF y desenfoque. Así que no solo está presente en mucha mayor cantidad que SD1.5/SDXL, sino que también ofrece un control mucho peor sobre ello que SD1.5/SDXL.

¿Cómo se hizo esta Lora?

Primero reuní un gran conjunto de datos con técnicas de apilamiento de enfoque y DoF profunda; con esto entrené una nueva Lora. Luego, usando esta Lora, creé imágenes para un nuevo conjunto de datos.

Obtuve varios cientos de variantes de la Lora "antiblur", seleccioné las mejores, cada una con sus ventajas, y las combiné en un modelo bien equilibrado.

¿Qué sigue?

Dado que mientras mayor es el rango, mejor es la calidad, la forma obvia de mejorar el resultado sería entrenar un ajuste fino completo (y tocar cada rincón del espacio latente, donde hay información relacionada con fondos) y luego extraer la Lora.

Otra opción teórica es encontrar el concepto/pesos de "desenfoque" o "dof" en el espacio latente de Flux, y crear una Lora con pesos invertidos. Sin embargo, este método no fue muy efectivo para el control de DoF en modelos basados en SD.

Por ahora estoy satisfecho con el resultado. Este modelo seguirá siendo mi mejor esfuerzo por un tiempo.