Cuerpo transparente | Experimental - v1.0 - Normal

v2.4

Gracias a @Foredev por el consejo, financió una gran cantidad de experimentación. Esta versión finalmente produce resultados que me gustan más que la v1, pero tengo curiosidad por saber qué opinan todos ustedes sobre cómo se compara en su uso.

Promover características específicas al máximo, como expresiones faciales, puede dominar el efecto transparente. Reducir el peso del prompt, por ejemplo "(smile:0.7)", puede producir resultados que interpolan exitosamente entre ambos conceptos.

v2.3

He intentado sin éxito mejorar el modelo. Esta versión carece de algunos de los antiguos artefactos pero es menos consistente produciendo el efecto. Si voy a gastar todo este tiempo entrenando modelos malos, al menos podría liberar uno para que lo prueben. Tal vez le encuentren un uso.

v1 - Grande

El mismo conjunto de datos que v1 - Normal en un lora que es el doble de grande. Los resultados parecen prometedores, pero agradecería sus comentarios.

v1 - Normal (Recomendado)

Con un conjunto de datos mejorado, los resultados mejoran. Todavía hay una fuerte influencia de estilo que sesga los resultados hacia un estilo anime y los fondos muestran sobreajuste. El efecto funciona mejor cuando el fondo es un patrón repetitivo (como paredes de piedra, caminos de concreto) o incluye elementos que se extienden a través del sujeto (ventanas, bordes, etc.). Aunque no fue etiquetado para esto, agregar "cabeza transparente" puede mejorar la transparencia de la cabeza cuando se usa además de "cuerpo transparente".

Agregar etiquetas como "ropa transparente" en el negativo puede lograr un estilo de chica más invisible. Algunos problemas también pueden resolverse agregando "tatuaje" en el negativo.

v0

Prueba de concepto: Esta es una prueba de concepto para entrenar un concepto sobre imágenes sintéticas y modificadas. El conjunto de datos inicial fue muy pequeño y el modelo resultante está sobreentrenado pero muestra indicios de comprensión del concepto.

Explicación del método

v0 y v1 fueron entrenados completamente con datos sintéticos creados generando un sujeto y un fondo independientemente y luego componiendo un sujeto semitransparente sobre un fondo usando software de edición de imágenes.

Este enfoque tiene una desventaja obvia: los dos componentes no están bien integrados. ¿Entonces cómo crear un sujeto de cuerpo completo orientado correctamente al ángulo de vista del fondo? Mi solución fue recurrir a mi herramienta favorita, el lineart controlnet.
El prompt inicial fue:

1girl, standing, full body, turning around, looking back, long blonde hair, red jacket, blue jeans, park, grass, bench, concrete path, masterpiece, best quality, amazing detail, high definition

Que luego podría modificarse para el sujeto aislado:

1girl, standing, full body, turning around, looking back, long blonde hair, red jacket, blue jeans, simple background, masterpiece, best quality, amazing detail, high definition

y un prompt de fondo:

no humans, park, grass, bench, concrete path, masterpiece, best quality, amazing detail, high definition

Enmascarar el sujeto se vuelve mucho más fácil con un fondo simple. Luego puede superponerse como un sujeto transparente sobre un fondo completamente detallado. Incluso usando un modelo que no entendía "cuerpo transparente" todavía pudimos crear datos sintéticos de entrenamiento para que pudiera aprenderlo. ¡Muy ingenioso!

Antes de esto no tenía ni idea si este era un enfoque viable. Los resultados, aunque no increíbles, son mejores de lo que esperaba.