SDXL / Flux.1 D - Negro Mate (Vanta) - Experimento - SDXL v3.0

Flux.1 D - V2.0

Último intento de hacerlo funcionar en Flux... y cuando digo hacerlo funcionar me refiero a estropear las cosas tanto como sea posible. Lo más probable es que nunca haga lo mismo que en la versión SDXL. Incluso después de 6000 pasos y solo por observación ya era bastante obvio. SDXL es como "ok, lo aprenderé, pero le daré mi propio toque" mientras que Flux lucha / compensa como loco contra cualquier cosa que no sabe qué hacer o qué exactamente quiero que aprenda. Por otro lado, después de un entrenamiento largo producirá totalmente esas imágenes y con fuerza, hasta el punto que copia los datos de entrenamiento 1:1 lo que resulta en casi negro puro. Flux puede copiar una imagen perfectamente, como fotos, incluso después de solo unos pocos pasos.

Como dije en la última versión de Flux, en su mayoría es algo que quiero mezclar con otras LoRA que son más coloridas o tienen un cierto estilo.

Las mismas imágenes que en SDXL v.3.0 con bastantes más añadidas para la versión Flux (algunas en formato paisaje). Pero... eliminé 3 imágenes que probablemente eran responsables de al menos el 80% de las imágenes publicadas por mí u otras personas. Eso era algo que quería hacer con la versión SDXL, pero decidí no hacerlo en ese momento. La razón es que esas imágenes eran demasiado dominantes causando mucho comportamiento extraño y un sesgo para crear imágenes específicas. Lo vi en la versión v.1.0 Flux y ahora desaparecieron. La popularidad probablemente sufrirá aquí, pero no me importa de todas formas.

Siento que mucha gente usa una LoRA en concreto porque está en su "pipeline", supongo. En algunos casos las imágenes hechas sin una LoRA se ven mejor y nunca lo sabrías. Las LoRA de estilo son algo diferente, porque agregan un estilo que es bastante evidente al generar imágenes. Sin embargo, esto aquí tiene mucho potencial para empeorar todo, por eso realmente no seleccioné cuidadosamente las imágenes que publiqué para mostrar a qué me refiero. Si añades algo que tenga un brillo fuerte o una fuente de luz como una vela, Flux (y algunos modelos SDXL) añade un ambiente oscuro por sí mismo, porque una fuente de luz siempre necesita algo de oscuridad para incluso ser perceptible (el faro de un coche en un día soleado no haría mucho).

Y ni siquiera preguntes si funciona en las versiones NF4 o QQUFUF 5.64.3255 K4 2 o quién sabe qué. El archivo no es tan grande para que puedas probarlo tú mismo. Mantendré mi distancia de cualquiera de esos modelos a menos que ofrezcan más beneficios sobre una versión Dev normal FP8/16 que solo un consumo de memoria menor y/o un aumento mínimo de velocidad (o peor, una disminución de velocidad).

Sé lo molesto que puede ser cuando alguien lanza una nueva versión de cualquier tipo de modelo en un corto período si acabas de acostumbrarte. No perseguiré más esta versión y simplemente veré si yo o alguien más sacamos algo útil de ella.

Además, la cantidad de trabajo para preparar las imágenes en Photoshop no vale la pena, especialmente si sabes que no cambiará nada. Mejor hago algo nuevo, o más probablemente estúpido, que sea interesante o cree efectos aleatorios... o simplemente "fluxificar" modelos antiguos para ver qué pasa.

Flux.1 D - V1.0

Después de experimentar un poco con Kohya y otros, para mi sorpresa, pruebas exitosas con LoRA de conceptos bastante extraños para Flux, pensé en probar este para ver si funciona. En realidad, no era mi objetivo obtener una versión Flux, ya que Flux hace un buen trabajo con el contraste (en su mayoría). Mi objetivo principal era deshacerme de ese aspecto artificial/falso temido y pensé que un conjunto de datos tan "indefinido" haría el truco. Bueno, a veces lo hace o lo empeora aún más.

Como la versión SDXL, es algo para usar más con otras LoRA, especialmente las que agregan mucho color.

Perdón por estar un poco perezoso con los prompts y las imágenes. Usé prácticamente lo mismo que en la V.3.0, pero debería servir para mostrar por ahora. A veces elimina detalles y no añade algo particularmente interesante (imagen de medusa, por ejemplo, o el loro).

• Misma semilla para imágenes correspondientes

• Las primeras 2 imágenes son con y sin LoRA, después se invierte, primero sin luego con LoRA (a veces con diferentes intensidades)

• Algunas tienen las palabras disparadoras al inicio, pero dudo que sean necesarias en Flux

• Basado en el dataset V1.0, no el nuevo (no quería usar demasiadas imágenes)

No estoy seguro si quiero hacer más LoRA para Flux, pero probaré bastante. Es realmente confuso con todas las versiones diferentes y no parece valer la pena invertir mucho tiempo en algo que podría quedar obsoleto en 10 horas.

Y, solo una nota al margen: esto se entrenó con una 4060 TI (16 GB), entre 14.4 y 15.2 GB de VRAM máxima, 3.95s/it - 5.15s/it, 512x, Rank 4... así que no se necesita una 4090 aquí. Por supuesto sería más rápido, pero si puedes iniciarlo y olvidarlo para hacer otra cosa mientras tanto no es un problema, a menos que quieras probar algo.

Como siempre, lo usaré de vez en cuando para ver si saco algo significativo de ello. Más probable que solo algo para satisfacer mi curiosidad.

V.3.0

Después de mi pequeño error con la v2.0 me aseguré de que esta vez sea algo real, sin combinaciones o lo que sea. Al principio estaba algo escéptico debido a la cantidad de imágenes añadidas, que se alejaría demasiado de la primera versión, pero afortunadamente no fue así.

Estoy realmente feliz de que mucha gente haya encontrado un uso para esta LoRA y haya hecho tantas imágenes. Considerando que nunca fue pensado para hacer lo que está haciendo ahora, es bastante bueno ver que tiene otro propósito o mejor dicho puede usarse para otra cosa (como todas las LoRA).

Probablemente (lo más probable) esta sea la última versión por un buen tiempo porque solo añadir más imágenes no cambiará el efecto principal. La mayoría se logra usando diferentes modelos, combinaciones de LoRA y prompts de todas formas.

Me centraré más en crear imágenes para encontrar más combinaciones (y para relajarme un poco), hacer nuevas LoRA extrañas, arreglar LoRA antiguas, etc. Además he descargado muchas otras cosas de otras personas y no he tenido oportunidad de usar la mayoría.

Gracias de nuevo por todas las imágenes compartidas hasta ahora y espero ver más, aunque cada LoRA tiene una vida útil en este sector tan rápido de la IA y el factor novedoso inevitablemente llegará a su fin. :)

V2.0

Pequeño anuncio para V2.0 (02.04 o 04.02 según el país supongo)

Bueno, oficialmente soy un idiota.

Empecé a entrenar otra LoRA cuando noté que no pasaba nada en las imágenes de muestra incluso después de 2000 pasos, lo cual es prácticamente imposible. Así que busqué por qué pasaba esto y vi una configuración que no había cambiado (o más bien no establecí correctamente) que es LR warmup. Normalmente no uso pasos de calentamiento, pero en lo que hice antes estaba probando qué hace realmente. Eso fue con un dataset de unas 4 imágenes. Siempre tengo una configuración de 100 Épocas, pero se configura para generar un modelo cada 500 pasos y no por época. El Warm Up estaba configurado al 32%, así que 4 imágenes x 10 repeticiones x 100 Épocas = 4000 pasos (32% warmup = 1280 pasos donde no pasa mucho realmente).

Ahora, esta LoRA tenía los mismos ajustes, solo con 60 imágenes (60 x 10 x 100 = 60000 - 32% warmup = 19,200 pasos)... así que incluso después de 12,000 pasos ni siquiera había comenzado, lo que significa que prácticamente entrené solo aire caliente. Explica mucho en realidad. Como me dormí no lo noté, aunque era un poco desconcertante que tardara tanto en tener efecto, lo que pensé se debía a las imágenes mismas.

Sí... así que esta es un fracaso y la mayoría de lo que hace es por la combinación con V1.0.

Lo entrenaré de nuevo el fin de semana cuando regrese del trabajo, esta vez con los ajustes correctos.

Lo siento mucho por esto. Quizás fue una broma involuntaria del Día de los Inocentes :) .... :(

Agregué algunas imágenes más porque lo he estado usando bastante últimamente y no he subido una nueva LoRA por un tiempo, lo que es básicamente una combinación de que tenía demasiado trabajo y elegí solo temas complicados y estresantes que también "tenían" que hacerse de la manera más enrevesada... todo lo demás sería aburrido.

Además, dediqué mucho tiempo a destripar Pony, lo cual me sorprende en algunos aspectos. Si dejas de lado todo lo furry, anime y porno general es casi más básico que el modelo Base XL, lo cual es bueno para añadir conceptos y estilos via entrenamiento LoRA, pero sabe cosas mucho más complejas como posicionamiento, emociones, ángulos raros, etc... pero esa es otra historia completamente diferente.

No sé cuánto más entrenaré este año. Quizás haga cosas más fáciles entre medio, pero quién sabe. La IA avanza rápido, así que tal vez haya novedades en un mes... o una semana.

• Probé la misma semilla y el mismo modelo con imágenes generadas previamente. El cambio es bastante sutil en algunos casos y extremo en otros (y ahora sé por qué: lee el anuncio)

• También disculpa por no hacer más variaciones en las imágenes mostradas. A veces preparar imágenes tarda más que entrenar la LoRA, pero en este caso no debería importar mucho. Más cosas vendrán naturalmente de todas formas.

V1.0

Intenté presionar un poco la IA para ver qué captaba con imágenes de entrenamiento que son casi completamente negras y solo tienen una forma tenue.

Fue casi imposible preparar el dataset en Photoshop porque prácticamente no veía nada. Claro, cada persona tiene configuraciones de monitor diferentes, etc., así que es difícil decir si esas imágenes realmente eran tan oscuras, pero me esforzó mucho la vista. Incluso ahora mirar las imágenes generadas es algo difícil, aunque no están tan oscuras como las de entrenamiento.

En realidad me sorprendió que el modelo captara algo. Lo dejaré de lado por ahora hasta que averigüe qué hacer con él. Ciertamente hace cosas extrañas. De alguna manera poner imágenes generadas en ControlNet IP-Adapter realza todo y produce resultados aleatorios.

Consejos para generar:

• No tengo ni idea... buena suerte.