SDXL / Flux.1 D - Negro Mate (Vanta) - Experimento - SDXL v1.0

Flux.1 D - V2.0

Último intento para hacerlo funcionar en Flux... y por hacer que funcione me refiero a estropear las cosas tanto como sea posible. Probablemente nunca hará lo mismo que hizo la versión SDXL. Incluso después de 6000 pasos y solo con la observación fue bastante obvio. SDXL es más como “ok, lo aprenderé, pero le daré mi propio giro” mientras Flux lucha / compensa como loco contra cualquier cosa que no sabe qué hacer o qué exactamente quiero que aprenda. Por otro lado, tras un entrenamiento largo, definitivamente producirá esas imágenes y de forma intensa, hasta el punto de copiar los datos de entrenamiento 1/1 lo que resulta casi en negro puro. Flux puede copiar una imagen perfectamente, como fotos, incluso después de unos pocos pasos.

Como dije en la última versión de Flux, en su mayoría es algo que quiero mezclar con otros LoRA que sean más coloridos o que tengan un estilo determinado.

Mismas imágenes que SDXL v.3.0, con varias más añadidas para la versión Flux (algunas en formato paisaje). Pero... removí 3 imágenes que probablemente eran responsables por al menos el 80% de las imágenes publicadas por mí u otras personas. Eso era algo que quería hacer con la versión SDXL, pero en ese momento decidí no hacerlo. La razón es que esas imágenes eran demasiado dominantes causando mucho comportamiento extraño y un sesgo para crear imágenes específicas. Lo vi en la versión v.1.0 de Flux y ahora ya no están. Probablemente la popularidad se verá afectada, pero no me importa.

Siento que mucha gente usa un LoRA solo porque está en su "flujo de trabajo" supongo. En algunos casos, imágenes hechas sin un LoRA se ven mejor y nunca lo sabrías. Los LoRA de estilo son algo diferente, porque añaden un estilo que se nota bastante al generar imágenes. Esto, sin embargo, tiene mucho potencial para empeorar todo, por eso no seleccioné con cuidado las imágenes que he publicado, solo para mostrar a qué me refiero. Si añades algo que tenga un resplandor fuerte o una fuente de luz como una vela, Flux (y algunos modelos SDXL) añade un entorno oscuro por sí solo, porque una fuente de luz siempre necesita algo de oscuridad para ser visible (el faro de un coche en un día soleado no hará mucho).

Y ni siquiera preguntes si funciona en NF4 o QQUFUF versión 5.64.3255 K4 2 o quién sabe qué. El archivo no es tan grande, así que puedes probarlo tú mismo. Mantendré distancia de cualquiera de esos modelos a menos que ofrezcan más beneficios que una versión normal Dev en FP8/16 que sólo reduzca el consumo de memoria y/o aumente ligeramente la velocidad (o peor, que la disminuya).

Sé lo molesto que puede ser que alguien lance una nueva versión de cualquier tipo de modelo en poco tiempo si recién te acostumbras a él. No seguiré con este y sólo veré si yo u otra persona obtiene algo útil de él.

Además, la cantidad de trabajo para preparar las imágenes en Photoshop no vale la pena, especialmente sabiendo que no cambiará nada. Prefiero hacer algo nuevo, o más probablemente estúpido, que sea interesante o cree efectos aleatorios... o simplemente fluxificar modelos antiguos para ver qué pasa.

Flux.1 D - V1.0

Tras algunos experimentos con Kohya y otros, y para mi sorpresa, pruebas exitosas con LoRAs conceptuales bastante extraños para Flux, pensé en probar este para ver si funcionaba. En realidad, no era mi objetivo conseguir una versión Flux, ya que Flux funciona bastante bien con el contraste (en su mayoría). Mi objetivo principal era deshacerme de ese aspecto artificial / falso que tanto detesto y pensé que un conjunto de datos tan "indefinido" haría el truco. Bueno, a veces lo hace o lo empeora aún más.

Como la versión SDXL, es más algo para usarse con otros LoRA, especialmente aquellos que añaden mucho color.

Perdón por ser un poco perezoso con los prompts e imágenes. Usé casi lo mismo que en V.3.0, pero debería servir para mostrarlo por ahora. A veces elimina detalles y no añade algo particularmente interesante (por ejemplo la imagen de la medusa o del loro).

• Misma semilla para las imágenes correspondientes

• Las primeras 2 imágenes son con y sin LoRA, después se invierte, primero sin luego con LoRA (a veces con distintas intensidades)

• Algunas tienen palabras disparadoras al principio, pero dudo que sean necesarias en Flux

• Basado en el conjunto de datos V1.0, no en el nuevo (no quería usar demasiadas imágenes)

No estoy seguro si quiero hacer más LoRA para Flux, pero probaré bastante. Está realmente confuso en este momento con todas las diferentes versiones y no siento que valga la pena invertir mucho tiempo en algo que podría quedar obsoleto 10 horas después.

Y, solo una nota al margen: Esto fue entrenado con una 4060 TI (16 GB), entre 14.4 y 15.2 GB de uso máximo de VRAM, 3.95s/iteración - 5.15s/iteración, 512x, Rank 4.... así que no se necesita una 4090 aquí. Por supuesto sería más rápido, pero si puedes lanzar la tarea y olvidarte mientras haces otra cosa no es realmente un problema, a menos que quieras probar algo.

Como siempre, lo usaré de vez en cuando para ver si puedo sacar algo útil. Probablemente solo para saciar mi curiosidad.

V.3.0

Después de mi pequeño error con la v2.0, me aseguré de que esta vez es el verdadero modelo, sin fusiones ni nada. Al principio estaba algo escéptico por la cantidad de imágenes añadidas, temía que se desviara demasiado de la primera versión, pero afortunadamente no fue así.

Estoy realmente feliz de que mucha gente haya encontrado utilidad a este LoRA y haya hecho tantas imágenes. Considerando que nunca fue pensado para hacer lo que está haciendo ahora, es bonito ver que tiene otro propósito o que puede usarse para otra cosa (como todos los LoRA).

Probablemente esta sea la última versión por un buen tiempo, porque añadir más imágenes no cambiará el efecto principal. La mayoría del efecto se logra usando distintos modelos, combinaciones de LoRA y prompts de todos modos.

Me concentraré más en crear imágenes para encontrar más combinaciones (y para relajarme un poco), hacer LoRA raros nuevos, arreglar LoRA viejos, etc. También he descargado muchas cosas de otras personas y no he tenido oportunidad de usar casi ninguna.

Gracias nuevamente por todas las imágenes posteadas hasta ahora y espero ver más, aunque todo LoRA tiene un tiempo de vida útil en este sector de IA tan rápido y el factor novedad inevitablemente llegará a su fin. :)

V2.0

Pequeño anuncio sobre la V2.0 (02.04 o 04.02 dependiendo de tu país, supongo)

Bueno, oficialmente soy un idiota.

Empecé a entrenar otro LoRA cuando noté que no pasaba nada en las imágenes de muestra incluso después de 2000 pasos, lo cual es prácticamente imposible. Busqué la razón y vi un ajuste que no cambié (o en este caso no puse en la configuración correcta), que era el LR warmup. Normalmente no uso warmup steps, pero para una prueba anterior estuve viendo qué hacía. Eso fue con un conjunto de unos 4 imágenes. Siempre tengo un setting de 100 Epochs, pero configurado para sacar un modelo cada 500 pasos, no por epoch. Warm Up estaba en 32%, así que 4 imágenes x 10 repeticiones x 100 Epochs = 4000 pasos (32% warmup = 1280 pasos donde realmente no pasa mucho).

Ahora, este LoRA tenía los mismos ajustes, pero con 60 imágenes (60 x 10 x 100 = 60000 - 32% warmup = 19200 pasos)... así que, incluso después de 12000 pasos ni siquiera había empezado, lo que significa que entrené puro aire. De hecho explica mucho. Como me quedé dormido no me di cuenta, aunque fue desconcertante que tardara tanto en hacer efecto, lo cual pensé que era por las imágenes mismas.

Sí... así que este es un fracaso y la mayor parte de lo que hace es por fusión con V1.0.

Lo entrenaré nuevamente el fin de semana cuando vuelva del trabajo, esta vez con la configuración correcta.

Lo siento mucho por esto. Tal vez fue una broma de April Fools no intencional :) .... :(

Añadí unas pocas imágenes más porque lo he estado usando mucho últimamente y no subía un LoRA nuevo hace tiempo, lo cual es una combinación de que tengo mucho trabajo y de escoger temas complicados y estresantes que también "deben" hacerse de la forma más enrevesada... todo lo demás sería aburrido.

Además, dediqué mucho tiempo a desarmar Pony, lo que me sorprende en algunos aspectos. Si descartas todo lo furry, anime y pornografía general es casi más básico que el modelo Base XL, lo que es bueno para añadir conceptos y estilos mediante el entrenamiento del LoRA, pero sabe cosas mucho más complejas como posicionamiento, emociones, ángulos raros, etc... pero esa es otra historia completamente diferente.

No sé cuánto más entrenamiento haré este año. Quizás haga algunas cosas más sencillas entre medio, pero quién sabe. La IA avanza rápido, así que puede que haya algo nuevo en un mes... o una semana.

• Probé la misma semilla y el mismo modelo con imágenes generadas previamente. El cambio es sutil en algunos casos y extremo en otros (y ahora sé por qué: lee el anuncio)

• También disculpa por no hacer más variaciones en las imágenes mostradas. A veces toma más tiempo preparar imágenes que entrenar el LoRA, pero en este caso no debería importar mucho. Más cosas vendrán naturalmente de todos modos.

V1.0

Intenté forzar un poco la IA para ver si captaba algo en imágenes de entrenamiento que son casi completamente negras y sólo tienen una forma débil.

Fue casi imposible preparar el conjunto de datos en Photoshop porque prácticamente no veía nada. Por supuesto que cada persona tiene diferentes configuraciones de monitor, etc., así que es difícil decir si esas imágenes eran realmente tan oscuras, pero me causaron mucho esfuerzo visual. Incluso ahora mirar las imágenes generadas es algo difícil, aunque no son tan oscuras como las imágenes de entrenamiento.

De hecho me sorprendió que el modelo detectara algo. Lo dejaré de lado por ahora hasta que decida qué hacer con él. Sin duda hace cosas extrañas. De alguna forma, meter imágenes generadas en ControlNet IP-Adapter realza todo y produce resultados aleatorios.

Consejos para generar:

• No tengo ni idea... buena suerte.