Profundamente bajo una montaña vive un gigante dormido, capaz de ayudar a la humanidad o crear destrucción...

Un Coloso se alza...

Después de mi serie SDXL es tiempo para la serie FLUX de este Proyecto... Esta vez entrené esto desde cero. Para el entrenamiento usé mis propias imágenes. Las he creado con mi modelo schnell Flux DemonFlux/Colossus Project schnell + mi SDXL Colossus Project 12 como refinador.

Este Flux-Checkpoint de SD es capaz de producir casi todo.. Colossus es muy bueno creando imágenes extremadamente realistas, anime y arte.

Si te gusta, no dudes en darme feedback. También si quieres apoyarme puedes hacerlo aquí. He gastado bastante dinero en construir una computadora capaz de entrenar modelos Flux realmente.. Además, entrenar y probar lleva mucho tiempo y electricidad..

https://ko-fi.com/afroman4peace

Versión V12 "Hephaistos"

Publicar este checkpoint me hace sentir feliz y triste al mismo tiempo.. V12 será el último checkpoint de esta serie.. La razón principal son las próximas leyes de IA de la UE... Otra razón es la licencia del propio Flux .1 DEV. ¡Gracias a todos por el apoyo! He invertido mucho tiempo en este Proyecto durante el último año. Ahora es tiempo de pasar a otro Proyecto.

De todas formas.. terminaré esta serie con broche de oro...

V12 está construido sobre V10B "BOB" pero básicamente tiene las mejores partes de esta serie fusionadas en este checkpoint. (Fue el resultado de un nuevo método de merge que tomó alrededor de 1:30 horas y usó toda mi RAM de 128GB). También mejoré las texturas de la cara y la piel en comparación con V10. Los ojos son mucho más realistas y "vívidos" que antes.

Pruébalo tú mismo y dame feedback sobre V12. "Gracias" a mi conexión lenta subiré primero el FP8_UNET. Después la versión FP8 "todo en uno" y luego el FP16_unet y FP16_BEHEMOTH. También trataré de convertirlo en int4 y fp4 (deséame suerte en ese asunto)

Como siempre dame feedback sobre V12..

Versión V12 "Behemoth" (AIO)

Este modelo "todo en uno" es el mejor de mi serie V12.. y el más grande en tamaño, por supuesto :-)

El Behemoth tiene un T5xxl personalizado y Clip_l integrado en el modelo. Si prefieres calidad sobre cantidad, este es el checkpoint para ti!

Versión V12 FP4/int4

Gracias a Muyang Li de Nunchakutech, quien hizo la cuantificación de V12. https://huggingface.co/nunchaku-tech y sus increíbles nunchaku!

Esta versión es realmente alucinante. Combina calidad con velocidad nunca vista antes.

¡ATENCIÓN!

Hay dos versiones FP4 e int4. FP4 es solo para tarjetas gráficas Nvidia 50xx. Mientras que int4 funciona con 40xx y anteriores. (Se necesita al menos una tarjeta gráfica serie 20xx)

También puedes descargar ambas versiones directamente aquí: https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

GUÍA DE INSTALACIÓN y FLUJO DE TRABAJO

Aquí tienes una guía rápida de instalación y un flujo de trabajo en progreso.

https://civitai.com/articles/17313

GUÍA DETALLADA para el Flujo de Trabajo

https://civitai.com/articles/17358

Sigo trabajando en mis nuevos flujos de trabajo para Nunchaku.. así que el siguiente flujo está muy en progreso (WIP). Añadiré un artículo detallado el fin de semana.

Versión V12 FP16_B_variant

Gracias a un pequeño error que cometí tarde en la noche (2AM) renombré y subí el checkpoint "equivocado". Es un checkpoint muy experimental, nunca se pensó para publicación. No está mucho probado pero funcionó muy bien para crear la muestra. Puede que sea mejor que la versión estándar.

Tiende a enfocarse más en rostros asiáticos.. Eso es porque quería probar algo para mezclar en un proyecto secundario en el que todavía trabajo. Cuéntame tu experiencia con este checkpoint :-)

Versión V12 AIO FP8

Esta versión es una versión todo en uno de V12. Esto significa que todos los clips están integrados. Ofrece la misma salida que el FP8_unet con mi clip_l personalizado.

Versión V12 GGUF Q5_1

Esta versión fue una solicitud. No es mala en calidad..

Versión V10B "BOB"

Esta es una versión alternativa de V10. La creé para mejorar la versión FP8 de V10. En general la versión FP8 es más precisa y los colores son mejores. Lamentablemente no tengo mucho tiempo últimamente (la vida real es prioridad). Por eso tomó tanto tiempo.. Avísame si prefieres esta versión. También tengo una versión FP16 de "BOB". Según el feedback consideraré publicar una versión int4.

FLUJO DE TRABAJO:

Aquí está el flujo de trabajo para V12 y V10: https://civitai.com/articles/17163

Versión V10_int4_SVDQ "Nunchaku"

Primero quiero agradecer a theunlikely https://huggingface.co/theunlikely que convirtió el FP16_Unet en int4_SVDQ. Visita su página y deja un like.

Esta versión es más o menos igual que la versión FP8. Incluso en modo normal dentro de mi flujo de trabajo, este es 2X-3X más rápido que el modelo regular.. Con el "modo rápido" del flujo puedo renderizar una imagen de 2MP en alrededor de 19 segundos con mi 3090ti.

¿Qué es SVDQ "Nunchaku"?

Este nuevo método de cuantificación permite reducir modelos Flux (en este caso un modelo nativo FP16) de 24GB a alrededor de 6.7GB. Pero no es todo: puedes generar imágenes más rápido que nunca sin perder mucha calidad. Claro, notarás una pequeña diferencia con mi 32GB_Behemoth, pero para este necesitarás mucho más VRAM/RAM para siquiera ejecutarlo.

Para más información visita: https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Instalación: Por favor visita mi guía de flujo/instalación: https://civitai.com/articles/15610

Versión V10 "Behemoth" (FP16_AIO)

Esta versión sigue siendo experimental. El foco principal fue obtener resultados más realistas. También logré reducir algunas "Líneas Flux". Esto se basa en Colossus Project V5.0_Behemoth, V9.0 y otro Proyecto que llamo "Ouroborus Project".

La versión FP16 es muy estable. También pronto liberaré una versión FP8. Esta versión también es buena pero no tan estable..

Te dejo que experimentes con ella.. Dime qué piensas de esta versión.

Diviértete creando :-)

Versión V9.0:

Bueno, tengo que explicar mucho.. Primero, ¿por qué es la V9.0?

Recientemente me mudé a un piso nuevo y debido a errores del proveedor de internet no tuve conexión real.. Así que mientras hacía la mudanza.. dejé el ordenador encendido. El resultado fue que creé muchos (la mayoría fallidos) checkpoints. Tengo unas buenas versiones V8 que quizá publique también..

¿Qué cambió?

Entrené nuevas texturas faciales y de piel tomando básicamente los mejores resultados de V5.0. También el modelo recibió entrenamiento en pies/piernas para mejor anatomía. Las versiones V5.0 a veces cortaban cabeza y pies.. Creo haber solucionado algunos de esos problemas..

Además lo entrené más con mis propias imágenes de paisajes.. Y sí, todo esto mientras me mudaba a un piso nuevo... El tiempo de entrenamiento total fue alrededor de 2 semanas de cálculo, lo que no es barato.. (cada hora me cuesta alrededor de 25 centavos en electricidad)

De todos modos espero que te guste esta versión.. Si quieres apoyarme: publica algunas imágenes bonitas o incluso déjame un tip en buzz o Kofi..

Dime qué te parece :-)

Versión 5.0:

V5.0 está basado en V4.2 y V4.4 (que también será lanzado pronto). Tiene entrenamiento adicional en detalles de piel y en anatomía general, lo que mayormente solucionó detalles de manos y pezones. Los detalles faciales están mucho mejor. También intenté arreglar algunas líneas menores de flux..

En general esta versión es más realista que la V4.2 y mejor en detalles pequeños.. Como V4.2, esta versión también es un modelo de-híbrido de destilación. Puedes usarlo básicamente con los mismos ajustes que V4.2.

Aquí también hay un nuevo flujo de trabajo para experimentar: https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Dime qué te parece esta versión comparada con 4.2 o V2.1..

Versión 4.4 "Research":

He añadido esta versión solo para completitud.. Es un poco más realista que V4.2 y la base de la Versión 5.0. Puedes probarla si quieres. También puedes usar el flujo de trabajo para V5.0 y V4.2..

Versión 4.2:

Esta versión es básicamente un desarrollo adicional de Demoncore Flux y Colossus Project Flux. El objetivo fue obtener un resultado más estable con mejores texturas de piel, manos mejoradas y mayor variedad de caras. Lo entrené en un modelo híbrido que es parcialmente Demoncore Flux. También mejoré los pezones y contenido NSFW un poco. Dime si prefieres V4.2 sobre la versión 2.1 :-)

Para las imágenes de muestra: solo usé imágenes nativas con resolución SDXL o 2MP (por ejemplo, 1216x1632). Este modelo puede manejar resoluciones aún mayores.. Probé este checkpoint hasta 2500x2500 pero solo recomiendo ir hasta unos 2000x2000.

Para la configuración recomiendo usar alrededor de 30 pasos y cfg de 2-2.5. Yo uso mayormente 2.2 o 2.3 en mi workflow. Para la muestra usé DPM++ 2M con scheduler Simple.

Agregaré más versiones pronto pero no tengo mucho tiempo antes de Navidad..

Ajustes

Pronto agregaré un workflow dedicado para Comfy más nuevo. Por ahora puedes descargar y abrir las imágenes de muestra..

La versión "All in One" también funciona bien con Forge..

Básicamente funciona con los mismos ajustes que la Versión 2.1 (ver abajo)

Usa 20-30 pasos con alrededor de 2.2cfg..

Versión 2.1_de-distilled_experimental (MERGE)

Esta versión es completamente diferente y funciona diferente a un modelo Flux normal!

Es un merge experimental entre mi versión 2.0 y una versión de-distillada https://huggingface.co/nyanko7/flux-dev-de-distill. Esto ocurrió un poco por accidente pero los resultados son impresionantes. Obtendrás detalles sorprendentes. También sigue muy bien los prompts... Así que lo siguiente que haré es entrenar directamente sobre el modelo de-distillado. Ya hice algunas pruebas con Loras con él. Esto es muy experimental así que por favor avísame si encuentras errores no listados abajo. Si tienes buenas imágenes publícalas.. también las malas, esto puede ayudar a mejorar :-). Quizá pruebe también la versión 2.0 y dime qué tipo de checkpoint te gusta más.

¡Atención!

El workflow Flux normal no funciona con esta versión. ¡NECESITAS descargar mi workflow para usarla!

Puedes probar algo por ti mismo pero no me culpes por imágenes malas. Además este es un modelo altamente experimental... revisa los pros y contras abajo..

Ventajas y desventajas de este checkpoint:

• Bueno, este checkpoint puede crear detalles extremos.. Esto tiene un costo.. Es lento comparado con los checkpoints Flux normales. La ventaja es que a menudo no necesitas un upscale adicional. En lugar de usar Flux Guidance este modelo usa escala cfg. Lo que también significa que no funcionará con workflows estándar.

• ¡Puedes usar Prompts negativos! Esto ayuda a eliminar cosas no deseadas de la imagen.

• A veces pueden aparecer artefactos.. Puedes solucionarlo con un escalado pequeño y simple (estoy trabajando en esto). Aquí un ejemplo.. esto raramente ocurre con cada semilla.. ACTUALIZACIÓN: Esto no es un problema del modelo en sí.. es más un problema del workflow.. Estoy trabajando en una solución. Si sucede prueba usar el primer upscale a 1.14 en lugar de 1.2.

  

  

Ajustes y flujo de trabajo V2.1:

Aquí está el flujo para ella: https://civitai.com/articles/8419

Ajustes: a diferencia del Flux normal no necesitas la escala Flux Guidance. Usa cfg en su lugar. Yo uso mayormente 3 cfg para el workflow.. Algunas imágenes pueden requerir escalas cfg menores

lo más importante puede ser apagar la escala flux guidance..

Sin el workflow la he probado con 30 pasos y 2-3cfg. Esto también podría ser para Forge. Prueba y experimenta aquí.

Recomiendo usar la palabra "blurry" en negativos

Sampler y scheduler:

Puedes elegir entre varios samplers que funcionan:

Euler, Heun, DPM++2m, deis, DDIM funcionan muy bien.

Yo usé mayormente "simple" como scheduler

Si encuentras mejores ajustes, dime.. :-)

Para Forge recomiendo usar el modelo AIO.. aquí un ejemplo de ajustes

Versión 2.0_dev_experimental

Bueno.. esta es una versión experimental.. El objetivo fue crear un modelo más coherente y rápido. Entrené algunos loras propios adicionales y luego fusioné los modelos resultantes de forma especial (Tensor merge). Tiene un T5xxl personalizado modificado con "Attention Seeker". Para ganar velocidad y calidad adicional integré el lora Hyper Flux de ByteDance. Esto significa que cambió el área de trabajo.. Te muestro lo que significa.. Aquí la imagen principal..

16 pasos V 2.0

30 pasos V 1.0

Desventajas:

Bueno primero.. Esta versión es un poco más grande que la anterior.. segundo aún tengo que crear la versión solo Unet. Actualizaré cuando esté lista..

Ajustes y flujo de trabajo V2.0:

Ahora puedes correr el modelo con menos pasos.. 16 pasos equivalen a 30 pasos del modelo anterior.

Sigo recomendando usar unos 20-30 pasos porque obtienes mejor calidad en la mayoría de casos.

Sampler: prefiero Euler con Simple como scheduler. La guía puede ajustarse del 1.5-3 (por supuesto prueba fuera de este rango). La guía de 1.8 sigue funcionando bien para imágenes realistas. También puedes probar otros samplers. DPM++2M y Heun también funcionan muy bien.

Flujo 2.0:

He creado un nuevo flujo para V2.0 y V1.0. Este tiene el nuevo generador de prompts Flux. Además funciona la segunda etapa de upscale. https://civitai.com/articles/7946

Forge:

También probé este modelo con Forge y funcionó muy bien.. Las imágenes pueden diferir ligeramente entre Comfy UI y Forge..

Versión 1.0_dev_beta:

Este modelo es mi primera entrada de la serie. Por favor dame feedback y publica algunas imágenes. Esto ayuda a mejorar el proyecto. Hay varias versiones para elegir. El mejor modelo en calidad es la versión FP16 Aunque la FP16 es gigante y requiere una tarjeta gráfica potente y mucha RAM. La versión FP8 es la que considero un buen equilibrio calidad-performance. Si quieres una versión GGUF descarga la Q8_0. La versión GGUF Q4_0/4.1 fue solicitada. Son pequeñas en tamaño pero se pierde algo de calidad.

Básicamente hay dos tipos de mis modelos: los "todo en uno" que sólo necesitan un archivo para descargar. Tienen el Clip_l, T5xxl fp8 y el VAE integrados. (ver más abajo). Colócalos dentro de tu carpeta checkpoints.

Las otras versiones son solo UNET-ONLY. Aquí debes cargar todos los archivos por separado.

En cualquier caso necesitas descargar mi Clip_L para que funcionen correctamente..

También es importante elegir el clip T5xxl correcto. Para la versión FP8 es el clip fp8_e4m3fn t5xxl. Para la FP16 es el clip FP16. Asegúrate de seleccionar el tipo por defecto. (más abajo hay una imagen ejemplo para la versión fp8)

Para la versión GGUF necesitas el cargador GGUF!

Algunos aspectos conocidos por ahora respecto a V1.0:

Este es sólo el primer modelo de la serie así que por el momento podría tener problemas con algunos prompts o estilos artísticos. La siguiente versión tendrá más entrenamiento. Dime qué cosas no puede hacer el modelo..

Ajustes y flujo de trabajo:

Lo probé con alrededor de 30 pasos, Euler con Simple como scheduler. La guía puede ajustarse del 1.5-3 (por supuesto prueba fuera de este rango)

La guía de 1.8 funciona bien para imágenes realistas.

Siéntete libre de experimentar con estos ajustes.. Si obtienes buenos resultados, por favor publícalos.

He añadido las imágenes de muestra como datos de entrenamiento.. Dentro está el flujo para Comfy. Aquí el flujo para descargar: https://civitai.com/articles/7946

Modelo "todo en uno":

Sólo UNET:

Necesitas descargar también el clip_L. Es el archivo de 240MB.

GGUF: He añadido aquí el flujo para GGUF: https://civitai.com/articles/7946

Importante:

El modelo dev no está pensado para uso comercial. Para eso publicaré el modelo "schnell" en otro lugar. Está más pensado para uso personal o científico.

LICENCIA:

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Créditos:

theunlikely https://huggingface.co/theunlikel (gracias de nuevo)

Versión 2.1/V4.2/5.0: Flux_dev_de-distill de nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Desde V2.0: Hyper Lora de ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest por su increíble modelo Flux https://huggingface.co/black-forest-labs