Muy profundo bajo una montaña vive un gigante dormido, capaz de ayudar a la humanidad o crear destrucción...

Surge un Colossus...

Después de mi serie SDXL, es tiempo para la serie FLUX de este proyecto... Esta vez entrené esta cosa desde cero. Para entrenar usé mis propias imágenes. Las creé con mi modelo schnell Flux DemonFlux/Colossus Project schnell + mi SDXL Colossus Project 12 como refinador.

Este checkpoint SD Flux es capaz de producir casi todo... Colossus es muy bueno creando imágenes extremadamente realistas, anime y artísticas.

Si te gusta, siéntete libre de darme tu opinión. También, si deseas apoyarme puedes hacerlo aquí. He gastado una buena cantidad de dinero para construir una computadora capaz de entrenar modelos Flux.. Además el entrenamiento y las pruebas toman mucho tiempo y electricidad..

https://ko-fi.com/afroman4peace

Versión V12 "Hephaistos"

Publicar este checkpoint me hace sentir feliz y triste al mismo tiempo.. V12 será el último checkpoint de esta serie.. La razón principal son las próximas leyes europeas sobre IA... Otra razón es la licencia del propio Flux .1 DEV. ¡Gracias a todos por el apoyo! He invertido mucho tiempo en este proyecto durante el último año. Ahora es momento de avanzar a un proyecto diferente.

De todas formas.. terminaré esta serie de manera destacada...

V12 está basado en V10B "BOB" pero integra básicamente las mejores partes de esta serie fusionadas en un solo checkpoint. (Fue el resultado de un nuevo método de fusión que tardó aproximadamente 1:30h y usó toda mi memoria RAM de 128GB). También mejoré las texturas de la cara y piel comparado con V10. Los ojos son mucho más realistas y más "vivos" que antes.

Pruébalo tú mismo y dame feedback sobre V12. "Gracias" a mi conexión a internet lenta, primero subiré el FP8_UNET. Después la versión FP8 "todo en uno" y luego el FP16_unet y FP16_BEHEMOTH. También intentaré convertirlo a int4 y fp4 (deséame suerte con eso).

Como siempre, dame tu comentario sobre V12..

Versión V12 "Behemoth" (AIO)

Este modelo "todo en uno" es lo mejor de mi serie V12... y el más grande en tamaño, claro :-)

Behemoth tiene un T5xxl personalizado y Clip_l integrados dentro del modelo. Si prefieres calidad sobre cantidad, este es el checkpoint para ti!

Versión V12 FP4/int4

Gracias a Muyang Li de Nunchakutech, quien hizo la cuantificación de V12. https://huggingface.co/nunchaku-tech y sus increíbles nunchaku!

Esta versión es realmente impresionante. Combina calidad con una velocidad nunca vista antes.

¡ATENCIÓN!

Existen dos versiones, FP4 y int4. FP4 es solo para tarjetas gráficas Nvidia 50xx. Int4 funciona con 40xx y versiones inferiores (se requiere al menos una GPU serie 20xx).

También puedes descargar ambas versiones directamente aquí: https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

GUÍA DE INSTALACIÓN y FLUJO DE TRABAJO

Aquí tienes una guía rápida de instalación y un flujo de trabajo en progreso.

https://civitai.com/articles/17313

GUÍA DETALLADA para el flujo de trabajo

https://civitai.com/articles/17358

Sigo trabajando en nuevos flujos para Nunchaku... así que este flujo aún está muy en desarrollo. Añadiré un artículo detallado el fin de semana.

Versión V12 FP16_B_variant

Gracias a un pequeño error que cometí tarde en la noche (2 AM) renombré y subí el checkpoint "equivocado". Es un checkpoint muy experimental que nunca se pensó publicar. No ha sido mucho probado pero tuvo un desempeño muy bueno cuando creé la muestra. Puede ser mejor que la versión estándar.

Tiende hacia rostros más asiáticos... Esto porque quería experimentar mezclando un proyecto paralelo en el que sigo trabajando. Cuéntame tu experiencia con este checkpoint :-)

Versión V12 AIO FP8

Esta versión es una versión todo en uno de V12. Significa que todos los clips están integrados. Ofrece la misma salida que el FP8_unet con mi clip_l personalizado.

Versión V12 GGUF Q5_1

Esta versión fue una solicitud. No es mala en calidad..

Versión V10B "BOB"

Esta es una versión alternativa de V10. La creé para mejorar la versión FP8 de V10. En general, la versión FP8 es más precisa y los colores son mejores. Lamentablemente no he tenido mucho tiempo últimamente.. (la vida real es prioritaria). Por eso tomó tanto tiempo.. Déjame saber si prefieres esta versión. También tengo una versión FP16 de "BOB". Según el feedback consideraré publicar una versión int4.

FLUJO DE TRABAJO:

Aquí está el flujo para V12 y V10: https://civitai.com/articles/17163

Versión V10_int4_SVDQ "Nunchaku"

Primero quiero agradecer a theunlikely https://huggingface.co/theunlikely quien convirtió el FP16_Unet en int4_SVDQ. Visita su página y déjale un like.

Esta versión es más o menos igual a la versión FP8. Incluso en modo normal dentro de mi flujo esta versión es unas 2X-3X más rápida que el modelo regular.. Con el "modo rápido" del flujo puedo renderizar una imagen de 2MP en unos 19 segundos con mi 3090ti.

¿Qué es SVDQ "Nunchaku"?

Este nuevo método de cuantificación permite reducir modelos Flux (en este caso un modelo nativo FP16) de 24GB a unos 6.7GB. Pero no es todo: puedes generar imágenes más rápido que nunca sin perder mucha calidad. Claro, notarás una pequeña diferencia con mi 32GB_Behemoth pero para este modelo necesitarías mucho más VRAM/RAM para poder ejecutarlo.

Para más información visita: https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Instalación: Por favor visita mi guía de flujo/instalación: https://civitai.com/articles/15610

Versión V10 "Behemoth" (FP16_AIO)

Esta versión sigue siendo experimental. El enfoque principal era obtener resultados más realistas. También logré reducir algunas "líneas Flux". Esto está basado en Colossus Project V5.0_Behemoth, V9.0 y otro proyecto que llamo "Ouroborus Project"

La versión FP16 es muy estable. También voy a lanzar una versión FP8 pronto. Esa versión también es buena pero no tan estable..

Dejo que experimentes con ella... Cuéntame qué piensas de esta versión.

Diviértete creando :-)

Versión V9.0:

Tengo mucho que explicar.. Primero, ¿por qué es incluso V9.0?

Recientemente me mudé a un apartamento nuevo y debido a errores del proveedor de internet no tuve conexión real.. Así que mientras hacía la mudanza, dejé mi computadora funcionando. El resultado fue que creé muchos checkpoints (la mayoría defectuosos). Tengo algunas versiones V8 muy buenas que también podría publicar..

¿Qué cambió?

Entrené nuevas texturas de rostro y piel basadas en los mejores resultados de V5.0. También el modelo recibió entrenamiento para pies y piernas para mejor anatomía. Las versiones V5.0 a veces recortaban cabeza y pies.. Creo que logré arreglar algunos de esos problemas..

Además entrené con más de mis propias imágenes de paisajes.. Y sí, lo hice todo mientras me mudaba.. El tiempo total de entrenamiento fue de unas 2 semanas, lo que no es barato.. (cada hora me cuesta alrededor de 25 centavos en electricidad).

En fin, espero que te guste esta versión.. Si quieres apoyarme: publica algunas imágenes bonitas o incluso una propina en buzz o en Kofi..

Cuéntame qué te parece :-)

Versión 5.0:

V5.0 está basado en V4.2 y V4.4 (que también serán lanzadas pronto). Recibió entrenamiento adicional en detalles de piel y anatomía general que principalmente corrigió partes como manos y pezones. Los detalles faciales son mucho mejores. También intenté corregir algunas líneas flux menores..

En general esta versión es más realista que V4.2 y mejor en detalles pequeños.. Como V4.2, esta versión también es un modelo híbrido des-destilado. Puedes usarlo con configuraciones similares a V4.2.

Aquí tienes un nuevo flujo de trabajo para probar: https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Cuéntame qué te parece esta versión comparada con 4.2 o V2.1..

Versión 4.4 "Research":

Agregué esta versión solo para completar.. Es ligeramente más realista que V4.2 y la base para V5.0. Puedes probarla si quieres. También puedes usar el flujo de trabajo para V5.0 y V4.2..

Versión 4.2:

Esta versión es básicamente un desarrollo adicional de Demoncore Flux y Colossus Project Flux. El objetivo era obtener un resultado más estable con mejores texturas de piel, mejores manos y mayor variedad de rostros. Así que la entrené en un modelo híbrido que es en parte Demoncore Flux. También mejoré un poco pezones y NSFW. Dime si prefieres V4.2 sobre la versión 2.1 :-)

Para las imágenes de muestra: usé solo imágenes nativas con resolución SDXL o 2MP (por ejemplo 1216x1632). Este modelo puede manejar resoluciones aún mayores.. Probé este checkpoint hasta 2500x2500 pero recomiendo alrededor de 2000x2000.

Para la configuración recomiendo usar cerca de 30 pasos y cfg de 2-2.5. Yo suelo usar 2.2 o 2.3 en mi flujo. Para la muestra usé DPM++ 2M con programador Simple.

Agregaré más versiones pronto pero no tengo mucho tiempo antes de Navidad..

Configuraciones

Pronto agregaré un dedicado nuevo flujo para Comfy. Puedes descargar y abrir las imágenes de muestra por ahora..

La versión "todo en uno" también funciona bien con Forge..

Básicamente funciona con las mismas configuraciones que la Versión 2.1 (ver abajo)

Dale 20-30 pasos con aproximadamente 2.2 cfg..

Versión 2.1_de-distilled_experimental (FUSIÓN)

¡Esta versión es completamente diferente y funciona distinto a un modelo Flux normal!

Es una fusión experimental entre mi versión 2.0 y una versión des-destilada https://huggingface.co/nyanko7/flux-dev-de-distill. Fue un poco accidente pero los resultados son impresionantes. Obtienes detalles asombrosos. También sigue extremadamente bien los prompts... Lo siguiente que haré es entrenar directamente sobre el modelo des-destilado. Ya he hecho algunas pruebas con Loras. Esto es muy experimental así que por favor dime si encuentras errores que no están listados abajo. Si tienes buenas imágenes publícalas.. también las malas, esto puede ayudar a mejorar :-). También probaré la versión 2.0 y dime qué tipo de checkpoint te convence más.

¡Atención!

El flujo normal Flux no funciona con esta versión. ¡NECESITAS descargar mi flujo para ella!

También puedes ingeniártelas, pero no me culpes por imágenes malas. Además es un modelo altamente experimental... revisa abajo las desventajas..

Ventajas y desventajas de este checkpoint:

• Este checkpoint puede crear detalles extremos.. esto tiene un precio.. es lento comparado con checkpoints normales Flux. La ventaja es que a menudo no necesitas escalado adicional. En lugar de usar Flux Guidance, este modelo usa la escala cfg, lo que significa que no funciona con flujos estándar.

• ¡Puedes usar prompts negativos! Esto ayuda a eliminar elementos indeseados de la imagen.

• A veces aparecen artefactos.. Puedes solucionarlo con un pequeña y simple escalado (estoy trabajando en ello). Aquí un ejemplo.. esto pasa extrañamente no con todas las semillas.. ACTUALIZACIÓN: No es un problema del modelo, sino del flujo.. estoy trabajando en una solución. Si ocurre, prueba ajustar el primer escalado a 1.14 en vez de 1.2.

  

  

Configuraciones y flujo de trabajo V2.1:

Aquí puedes encontrar el flujo para ella: https://civitai.com/articles/8419

Configuraciones: a diferencia del flujo normal Flux, no necesita la escala Flux Guidance. Usa la cfg en su lugar. Yo uso 3 cfg en el flujo.. Algunas imágenes pueden requerir cfg más bajos.

Lo más importante puede ser apagar la escala Flux Guidance..

Sin el flujo, la he probado con 30 pasos y 2-3 cfg. Estas podrían ser las configuraciones para Forge. Experimenta.

Recomiendo usar la palabra "blurry" en negativos

Sampler y programador:

Puedes elegir de varios samplers funcionales:

Euler, Heun, DPM++2m, deis, DDIM funcionan muy bien.

Yo mayormente uso "simple" como programador

Si encuentras mejores configuraciones dime.. :-)

Para Forge recomiendo usar el modelo AIO.. aquí un ejemplo de configuración para Forge

Versión 2.0_dev_experimental

Bueno.. esta es una versión experimental.. El objetivo era crear un modelo más coherente y rápido. Entrené algunos Loras propios adicionales y luego fusioné los modelos resultantes de manera especial (fusión Tensor). Tiene un T5xxl personalizado modificado con "Attention Seeker". Para ganar velocidad y calidad adicional, fusioné el lora Hyper Flux de ByteDance. Esto significó que desplazó el área de trabajo.. Te muestro qué significa esto.. Aquí la imagen principal del título..

16 pasos V 2.0

30 pasos V 1.0

Desventajas:

Primero.. esta versión es un poco más grande que la anterior.. segundo, aún tengo que crear la versión solo Unet. Actualizaré cuando esté lista..

Configuraciones y flujo de trabajo V2.0:

Ahora puedes usar el modelo con menos pasos.. 16 pasos equivalen a 30 pasos del modelo antiguo.

Aún recomiendo usar alrededor de 20-30 pasos porque te dará mejor calidad en la mayoría de casos.

Sampler: Prefiero Euler con Simple como programador. La guía puede establecerse de 1.5 a 3 (pruébalo fuera de este rango, claro). La guía de 1.8 funciona bien para imágenes realistas. También puedes probar otros samplers. DPM++2M y Heun funcionan muy bien.

Flujo 2.0:

He creado un flujo nuevo para V2.0 y V1.0. Tiene el nuevo generador de prompts Flux. Adicionalmente, el segundo escalado funciona. https://civitai.com/articles/7946

Forge:

También he probado este modelo con Forge y funcionó muy bien.. Las imágenes pueden variar entre Comfy UI y Forge..

Versión 1.0_dev_beta:

Este modelo es mi primera entrada en la serie. Por favor, dame feedback y sube algunas imágenes. Esto me ayuda a mejorar el proyecto. Hay varias versiones para elegir. El mejor modelo en calidad es la versión FP16. La versión FP16 es enorme y necesitará una GPU potente y mucha RAM. La versión FP8 es la que considero una buena solución entre calidad y rendimiento. Si quieres una versión GGUF descarga la Q8_0. La versión GGUF Q4_0/4.1 fue una solicitud. Son pequeñas pero pierdes algo de calidad.

Básicamente hay dos tipos de modelos: los "todo en uno" que solo requieren un archivo para descargar. Incluyen Clip_l, T5xxl fp8 y el VAE integrados. (mira más abajo). Colócalos en tu carpeta de checkpoints.

Las otras son solo UNET. Aquí debes cargar todos los archivos por separado.

En cualquier caso necesitas descargar mi Clip_L para que funcionen correctamente..

También es importante elegir el T5xxl clip correcto. Para la versión FP8 es el clip fp8_e4m3fn t5xxl. Para FP16 es el clip FP16. Asegúrate de seleccionar el tipo de peso predeterminado. (más abajo hay una imagen de ejemplo para la versión fp8)

Para la versión GGUF necesitas el cargador GGUF!

Algunas cosas conocidas por ahora sobre V1.0:

Este es solo el primer modelo de la serie así que puede que tenga problemas con algunos prompts o estilos como arte. La próxima versión tendrá más entrenamiento. Dime qué no puede hacer el modelo..

Configuraciones y flujo:

Lo he probado con cerca de 30 pasos, Euler con Simple como programador. La guía puede configurarse entre 1.5 y 3 (pruébalo fuera de este rango con precaución).

La guía de 1.8 funciona bien para imágenes realistas.

Siéntete libre de experimentar con estas configuraciones.. Si obtienes buenos resultados, publiquelos.

He añadido las imágenes de muestra como datos de entrenamiento.. Incluye el flujo para Comfy. Aquí el enlace para descargar el flujo: https://civitai.com/articles/7946

Modelo "Todo en uno":

Solo UNET:

Necesitas descargar también el clip_L. Es un archivo de 240MB.

GGUF: He añadido el flujo para GGUF aquí: https://civitai.com/articles/7946

Importante:

El modelo dev no está pensado para uso comercial. Para eso publicaré el modelo "schnell" en otro lugar. Está más pensado para uso personal o científico.

LICENCIA:

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Créditos:

theunlikely https://huggingface.co/theunlikel (gracias otra vez)

Versión 2.1/V4.2/5.0: Flux_dev_de-distill de nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Desde V2.0: Hyper Lora de ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest por su increíble modelo Flux https://huggingface.co/black-forest-labs