Nas profundezas de uma montanha vive um gigante adormecido, capaz de ajudar a humanidade ou causar destruição...

Um Colossus surge...

Após minha série SDXL, é hora da série FLUX deste Projeto... Desta vez, treinei tudo do zero. Para isso, usei minhas próprias imagens. Criei-as com meu modelo schnell Flux DemonFlux/Colossus Project schnell + meu SDXL Colossus Project 12 como refinador.

Este SD Flux-Checkpoint é capaz de produzir quase tudo... Colossus é muito bom em criar imagens extremamente realistas, anime e arte.

Se você gostar, fique à vontade para me dar um feedback. Se quiser me apoiar, pode fazer isso aqui. Gastei um bom dinheiro para montar um computador capaz de realmente treinar modelos Flux... Além disso, treinamento e testes demandam muito tempo e eletricidade...

https://ko-fi.com/afroman4peace

Versão V12 "Hephaistos"

Publicar este checkpoint me deixa feliz e triste ao mesmo tempo... V12 será o último checkpoint desta série... A principal razão são as próximas leis de IA da UE... Outra razão é a licença do Flux .1 DEV. Obrigado a todos pelo apoio! Dediquei muito tempo a este projeto no último ano. Agora é hora de seguir para outro projeto.

De qualquer forma... Vou terminar esta série em grande estilo...

V12 é baseado no V10B "BOB" mas basicamente tem as melhores partes desta série combinadas em um único checkpoint. (Foi resultado de um novo método de merge que levou cerca de 1h30 para mesclar e usou toda a minha RAM de 128GB). Também melhorei as texturas do rosto e pele em comparação ao V10. Os olhos estão muito mais realistas e "vivos" do que antes.

Teste você mesmo e me dê um feedback sobre o V12. "Graças" à minha conexão lenta de internet, primeiro vou fazer upload do FP8_UNET. Depois disso, a versão FP8 "all in one", e então o FP16_unet e FP16_BEHEMOTH. Também tentarei converter para int4 e fp4 (torçam por mim nessa questão)

Como sempre, me dê algum feedback sobre o V12...

Versão V12 "Behemoth" (AIO)

Este modelo "all in one" é o melhor da minha série V12... e claro, o maior em tamanho :-)

O Behemoth possui um T5xxl customizado e Clip_l embutidos no modelo. Se você prefere qualidade em vez de quantidade, este é o checkpoint para você!

Versão V12 FP4/int4

Obrigado a Muyang Li da Nunchakutech, que fez a quantificação do V12. https://huggingface.co/nunchaku-tech e seu incrível nunchaku!

Esta versão é realmente impressionante. Combina qualidade e velocidade como nunca visto antes.

ATENÇÃO!

Existem duas versões, FP4 e int4. FP4 é só para placas gráficas Nvidia série 50xx! Enquanto o int4 funciona com 40xx e inferiores. (você precisa de pelo menos uma placa da série 20xx)

Você também pode baixar ambas as versões diretamente aqui: https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

GUIA DE INSTALAÇÃO e FLUXO DE TRABALHO

Aqui está um guia rápido de instalação e fluxo de trabalho em andamento.

https://civitai.com/articles/17313

GUIA DETALHADO para o Fluxo de Trabalho

https://civitai.com/articles/17358

Estou ainda trabalhando nos meus novos fluxos para Nunchaku... portanto, o seguinte fluxo ainda está em WIP (work in progress). Adicionarei um artigo detalhado no fim de semana.

Versão V12 FP16_B_variant

Por um pequeno erro que cometi tarde da noite (2AM), renomeei e enviei o checkpoint "errado". É um checkpoint bem experimental, nunca foi para ser publicado. Não foi muito testado, mas teve ótimo desempenho quando criei a demonstração. Pode ser melhor que a versão padrão.

Ele tende a focar mais em rostos asiáticos... Isso porque eu queria testar algo para misturar num projeto paralelo que ainda estou desenvolvendo. Conte-me sua experiência com este checkpoint :-)

Versão V12 AIO FP8

Esta versão é uma versão all in one do V12. Isso significa que todos os clips estão embutidos. Ele dará a mesma saída que o FP8_unet com meu clip_l customizado.

Versão V12 GGUF Q5_1

Esta versão foi um pedido. A qualidade não é ruim...

Versão V10B "BOB"

Esta é uma versão alternativa do V10. Criei para melhorar a versão FP8 do V10. Em geral, a versão FP8 é mais precisa e as cores são melhores. Infelizmente, não tenho muito tempo ultimamente... (vida real vem primeiro). Por isso demorou tanto... Me avise se preferir esta versão. Também tenho uma versão FP16 do "BOB". Dependendo do feedback, considerarei publicar uma versão int4.

FLUXO DE TRABALHO:

Aqui está o fluxo para V12 e V10: https://civitai.com/articles/17163

Versão V10_int4_SVDQ "Nunchaku"

Antes de mais nada, quero agradecer ao theunlikely https://huggingface.co/theunlikely que converteu o FP16_Unet para int4_SVDQ. Visite a página dele e deixe um like.

Esta versão é mais ou menos igual à FP8. Mesmo no modo normal dentro do meu fluxo, esta coisa é cerca de 2X-3X mais rápida que o modelo regular... Com o "modo rápido" do fluxo, posso renderizar uma imagem 2MP em cerca de 19 segundos com minha 3090ti.

O que é o SVDQ "Nunchaku"?

Este novo método de quantificação permite encolher modelos Flux (neste caso um modelo nativo FP16) de 24GB para cerca de 6,7GB. Mas não é só isso: você pode gerar imagens mais rápido do que nunca sem perder muita qualidade. Claro que você verá uma pequena diferença em relação ao meu 32GB_Behemoth, mas para esta versão você vai precisar de muito mais VRAM/RAM para nem rodá-la.

Para mais informações visite: https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Instalação: Por favor, visite meu guia de fluxo/instalação: https://civitai.com/articles/15610

Versão V10 "Behemoth" (FP16_AIO)

Esta versão ainda é experimental. O foco principal foi obter resultados mais realistas. Também consegui reduzir algumas "Linhas Flux". Esta versão é baseada no Colossus Project V5.0_Behemoth, V9.0 e outro projeto que chamo "Ouroborus Project"

A versão FP16 é muito estável. Também estou lançando uma versão FP8 em breve. Esta versão também é boa, mas não tão estável...

Deixo você experimentar com ela... Diga o que pensa desta versão.

Divirta-se criando :-)

Versão V9.0:

Bem, tenho muito a explicar... Primeiro, por que é a V9.0?

Recentemente me mudei para um novo apartamento e, devido a alguns erros do provedor de internet, fiquei sem conexão real... Então, durante a mudança, deixei meu computador ligado. O resultado foi que criei muitos checkpoints (a maioria com erros). Tenho algumas versões muito boas do V8 que talvez publique também...

O que mudou?

Treinei novos rostos e texturas de pele no modelo, pegando basicamente os melhores resultados do V5.0. Também treinei pés/pernas para melhor anatomia. As versões V5.0 às vezes cortavam cabeça e pés... Acho que consegui corrigir alguns desses problemas...

Além disso, o treinei com mais das minhas próprias imagens de paisagens... E sim, fiz tudo isso enquanto me mudava... Acho que no total foram cerca de 2 semanas de computação, que não são nada baratas... (cada hora me custa cerca de 25 centavos em eletricidade)

De qualquer forma, espero que gostem desta versão... Se quiserem me apoiar: postem imagens legais ou até mesmo me deem gorjetas no Buzz ou no Ko-fi...

Diga o que acha :-)

Versão 5.0:

V5.0 é baseado no V4.2 e V4.4 (que será lançado em breve). Recebeu treino adicional em detalhes da pele e anatomia geral, que corrigiu coisas como mãos e mamilos. Os detalhes do rosto estão muito melhores. Também tentei corrigir algumas linhas flux menores...

Em geral, esta versão é mais realista que o V4.2 e melhor em detalhes menores... Como o V4.2, esta versão também é um modelo híbrido de-decolorido. Pode ser usado basicamente com as mesmas configurações do V4.2.

Aqui também está um novo fluxo para brincar: https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Diga o que acha desta versão comparada à 4.2 ou V2.1...

Versão 4.4 "Research":

Adicionei esta versão só para completar... É um pouco mais realista que o V4.2 e base para a versão 5.0. Você pode testá-la se quiser. Pode também usar o fluxo para V5.0 e V4.2...

Versão 4.2:

Esta versão é basicamente um desenvolvimento adicional do Demoncore Flux e Colossus Project Flux. O objetivo era obter um resultado mais estável, com melhores texturas de pele, mãos melhores e mais variedade de rostos. Então treinei num modelo híbrido que é parcialmente Demoncore Flux. Também melhorei mamilos e NSFW um pouco. Me diga se prefere o V4.2 à versão 2.1 :-)

Para as imagens da demonstração: só usei imagens nativas com resolução SDXL ou 2MP (por exemplo, 1216x1632). Este modelo pode lidar com resoluções ainda maiores... Testei este checkpoint até 2500x2500, mas recomendo algo em torno de 2000x2000.

Para as configurações, recomendo usar cerca de 30 passos e 2-2.5cfg. Uso geralmente 2.2 ou 2.3 no meu fluxo. Para a demonstração usei DPM++ 2M com Simple scheduler.

Vou adicionar mais versões em breve, mas não tenho muito tempo até o Natal...

Configurações

Vou adicionar em breve um novo fluxo dedicado para Comfy. Você pode baixar e abrir as imagens da demonstração por enquanto...

A "All in One" também funciona bem com Forge...

Basicamente funciona com as mesmas configurações do Version 2.1 (veja abaixo)

Use 20-30 passos com cerca de 2.2cfg...

Versão 2.1_de-distilled_experimental (MERGE)

Esta versão é completamente diferente e funciona de modo diferente de um modelo Flux normal!

É uma fusão experimental entre minha versão 2.0 e uma versão de-decolorida https://huggingface.co/nyanko7/flux-dev-de-distill. Isso aconteceu meio por acaso, mas os resultados são impressionantes. Você terá detalhes incríveis. Também segue muito bem os prompts... Então a próxima coisa que farei é treinar direto no modelo de-decolorido. Já fiz alguns testes de Loras com ele. É muito experimental, então me avise se encontrar erros não listados abaixo. Se tiver boas imagens, poste-as... poste também as ruins, isso pode ajudar a melhorar as coisas :-). Talvez eu também teste a versão 2.0 e me diga qual checkpoint combina melhor com você.

!Atenção!

O fluxo normal do Flux não funciona com esta versão. VOCÊ PRECISA baixar meu fluxo para ela!

Você também pode tentar descobrir algo sozinho, mas por favor, não me culpe por imagens ruins. Também é um modelo altamente experimental... veja as desvantagens abaixo...

Prós e contras deste checkpoint:

• Este checkpoint pode criar detalhes extremos... Isso tem um preço... É lento comparado aos checkpoints Flux normais. A vantagem é que geralmente você não precisa de um upscaling adicional. Em vez de usar o Flux Guidance, este modelo usa a escala cfg. O que também significa que não funcionará com fluxos padrão.

• Você pode usar prompts negativos! Isso ajuda a remover coisas da imagem que você não quer.

• Às vezes podem aparecer artefatos... Você pode resolver com um upscaling simples e pequeno (estou trabalhando nisso). Aqui está um exemplo... isso estranhamente não acontece com toda seed... ATUALIZAÇÃO: isso não é um problema do modelo em si... é mais do fluxo. Estou trabalhando numa correção para isso. Se isso acontecer, tente configurar o primeiro upscale para 1.14 em vez de 1.2.

  

  

Configurações e fluxo V2.1:

Aqui está o fluxo para ela: https://civitai.com/articles/8419

Configurações: diferente do Flux normal, ele não precisa da escala Flux Guidance. Use a cfg em vez disso. Eu geralmente uso 3 cfg para o fluxo... Algumas imagens podem requerer escalas cfg menores

o mais importante pode ser desligar a escala flux guidance...

Sem o fluxo, testei com 30 passos e 2-3cfg. Essa pode ser também a configuração para Forge. Experimente!

Recomendo usar a palavra "blurry" nos negativos

Sampler e scheduler:

Você pode escolher entre vários samplers que funcionam:

Euler, Heun, DPM++2m, deis, DDIM funcionam muito bem.

Eu uso principalmente "simple" como scheduler

Se encontrar configurações melhores, me avise.. :-)

Para Forge, recomendo usar o modelo AIO... aqui está um exemplo de configuração para Forge

Versão 2.0_dev_experimental

Bem... esta é uma versão experimental... O objetivo foi criar um modelo mais coerente e rápido. Treinei alguns loras próprios adicionais e depois uni os modelos resultantes de um modo especial (Tensor merge). Ele tem um T5xxl customizado que modifiquei com "Attention Seeker". Para ganhar velocidade e qualidade extra, uni o Hyper Flux lora da ByteDance. Isso significa que ele mudou a área de trabalho... Mostro o que isso significa... Aqui está a imagem principal do título...

16 passos V 2.0

30 passos V 1.0

Desvantagens:

Primeiro... Esta versão é um pouco maior que a anterior... Segundo, ainda preciso criar a versão somente Unet. Vou atualizar quando estiver pronta...

Configurações e fluxo V2.0:

Você pode rodar o modelo agora com menos passos... 16 passos equivalem a 30 passos do modelo antigo.

Ainda recomendo usar cerca de 20-30 passos porque isso geralmente traz mais qualidade.

Sampler: prefiro Euler com Simple scheduler. A orientação (guidance) pode ficar entre 1.5-3 (sinta-se livre para testar fora deste intervalo). Orientação de 1.8 ainda funciona bem para imagens realistas. Você pode também testar outros samplers. DPM++2M e Heun funcionam muito bem.

Fluxo 2.0:

Criei um novo fluxo para V2.0 e V1.0. Ele tem o novo Flux Prompt Generator. Além disso, o segundo estágio do upscaler está funcionando. https://civitai.com/articles/7946

Forge:

Testei este modelo com Forge e funcionou muito bem... As imagens podem variar entre Comfy UI e Forge...

Versão 1.0_dev_beta:

Este modelo é minha primeira entrada na série. Por favor, me dê um feedback e poste algumas imagens. Isso me ajuda a melhorar o projeto. Existem várias versões para escolher. O melhor modelo em qualidade é a versão FP16. Esta versão é muito grande e precisa de uma placa gráfica potente e muita RAM. A versão FP8 é a que considero um bom equilíbrio entre qualidade e desempenho. Se quiser a versão GGUF, faça o download da Q8_0. A versão GGUF Q4_0/4.1 foi um pedido. São menores, mas perde-se um pouco de qualidade.

Basicamente, existem dois tipos dos meus modelos: "All in one", que precisa só de um arquivo para baixar. Ele tem Clip_l, T5xxl fp8 e VAE embutidos. (veja abaixo). Coloque isso na sua pasta de checkpoints.

As outras versões são só UNET. Aqui você precisa carregar todos os arquivos separadamente.

Em qualquer caso, você precisa baixar meu Clip_L para que funcionem corretamente..

Também é importante escolher o clip T5xxl correto. Para a versão FP8, é o fp8_e4m3fn t5xxl clip. Para FP16, o clip FP16. Certifique-se de selecionar o tipo de peso padrão. (abaixo há uma imagem de exemplo para a versão fp8)

Para a versão GGUF, você precisa do carregador GGUF!

Algumas coisas conhecidas até agora sobre a V1.0:

Este é só o primeiro modelo da série, então pode ter dificuldades com alguns prompts ou estilos como arte. A próxima versão terá mais treino. Me informe das limitações do modelo...

Configurações e fluxo:

Testei com cerca de 30 passos, Euler com Simple scheduler. A orientação pode ficar entre 1.5-3 (sinta-se livre para testar fora deste intervalo)

A orientação de 1.8 funciona bem para imagens realistas.

Sinta-se livre para experimentar com estas configurações... Se conseguir bons resultados, poste-os.

Incluí as imagens da demonstração como dados de treino... Junto vem o fluxo para Comfy. Aqui está o fluxo para download: https://civitai.com/articles/7946

Modelo "All in one":

Somente UNET:

Você precisa baixar também o clip_L. É um arquivo de 240MB.

GGUF: Adicionei o fluxo para GGUF aqui: https://civitai.com/articles/7946

Importante:

O modelo dev não é para uso comercial. Para isso, vou publicar o modelo "schnell" em outro lugar. Ele é mais destinado a uso pessoal ou científico.

LICENÇA:

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Créditos:

theunlikely https://huggingface.co/theunlikel (obrigado novamente)

Versão 2.1/V4.2/5.0: Flux_dev_de-distill de nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Desde V2.0: Hyper Lora da ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest pelo incrível modelo Flux https://huggingface.co/black-forest-labs