Nas profundezas sob uma montanha vive um gigante adormecido, capaz tanto de ajudar a humanidade quanto de causar destruição...

Um Colosso desperta...

Após minha série SDXL, é hora da série FLUX deste Projeto... Desta vez, treinei isso do zero. Para o treinamento, usei minhas próprias imagens. Eu as criei com meu modelo schnell Flux DemonFlux/Colossus Project schnell + meu SDXL Colossus Project 12 como refinador.

Este SD Flux-Checkpoint é capaz de produzir quase tudo... Colossus é muito bom em criar imagens extremamente realistas, anime e arte.

Se você gostar, sinta-se à vontade para me dar algum feedback. Também, se quiser me apoiar, pode fazer isso aqui. Gastsei uma boa quantia para montar um computador capaz de realmente treinar modelos Flux... Além disso, treinamento e testes também demandam muito tempo e eletricidade...

https://ko-fi.com/afroman4peace

Versão V12 "Hephaistos"

Publicar este checkpoint me deixa feliz e triste ao mesmo tempo... V12 será o último checkpoint desta série... A principal razão são as futuras leis da UE sobre IA... Outra razão é a licença do Flux .1 DEV propriamente dita. Obrigado a todos pelo apoio! Dediquei muito tempo a este Projeto no último ano. Agora é hora de seguir para um projeto diferente.

De qualquer forma... vou encerrar esta série com chave de ouro...

V12 é construído sobre V10B "BOB", mas basicamente possui as melhores partes desta série mescladas em um único checkpoint. (Foi resultado de um novo método de merge que levou cerca de 1h30 para realizar e consumiu toda a minha RAM de 128GB). Também melhorei as texturas do rosto e pele em comparação com o V10. Os olhos estão muito mais realistas e "vivos" do que antes.

Teste você mesmo e me dê feedback sobre o V12. "Graças" à minha conexão lenta de internet, primeiro vou enviar o FP8_UNET. Depois, a versão FP8 "all in one" e então o FP16_unet e FP16_BEHEMOTH. Também tentarei convertê-lo em int4 e fp4 (torça por mim).

Como sempre, me dê algum feedback sobre o V12...

Versão V12 "Behemoth" (AIO)

Este modelo "all in one" é o melhor da minha série V12... e o maior em tamanho, é claro :-)

O Behemoth tem um T5xxl customizado e Clip_l incorporados dentro do modelo. Se você prefere qualidade em vez de quantidade, este é o checkpoint ideal!

Versão V12 FP4/int4

Graças a Muyang Li da Nunchakutech, que fez a quantificação do V12. https://huggingface.co/nunchaku-tech e seus incríveis nunchaku!

Esta versão é realmente impressionante. Combina qualidade com velocidade como nunca antes vista.

ATENÇÃO!

Existem duas versões: FP4 e int4. FP4 é apenas para placas gráficas Nvidia 50xx! Enquanto int4 funciona com 40xx e inferiores. (você precisa de pelo menos uma placa gráfica da série 20xx)

Você também pode baixar ambas as versões diretamente aqui: https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

GUIA DE INSTALAÇÃO e FLUXO DE TRABALHO

Aqui está um guia rápido de instalação e fluxo de trabalho em desenvolvimento.

https://civitai.com/articles/17313

Estou ainda trabalhando nos meus novos fluxos de trabalho para Nunchaku... então o fluxo a seguir ainda está muito em desenvolvimento (work in progress). Adicionarei um artigo detalhado no fim de semana.

Versão V12 FP16_B_variant

Por um pequeno erro que cometi tarde da noite (2AM), renomeei e enviei o checkpoint "errado". É um checkpoint muito experimental, nunca pensado para ser publicado. Não foi muito testado, mas teve um desempenho muito bom quando criei a vitrine. Pode ser melhor que a versão padrão.

Ele tende a favorecer rostos asiáticos... Isso porque queria testar algo para misturar em um projeto paralelo em que ainda estou trabalhando. Me conte sua experiência com este checkpoint :-)

Versão V12 AIO FP8

Esta versão é uma versão all in one da V12. Isso significa que todos os clips estão incorporados nela. Ela fornecerá a mesma saída que o FP8_unet com meu clip_l customizado.

Versão V12 GGUF Q5_1

Esta versão foi um pedido. A qualidade não é ruim...

Versão V10B "BOB"

Esta é uma versão alternativa do V10. Criei esta para melhorar a versão FP8 do V10. Em geral, a versão FP8 é mais precisa e as cores são melhores. Infelizmente não tenho muito tempo recentemente... (vida real vem primeiro). Por isso demorou tanto... Me avise se preferir esta versão. Também tenho uma versão FP16 do "BOB". Dependendo do feedback, considero publicar uma versão int4.

FLUXO DE TRABALHO:

Aqui está o fluxo de trabalho para V12 e V10: https://civitai.com/articles/17163

Versão V10_int4_SVDQ "Nunchaku"

Primeiro quero agradecer a theunlikely https://huggingface.co/theunlikely que converteu o FP16_Unet para int4_SVDQ. Visite a página dele e deixe um like.

Essa versão é mais ou menos igual a versão FP8. Mesmo no modo normal dentro do meu fluxo, isso é cerca de 2 a 3 vezes mais rápido que o modelo regular... Com o "modo rápido" do fluxo posso renderizar uma imagem 2MP em cerca de 19 segundos com minha 3090ti.

O que é SVDQ "Nunchaku"?

Este novo método de quantificação permite reduzir os modelos Flux (neste caso um modelo nativo FP16) de 24GB para cerca de 6,7GB. Mas não é só isso: você pode gerar imagens mais rápido do que nunca sem perder muita qualidade. Claro, você notará uma pequena diferença comparado ao meu 32GB_Behemoth, mas para este modelo você precisaria de muito mais VRAM/RAM para rodar.

Para mais informações visite: https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Instalação: Por favor, visite meu guia de instalação/fluxo de trabalho: https://civitai.com/articles/15610

Versão V10 "Behemoth" (FP16_AIO)

Esta versão ainda é experimental. O foco principal foi obter resultados mais realistas. Também consegui reduzir algumas "Linhas Flux". Esta versão é baseada no Colossus Project V5.0_Behemoth, V9.0 e outro projeto que chamo de "Ouroborus Project".

A versão FP16 é muito estável. Também vou lançar uma versão FP8 em breve. Esta é boa, mas menos estável...

Deixo você experimentar. Me diga o que achou desta versão.

Divirta-se criando :-)

Versão V9.0:

Bem, preciso explicar muita coisa... Primeiro, por que é V9.0?

Recentemente me mudei para um novo apartamento e, devido a erros do provedor de internet, fiquei sem conexão real... Então, enquanto fazia a mudança, deixei meu computador ligado. O resultado foi que criei muitos checkpoints (a maioria quebrados). Tenho algumas boas versões V8 que talvez publique...

O que mudou?

Treinei novos rostos e texturas de pele no modelo, usando basicamente os melhores resultados do V5.0. Também treinei pés/pernas para melhor anatomia. As versões V5.0 às vezes cortavam a cabeça e os pés... Creio que corrigi alguns desses problemas.

Além disso, treinei com mais imagens paisagísticas próprias... E sim, fiz tudo isso enquanto me mudava... O tempo total de treinamento foi cerca de 2 semanas de computação, o que não é barato... (cada hora me custa cerca de 25 centavos em eletricidade).

De qualquer forma, espero que gostem da versão... Se quiser apoiar: poste imagens bonitas ou até me dê uma gorjeta via buzz ou Ko-fi.

Me diga o que achou :-)

Versão 5.0:

V5.0 é baseada no V4.2 e V4.4 (que também será lançada em breve). Recebeu treinamento adicional em detalhes da pele e anatomia geral, que corrigiu problemas como mãos e mamilos. Os detalhes do rosto estão melhores. Também tentei corrigir algumas linhas flux menores...

Em geral, esta versão é mais realista que V4.2 e melhor com detalhes menores... Como a V4.2, este é um modelo híbrido de-distilled. Pode ser usado basicamente com as mesmas configurações da V4.2.

Aqui também tem um novo Fluxo de Trabalho para experimentar: https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Me diga o que acha desta versão comparada à 4.2 ou V2.1...

Versão 4.4 "Research":

Adicionei esta versão só para completar... É ligeiramente mais realista que a V4.2 e base da versão 5.0. Você pode testar se quiser. Pode usar o fluxo de trabalho para V5.0 e V4.2 também.

Versão 4.2:

Esta versão é basicamente um desenvolvimento adicional do Demoncore Flux e Colossus Project Flux. O objetivo era obter resultados mais estáveis com melhores texturas de pele, mãos melhores e mais variedade de rostos. Treinei com um modelo híbrido parcialmente Demoncore Flux. Também realcei os mamilos e conteúdo NSFW um pouco. Me diga se prefere V4.2 à versão 2.1 :-)

Para as imagens da vitrine: usei apenas imagens nativas com resolução SDXL ou 2MP (exemplo 1216x1632). Este modelo pode trabalhar com resoluções ainda maiores.. Testei este checkpoint até 2500x2500, mas recomendo por volta de 2000x2000.

Para as configurações recomendo cerca de 30 passos e 2-2.5 cfg. Normalmente uso 2.2 ou 2.3 no fluxo de trabalho. Na vitrine usei DPM++ 2M com Simple scheduler.

Em breve adicionarei mais versões, mas não tenho muito tempo antes do Natal...

Configurações

Em breve adicionarei um novo fluxo de trabalho dedicado para Comfy. Por enquanto, você pode baixar e abrir as imagens da vitrine.

A "All in One" versão também funciona bem com Forge...

Basicamente funciona com as mesmas configurações da versão 2.1 (veja abaixo)

Use de 20-30 passos com cerca de 2.2 cfg...

Versão 2.1_de-distilled_experimental (MERGE)

Esta versão é completamente diferente e funciona diferente de um modelo Flux normal!

É uma fusão experimental entre minha versão 2.0 e uma versão de-distilled https://huggingface.co/nyanko7/flux-dev-de-distill. Isso aconteceu meio por acaso, mas os resultados são incríveis. Você terá detalhes impressionantes. Também segue as instruções muito bem... Próximo passo é treinar diretamente no modelo de-distilled. Já fiz alguns testes de Loras com ele. É altamente experimental, então por favor me avise se encontrar erros que não estão listados abaixo. Se tiver boas imagens poste-as.. poste também as ruins, isso ajuda a melhorar :-) Talvez eu teste também a versão 2.0, me diga qual checkpoint combina melhor com você.

!Atenção!

O fluxo de trabalho Flux normal não funciona com esta versão. VOCÊ PRECISA baixar meu fluxo de trabalho para ela!

Você também pode tentar algo por conta própria, mas por favor, não me culpe por imagens ruins. Também é um modelo altamente experimental... veja as desvantagens abaixo...

Vantagens e Desvantagens deste checkpoint:

• Bem, este checkpoint pode criar detalhes extremos... Isso tem um custo... É lento comparado aos checkpoints Flux normais. A vantagem é que frequentemente não precisa de upscale adicional. Em vez de usar Flux Guidance, este modelo usa escala cfg, o que também significa que não funciona com fluxos de trabalho padrão.

• Você pode usar Instruções negativas! Isso ajuda a remover coisas indesejadas da imagem.

• Às vezes podem aparecer artefatos... Você pode resolver isso com um pequeno e simples upscale (estou trabalhando nisso). Aqui está um exemplo... isso estranhamente não acontece com todas as seeds... ATUALIZAÇÃO: Não é problema do modelo em si... mas do fluxo de trabalho... Estou trabalhando em uma correção. Se acontecer, tente definir o primeiro upscale para 1.14 em vez de 1.2.

  

  

Configurações e Fluxo de Trabalho V2.1:

Aqui está o fluxo de trabalho para ela: https://civitai.com/articles/8419

Configurações: diferente do Flux normal não precisa do Flux Guidance scale. Use a cfg. Eu geralmente uso cfg 3 para o fluxo... Algumas imagens podem requerer cfg menor.

O mais importante talvez seja desligar o flux guidance scale...

Sem o fluxo de trabalho, testei com 30 passos e 2-3 cfg. Essas provavelmente são as configurações para Forge. Experimente.

Recomendo usar a palavra "blurry" nas negativas.

Sampler e scheduler:

Pode escolher entre vários samplers que funcionam:

Euler, Heun, DPM++2m, deis, DDIM funcionam bem.

Eu uso "simple" como scheduler.

Se encontrar configurações melhores, me avise :-)

Para Forge, recomendo o modelo AIO... aqui está uma configuração de exemplo para Forge

Versão 2.0_dev_experimental

Bem... esta é uma versão experimental... O objetivo era criar um modelo mais coerente e rápido. Treinei alguns loras próprios adicionais e depois os juntei de forma especial (Tensor merge). Tem um T5xxl customizado que modifiquei com "Attention Seeker". Para ganhar velocidade e qualidade adicional, mesclei o Hyper Flux lora da ByteDance. Isso significa que deslocou a área de trabalho... Vou mostrar o que isso significa... Aqui está a imagem principal...

16 passos V 2.0

30 passos V 1.0

Desvantagens:

Bem, primeiro... Esta versão é um pouco maior que a anterior... segundo, ainda preciso criar a versão só Unet. Atualizarei quando estiver pronta...

Configurações e Fluxo de Trabalho V2.0:

Você pode rodar o modelo agora com menos passos... 16 passos equivalem a 30 do modelo antigo.

Ainda recomendo usar cerca de 20-30 passos para obter mais qualidade na maioria dos casos.

Sampler: prefiro Euler com Simple como scheduler. O guidance pode ser definido entre 1.5 a 3 (sinta-se à vontade para testar fora desta faixa). Guidance 1.8 ainda funciona bem para imagens realistas. Pode testar outros samplers. DPM++2M e Heun também funcionam muito bem.

Fluxo de trabalho 2.0:

Criei um novo fluxo para V2.0 e V1.0. Ele tem o novo Flux Prompt Generator. Também inclui a segunda etapa de upscaling. https://civitai.com/articles/7946

Forge:

Testei este modelo também com Forge e funcionou muito bem... As imagens podem variar entre Comfy UI e Forge, no entanto...

Versão 1.0_dev_beta:

Este modelo é minha primeira entrada da série. Então por favor, dê algum feedback e poste imagens. Isso me ajuda a melhorar o projeto. Existem várias versões para escolher. O melhor modelo em qualidade é a versão FP16. A versão FP16 é enorme e precisará de uma placa potente e muita RAM. A versão FP8 é uma boa solução entre qualidade e desempenho. Se quiser a versão GGUF, baixe a Q8_0. A versão GGUF Q4_0/4.1 foi um pedido. São pequenas, mas perde-se um pouco de qualidade.

Basicamente, existem dois tipos de meus modelos: modelos "All in one" que precisam de apenas um arquivo para baixar. Eles possuem Clip_l, T5xxl fp8 e VAE incorporados. (veja abaixo). Coloque estes na pasta checkpoints.

As outras versões são só UNET. Aqui você precisa carregar todos os arquivos separadamente.

De qualquer forma, você precisa baixar meu Clip_L para que funcionem corretamente..

Também é importante escolher o T5xxl clip correto. Para FP8 é o fp8_e4m3fn t5xxl clip. Para FP16 é o clip FP16. Certifique-se de selecionar o tipo de peso padrão. (abaixo tem imagem de exemplo para a versão fp8)

Para a versão GGUF, é necessário o carregador GGUF!

Algumas coisas conhecidas até agora sobre V1.0:

Este é só o primeiro modelo da série, então pode ter dificuldades com alguns prompts ou estilos como arte. A próxima versão terá mais treinamento. Informe o que o modelo não consegue fazer...

Configurações e Fluxo de Trabalho:

Teste com cerca de 30 passos, Euler com Simple como scheduler. A orientação pode ficar entre 1.5-3 (sinta-se livre para testar fora dessa faixa).

A orientação 1.8 funciona bem para imagens realistas.

Sinta-se livre para experimentar. Se conseguir bons resultados, poste-os.

Incluí as imagens da vitrine como dados de treinamento... Aqui está o fluxo para Comfy. Link para download do fluxo: https://civitai.com/articles/7946

Modelo "All in one":

Só UNET:

Você precisa baixar o clip_L também. É um arquivo de 240MB.

GGUF: Adicionei o fluxo para GGUF aqui: https://civitai.com/articles/7946

Importante:

O modelo dev não se destina ao uso comercial. Para isso, vou publicar o modelo "schnell" em outro local. É mais para uso pessoal ou científico.

LICENÇA:

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Créditos:

theunlikely https://huggingface.co/theunlikel (obrigado novamente)

Versão 2.1/V4.2/5.0: Flux_dev_de-distill de nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Desde V2.0: Hyper Lora da ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest pelo incrível modelo Flux https://huggingface.co/black-forest-labs