Nas profundezas de uma montanha vive um gigante adormecido, capaz tanto de ajudar a humanidade quanto de criar destruição...

Um Colossus surge...

Após minha série SDXL é hora da série FLUX deste Projeto... Desta vez treinei essa coisa do zero. Para o treinamento usei minhas próprias imagens. Criei-as com meu modelo schnell Flux DemonFlux/Colossus Project schnell + meu SDXL Colossus Project 12 como refinador.

Este Flux-Checkpoint SD é capaz de produzir quase tudo... Colossus é muito bom criando imagens extremamente realistas, anime e arte.

Se você gostar, fique à vontade para me dar algum feedback. Também, se quiser me apoiar, pode fazer isso aqui. Investi um bom dinheiro para montar um computador capaz de realmente treinar modelos Flux... Além disso, treinamento e testes demandam muito tempo e eletricidade...

https://ko-fi.com/afroman4peace

Versão V12 "Hephaistos"

Publicar este checkpoint me deixa feliz e triste ao mesmo tempo... V12 será o último checkpoint desta série... A razão principal são as próximas leis de IA da UE... Outra razão é a licença do próprio Flux .1 DEV. Obrigado a todos pelo apoio! Dediquei muito tempo a este Projeto no último ano. Agora é hora de seguir para um projeto diferente.

De qualquer forma... vou terminar esta série com chave de ouro...

V12 é construído sobre V10B "BOB" mas recebeu basicamente as melhores partes desta série fundidas em um único checkpoint. (Foi o resultado de um novo método de merge que levou cerca de 1:30h para fundir e usou toda minha RAM de 128GB). Também aprimoraram as texturas de rosto e pele em comparação ao V10. Os olhos estão muito mais realistas e "vivos" do que antes.

Teste você mesmo e me dê feedback sobre V12. "Obrigado" à minha conexão lenta de internet, primeiro vou enviar o FP8_UNET. Depois a versão FP8 "all in one" e então FP16_unet e FP16_BEHEMOTH. Também vou tentar converter para int4 e fp4 (desejem-me sorte nessa tarefa)

Como sempre, me dê algum feedback sobre V12...

Versão V12 "Behemoth" (AIO)

Este modelo "all in one" é o melhor da minha série V12... e o maior em tamanho, claro :-)

O Behemoth tem um T5xxl personalizado e Clip_l embutidos no modelo. Se você prefere qualidade à quantidade, este é o checkpoint para você!

Versão V12 FP4/int4

Graças a Muyang Li da Nunchakutech, que fez a quantificação do V12. https://huggingface.co/nunchaku-tech e seu incrível nunchaku!

Esta versão é realmente impressionante. Combina qualidade com velocidade nunca antes vista.

ATENÇÃO!

Existem duas versões: FP4 e int4. FP4 é apenas para GPUs Nvidia 50xx! Enquanto int4 funciona com 40xx e inferiores. (você precisa de pelo menos uma GPU da série 20xx)

Você também pode baixar ambas as versões diretamente aqui: https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus

GUIA DE INSTALAÇÃO e FLUXO DE TRABALHO

Aqui está um guia rápido de instalação e fluxo de trabalho em andamento.

https://civitai.com/articles/17313

GUIA DETALHADO para o Fluxo de Trabalho

https://civitai.com/articles/17358

Ainda estou trabalhando em meus novos fluxos para Nunchaku... então o fluxo seguinte ainda está muito em progresso (WIP). Vou adicionar um artigo detalhado no fim de semana.

Versão V12 FP16_B_variant

Por um pequeno erro que cometi à noite (2h da manhã), renomeei e enviei o checkpoint "errado". É um checkpoint muito experimental nunca pensado para ser publicado. Não é muito testado, mas teve um desempenho muito bom quando criei a demonstração. Pode ser melhor que a versão padrão.

Ele tende a se inclinar mais para faces asiáticas... Isso porque queria testar algo para misturar em um projeto paralelo em que ainda trabalho. Conte-me sua experiência com este checkpoint :-)

Versão V12 AIO FP8

Esta versão é uma versão all in one do V12. Isso significa que todos os clips estão embutidos nela. Ela irá gerar a mesma saída que o FP8_unet com meu clip_l personalizado

Versão V12 GGUF Q5_1

Esta versão foi um pedido. A qualidade não é ruim...

Versão V10B "BOB"

Esta é uma versão alternativa do V10. Eu criei para melhorar a versão FP8 do V10. Em geral, a versão FP8 é mais precisa e as cores são melhores. Infelizmente não tenho muito tempo recentemente... (a vida real vem primeiro). Por isso demorou tanto... Me avise se preferir esta versão. Também tenho uma versão FP16 do "BOB". Dependendo do feedback, considerarei publicar uma versão int4.

FLUXO DE TRABALHO:

Aqui está o fluxo para V12 e V10: https://civitai.com/articles/17163

Versão V10_int4_SVDQ "Nunchaku"

Primeiro quero agradecer a theunlikely https://huggingface.co/theunlikely que converteu o FP16_Unet para int4_SVDQ. Visite sua página e deixe um like.

Esta versão é mais ou menos igual à versão FP8. Mesmo no modo normal dentro do meu fluxo, ela é cerca de 2X-3X mais rápida que o modelo regular... Com o "modo rápido" do fluxo consigo renderizar uma imagem de 2MP em cerca de 19 segundos com minha 3090ti.

O que é SVDQ "Nunchaku"?

Este novo método de quantificação permite reduzir modelos Flux (neste caso um modelo FP16 nativo) de 24GB para cerca de 6.7GB. Mas não é só isso: você pode gerar imagens mais rápido do que nunca sem perder muita qualidade. Claro que você verá uma pequena diferença comparado ao meu 32GB_Behemoth, mas para este modelo você precisará de muito mais VRAM/RAM para executá-lo.

Para mais informações visite: https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file

Instalação: Por favor visite meu guia de instalação/fluxo: https://civitai.com/articles/15610

Versão V10 "Behemoth" (FP16_AIO)

Esta versão ainda é experimental. O foco principal foi obter resultados mais realistas. Também consegui reduzir algumas "Linhas Flux". Esta versão é baseada no Colossus Project V5.0_Behemoth, V9.0 e outro projeto chamado "Ouroborus Project"

A versão FP16 é muito estável. Também vou lançar uma versão FP8 em breve. Esta é boa, mas não tão estável...

Deixo você experimentar... Me diga o que acha desta versão.

Divirta-se criando :-)

Versão V9.0:

Bem, preciso explicar muito... Primeiro, por que é V9.0?

Recentemente me mudei para um novo apartamento e por erros do provedor de internet fiquei sem conexão real... Então, enquanto fazia a mudança, deixei o computador ligado. O resultado foi que criei muitos Checkpoints (a maioria com falhas). Tenho algumas boas versões V8 que talvez publique também...

O que mudou?

Treinei novas texturas de rostos e pele pegando basicamente os melhores resultados do V5.0. Também treinei pés/pernas para melhorar a anatomia. As versões V5.0 às vezes cortavam cabeça e pés... Acho que consegui corrigir alguns desses problemas...

Adicionalmente treinei com mais imagens paisagem próprias... E sim, fiz tudo isso enquanto me mudava... O tempo total de treinamento foi cerca de 2 semanas de computação, o que não é barato... (cada hora me custa cerca de 25 centavos em eletricidade)

De qualquer forma, espero que gostem desta versão... Se quiserem me apoiar: postem algumas imagens legais ou talvez me dêem uma gorjeta no buzz ou Ko-fi...

Me digam o que acharam :-)

Versão 5.0:

V5.0 é baseada no V4.2 e V4.4 (que também será lançada em breve). Recebeu treinamento adicional em detalhes de pele e anatomia que corrigiu principalmente mãos e mamilos. Os detalhes do rosto estão muito melhores. Também tentei corrigir algumas linhas flux menores...

Em geral esta versão é mais realista que o V4.2 e melhor nos detalhes menores... Como o V4.2, esta versão é um modelo híbrido de-distilled. Pode ser usado basicamente com as mesmas configurações do V4.2.

Aqui está um novo fluxo para experimentar: https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50

Me diga o que acha desta versão comparado ao 4.2 ou V2.1...

Versão 4.4 "Research":

Adicionei esta versão apenas para completar... É ligeiramente mais realista que o V4.2 e a base para a Versão 5.0. Você pode testar se quiser. Também pode usar o fluxo para V5.0 e V4.2...

Versão 4.2:

Esta versão é basicamente um desenvolvimento adicional dos modelos Demoncore Flux e Colossus Project Flux. O objetivo foi obter um resultado mais estável com melhores texturas de pele, melhores mãos e mais variedade de rostos. Treinei em um modelo híbrido que é parcialmente Demoncore Flux. Também melhorei mamilos e NSFW um pouco. Me diga se prefere o V4.2 à versão 2.1 :-)

Para as imagens de demonstração: usei apenas imagens nativas com resolução SDXL ou 2MP (por exemplo 1216x1632). Este modelo suporta resoluções ainda maiores... Testei até 2500x2500, mas recomendo algo em torno de 2000x2000.

Para configurações, recomendo cerca de 30 passos e 2-2.5cfg. Normalmente uso 2.2 ou 2.3 no meu fluxo. Para a demonstração usei DPM++ 2M com Simple scheduler.

Vou adicionar mais versões em breve, mas não tenho muito tempo antes do Natal...

Configurações

Vou adicionar um novo fluxo dedicado para Comfy em breve. Por enquanto, você sempre pode baixar e abrir as imagens de demonstração...

A versão "All in One" também funciona bem com Forge...

Basicamente funciona com as mesmas configurações da Versão 2.1 (veja abaixo)

Use 20-30 passos com cerca de 2.2cfg...

Versão 2.1_de-distilled_experimental (MERGE)

Esta versão é completamente diferente e funciona diferente de um modelo Flux normal!

É um merge experimental entre minha versão 2.0 e uma versão de-distilled https://huggingface.co/nyanko7/flux-dev-de-distill. Isso aconteceu meio que por acidente, mas os resultados são impressionantes. Você terá detalhes incríveis. Também segue muito bem os prompts... O próximo passo é treinar diretamente no modelo de-distilled. Já fiz alguns testes de Loras com ele. Muito experimental, então por favor me avise se encontrar erros não listados abaixo. Se tiver boas imagens, poste também as ruins, isso pode ajudar a melhorar :-). Talvez tente também a versão 2.0 e me diga qual checkpoint combina melhor com você.

!Atenção!

O fluxo normal Flux não funciona com esta versão. VOCÊ PRECISA baixar meu fluxo para ela!

Você também pode tentar descobrir algo por conta própria, mas não me culpe por imagens ruins. Este modelo é altamente experimental... veja as desvantagens abaixo...

Vantagens e desvantagens deste checkpoint:

• Este checkpoint pode criar detalhes extremos. Isso tem um custo... É lento comparado aos checkpoints Flux normais. A vantagem é que normalmente não precisa de upscaling adicional. Em vez de usar Flux Guidance, este modelo usa escala cfg. O que também significa que não funciona com fluxos padrão.

• Você pode usar prompts negativos! Isso ajuda a remover coisas indesejadas da imagem.

• Às vezes aparecem artefatos... Você pode resolver com um upscaling pequeno e simples (estou trabalhando nisso). Aqui está um exemplo... isso estranhamente não acontece com toda seed... ATUALIZAÇÃO: O problema não é do modelo em si, mas do fluxo... Estou trabalhando em uma correção. Se acontecer, tente definir o primeiro upscaling para 1.14 em vez de 1.2.

  

  

Configurações e Fluxo V2.1:

Aqui você encontra o fluxo para ela: https://civitai.com/articles/8419

Configurações: diferente do Flux normal, não precisa da escala Flux Guidance. Use o cfg. Normalmente uso 3 cfg no fluxo... Algumas imagens podem precisar de cfg mais baixo.

O mais importante é desligar a escala Flux Guidance...

Sem o fluxo, testei com 30 passos e cfg 2-3. Isso também pode valer para o Forge. Tente experimentar.

Recomendo usar a palavra "blurry" nos negativos.

Sampler e scheduler:

Você pode escolher entre vários samplers que funcionam:

Euler, Heun, DPM++ 2m, Deis, DDIM funcionam muito bem.

Eu uso "simple" como scheduler.

Se encontrar configurações melhores, me avise... :-)

Para Forge recomendo usar o modelo AIO... aqui está um exemplo de configuração para Forge:

Versão 2.0_dev_experimental

Bem... esta é uma versão experimental... O objetivo era criar um modelo mais coerente e rápido. Treinei alguns loras próprios adicionais e depois fundi os modelos resultantes de uma forma especial (Tensor merge). Tem um T5xxl personalizado modificado com "Attention Seeker". Para ganhar velocidade e qualidade adicional fundi o Hyper Flux lora da ByteDance. Isso deslocou a área de trabalho... Mostro o que isso significa... Aqui está a imagem principal do título...

16 passos V 2.0

30 passos V 1.0

Desvantagens:

Bem, primeiro... Esta versão é um pouco maior que a anterior... segundo, ainda preciso criar a versão só Unet. Vou atualizar quando estiver pronta...

Configurações e Fluxo V2.0:

Agora pode rodar o modelo com menos passos... 16 passos equivalem a 30 passos do modelo antigo.

Ainda recomendo usar cerca de 20-30 passos porque traz mais qualidade na maioria dos casos.

Sampler: prefiro Euler com Simple como scheduler. O guidance pode ser de 1.5 a 3 (claro, sinta-se livre para testar fora dessa faixa). Guidance de 1.8 ainda funciona bem para imagens realistas. Pode testar outros samplers. DPM++ 2M e Heun também funcionam muito bem.

Fluxo 2.0:

Criei um novo fluxo para V2.0 e V1.0. Este traz o novo Flux Prompt Generator. Além disso obtive o segundo estágio de upscaler funcionando. https://civitai.com/articles/7946

Forge:

Testei este modelo também com Forge e funcionou muito bem... As imagens podem variar entre Comfy UI e Forge, porém...

Versão 1.0_dev_beta:

Este modelo é minha primeira entrada da série. Por favor, dê-me algum feedback e poste algumas imagens. Isso ajuda a melhorar o projeto. Existem várias versões para escolher. O melhor modelo em qualidade é a versão FP16. Ela é enorme e requer uma placa de vídeo potente e bastante RAM. A versão FP8 é a que considero melhor solução entre qualidade e desempenho. Se quiser uma versão GGUF, baixe o Q8_0. A versão GGUF Q4_0/4.1 foi um pedido. São pequenas, mas você perde um pouco de qualidade.

Basicamente existem dois tipos de modelos: os "All in one" que precisam de um único arquivo para baixar, com Clip_l, T5xxl fp8 e VAE embutidos. (veja abaixo). Coloque isso dentro da sua pasta checkpoints.

As outras versões são somente UNET. Nelas você precisa carregar todos os arquivos separadamente.

Em qualquer caso, você precisa baixar meu Clip_L para que funcionem direito..

Também é importante escolher o T5xxl clip correto. Para a versão FP8, é o fp8_e4m3fn t5xxl clip. Para FP16, é o clip FP16. Certifique-se de selecionar o tipo de peso padrão. (abaixo tem uma imagem de exemplo para a versão fp8)

Para a versão GGUF você precisa do carregador GGUF!

Algumas coisas conhecidas até agora sobre o V1.0:

Este é apenas o primeiro modelo da série, então pode ter dificuldades com alguns prompts ou estilos como arte. A próxima versão terá mais treinamento. Me diga coisas que o modelo não consegue fazer...

Configurações e Fluxo:

Testei com cerca de 30 passos, Euler com Simple scheduler. O guidance pode ficar entre 1.5 e 3 (sinta-se livre para testar fora desse intervalo)

Um guidance de 1.8 funciona bem para imagens realistas.

Fique à vontade para experimentar com essas configurações... Se conseguir bons resultados, publique-os.

Incluí as imagens de demonstração como dados de treinamento... Dentro está o fluxo para Comfy. Aqui está o fluxo para download: https://civitai.com/articles/7946

Modelo "All in one":

Somente UNET:

Você precisa baixar também o clip_L. É o arquivo de 240MB.

GGUF: Adicionei o fluxo para GGUF aqui: https://civitai.com/articles/7946

Importante:

O modelo dev não é destinado a uso comercial. Para isso vou publicar o modelo "schnell" em outro local. É mais destinado a uso pessoal ou científico.

LICENÇA:

https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/LICENSE.md

Créditos:

theunlikely https://huggingface.co/theunlikel (obrigado novamente)

Versão 2.1/V4.2/5.0: Flux_dev_de-distill de nyanko7

https://huggingface.co/nyanko7/flux-dev-de-distill

Desde V2.0: Hyper Lora da ByteDance https://huggingface.co/ByteDance/Hyper-SD

Black Forrest pelo incrível modelo Flux https://huggingface.co/black-forest-labs