SDXL / Flux.1 D - Matte (Vanta)Black - Experimento - Flux.1 D v1.0

Flux.1 D - V2.0

Última tentativa de fazê-lo funcionar no Flux... e por fazer funcionar quero dizer ferrar tudo o máximo possível. Muito provavelmente nunca fará a mesma coisa que fez na versão SDXL. Mesmo depois de 6000 passos e só pela observação já era bastante óbvio. SDXL é tipo "ok, vou aprender, mas vou dar meu próprio toque" enquanto o Flux está lutando / compensando loucamente contra qualquer coisa que não sabe o que fazer ou o que exatamente quero que aprenda. Por outro lado, após um longo treinamento, ele vai produzir aquelas imagens com intensidade, a ponto de copiar os dados de treino 1/1, o que resulta em quase preto puro. Flux pode copiar uma imagem perfeitamente, como fotografias, mesmo depois de poucos passos.

Como disse na última versão do Flux, na maior parte é algo que quero misturar com outros LoRAs que são mais coloridos ou que tenham algum estilo específico.

Mesmas imagens da versão SDXL v3.0 com várias adicionadas para a versão Flux (algumas no formato paisagem). Mas... removi 3 imagens que provavelmente eram responsáveis por pelo menos 80% das imagens postadas por mim ou por outras pessoas. Isso era algo que eu queria fazer na versão SDXL, mas decidi não fazer naquele momento. A razão é que essas imagens eram dominantes demais, causando muito comportamento estranho e um viés para criar certas imagens específicas. Vi isso na versão Flux v1.0 e agora elas se foram. A popularidade provavelmente vai cair aqui, mas tanto faz para mim.

Sinto que muita gente usa um LoRA específico só porque ele está no "pipeline" deles, eu acho. Em alguns casos, imagens feitas sem um LoRA parecem melhores e você nunca saberia. LoRAs de estilo são outra coisa, porque eles adicionam um estilo bastante aparente na geração das imagens. Este aqui, no entanto, tem muito potencial para piorar tudo, por isso não selecionei muito as imagens que postei só para mostrar o que quero dizer com isso. Se você adiciona algo que tem um brilho forte ou uma fonte de luz como uma vela, Flux (e alguns modelos SDXl) adicionam um ambiente escuro naturalmente, porque uma fonte de luz sempre precisa de alguma escuridão para ser perceptível (luz de farol de carro em dia ensolarado não faz muito efeito).

E nem pergunte se funciona na versão NF4 ou QQUFUF 5.64.3255 K4 2 ou não sei o que. O arquivo não é tão grande, então você pode testar por si mesmo. Eu vou manter distância desses modelos a menos que eles forneçam benefícios além de um consumo menor de memória e/ou um aumento de velocidade desprezível (ou pior, uma diminuição no desempenho).

Sei como pode ser irritante quando alguém lança uma nova versão de qualquer tipo de modelo em curto período se você acabou de se acostumar com o anterior. Não vou continuar insistindo nesse e vou apenas ver se eu ou alguém consegue algo útil com ele.

Além disso, o trabalho para preparar as imagens no Photoshop não vale a pena, especialmente se você sabe que não vai mudar nada. Melhor fazer algo novo, ou mais provavelmente estúpido, que seja interessante ou gere efeitos aleatórios... ou simplesmente fluxificar modelos antigos para ver o que acontece.

Flux.1 D - V1.0

Depois de algumas tentativas com Kohya e outros, e surpreendentemente testes bem-sucedidos com LoRAs de conceitos bastante estranhos para Flux, pensei em tentar este para ver se funcionava. Na verdade, não era exatamente meu objetivo ter uma versão Flux, já que Flux já faz um bom trabalho com contraste (na maior parte). Meu objetivo principal era me livrar desse aspecto artificial/falso temido e achei que um conjunto de dados tão "indefinido" poderia funcionar. Bem, às vezes funciona e outras vezes piora ainda mais.

Assim como na versão SDXL, é mais para usar com outros LoRAs, especialmente os que adicionam muita cor.

Desculpe por ter caprichado pouco nos prompts e nas imagens. Usei basicamente as mesmas coisas da V3.0, mas deve servir para mostrar por enquanto. Às vezes mata os detalhes e não adiciona nada particularmente interessante (imagem da água-viva, por exemplo, ou o papagaio).

• Mesma semente para imagens correspondentes

• As duas primeiras imagens são com e sem LoRA, depois é invertido, primeiro sem, depois com LoRA (às vezes em forças diferentes)

• Algumas têm as palavras gatilho no começo, mas duvido que sejam necessárias no Flux

• Baseado no conjunto de dados V1.0, não no novo (não quis usar muitas imagens)

Não tenho certeza se quero fazer mais LoRAs para Flux, mas vou testar bastante. Está realmente confuso no momento com todas as versões diferentes e não parece valer a pena gastar muito tempo em algo que pode estar desatualizado em 10 horas.

E só uma nota: Isso foi treinado com uma 4060 TI (16 GB), uso máximo de VRAM entre 14.4 e 15.2 GB, 3.95s/it - 5.15s/it, 512x, Rank 4. ... então, não precisa de 4090 aqui. Claro que seria mais rápido, mas se você pode iniciar, esquecer e fazer outra coisa enquanto isso, não é realmente problema, a menos que queira testar algo.

Como sempre, vou usar aqui e ali para ver se consigo algo significativo. Mais provável só para satisfazer minha curiosidade.

V.3.0

Depois do meu pequeno erro com a v2.0, garanti que desta vez é o verdadeiro, sem mesclas ou qualquer coisa assim. Fiquei meio cético no começo, por causa da quantidade de imagens adicionadas, que levaria muito a se afastar da primeira versão, mas felizmente não aconteceu.

Estou muito feliz que muita gente encontrou uso para esse LoRA e fez muitas imagens. Considerando que nunca foi planejado para fazer o que está fazendo agora, é legal ver que tem outra finalidade ou podemos dizer que pode ser usado para outra coisa (como todos os LoRAs).

Provavelmente (mais provável) esta será a última versão por um bom tempo, porque só adicionar mais imagens não mudará o efeito principal. A maior parte é feita usando modelos diferentes, combinações de LoRA e prompts de qualquer maneira.

Vou focar mais em criar imagens para encontrar mais combinações (e relaxar um pouco), fazer LoRAs estranhos novos, corrigir LoRAs antigos etc. Também baixei muita coisa de outras pessoas e não tive chance de usar a maioria delas.

Obrigado novamente por todas as imagens postadas até agora e espero ver mais, mesmo que cada LoRA tenha um tempo de vida nessa área de IA que anda rápido e o fator legal inevitavelmente chegue ao fim. :)

V2.0

Pequeno anúncio para a V2.0 (02.04 ou 04.02 dependendo do seu país, eu acho)

Bem, sou oficialmente um idiota.

Comecei a treinar outro LoRA quando percebi que nada estava acontecendo nas imagens de amostra mesmo depois de 2000 passos, o que é praticamente impossível. Aí comecei a procurar o motivo e vi uma configuração que não alterei de volta (ou seja, configurar corretamente) que é o LR warmup. Normalmente não uso warmup steps, mas no que fiz antes estava testando o que realmente faz. Isso foi em um conjunto de dados de cerca de 4 imagens. Sempre tenho configuração de 100 Épocas, mas está configurado para gerar um modelo a cada 500 passos e não por época. O Warm Up estava configurado para 32%, então 4 imagens x 10 repetições x 100 Épocas = 4000 passos (32% warmup = 1280 passos onde quase nada acontece).

Agora, esse LoRA tinha as mesmas configurações, só que com 60 imagens (60 x 10 x 100 = 60000 - 32% warmup = 19.200 passos)... então, mesmo depois de 12000 passos ele nem tinha começado, o que significa que treinei só o ar. Explica muita coisa na verdade. Como eu adormeci, não percebi isso, embora fosse um pouco estranho que levasse tanto para fazer efeito, o que pensei ser por causa das imagens.

É... então esse é uma bomba e a maior parte do que ele faz é do merge com o V1.0.

Vou treinar novamente no fim de semana quando voltar do trabalho, desta vez com as configurações corretas.

Desculpe mesmo por isso. Talvez tenha sido uma piada de primeiro de abril não intencional :) .... :(

Adicionei mais algumas imagens porque tenho usado bastante ultimamente e não tinha feito upload de um novo LoRA há algum tempo, o que é basicamente uma combinação de eu estar muito ocupado no trabalho e escolher assuntos complicadíssimos que também "têm" que ser feitos da forma mais complicada possível... o resto seria chato.

Além disso, muito tempo foi gasto desmontando Pony, o que me surpreende em alguns aspectos. Se deixar de lado todo o conteúdo Furry, Anime e pornográfico geral, ele é quase mais básico que o modelo Base XL, o que é bom para adicionar conceitos e estilos via treinamento de LoRA, mas conhece coisas muito mais complexas como posicionamento, emoções, ângulos estranhos etc... mas essa é uma história completamente diferente.

Não sei quanto mais vou conseguir treinar este ano. Talvez faça coisas mais fáceis entre uma e outra, mas quem sabe. A IA está evoluindo rápido, então pode surgir algo novo em um mês... ou em uma semana.

• Testei mesma semente e mesmo modelo com imagens geradas anteriormente. A mudança é sutil em alguns casos e extrema em outros (e agora sei o porquê: leia o anúncio)

• Também desculpe por não fazer mais variações nas imagens apresentadas. Às vezes leva mais tempo para preparar as imagens do que treinar o LoRA, mas isso não deveria importar muito nesse caso. Mais coisas virão naturalmente de qualquer forma.

V1.0

Tentei pressionar a IA um pouco para ver o que ela captaria nas imagens de treino que são quase totalmente pretas e só têm um formato tênue.

Foi quase impossível preparar o conjunto de dados no Photoshop porque eu quase não via nada. Claro que cada pessoa tem configurações diferentes no monitor etc., então é difícil dizer se aquelas imagens eram realmente tão escuras, mas deu muito esforço para meus olhos. Mesmo agora, olhar as imagens geradas é meio difícil, embora não sejam tão escuras quanto as imagens de treino.

Fiquei surpreso que o modelo tenha aprendido algo sequer. Vou deixar de lado por enquanto até descobrir o que fazer com ele. Certamente faz coisas estranhas. De alguma forma, colocar imagens geradas no ControlNet IP-Adapter realça tudo e produz resultados aleatórios.

Dicas para gerar:

• Não faço ideia... boa sorte.