SDXL / Flux.1 D - Matte (Vanta)Black - Experimento - SDXL v3.0

Flux.1 D - V2.0

Última tentativa de fazer funcionar no Flux... e por fazer funcionar, quero dizer bagunçar tudo o máximo possível. Muito provavelmente nunca fará a mesma coisa que a versão SDXL. Mesmo após 6000 passos e só pela observação já ficou claro. SDXL é meio que “ok, vou aprender, mas vou colocar meu próprio toque”, enquanto Flux luta/compensa loucamente contra tudo que não sabe o que fazer ou o que exatamente quero que aprenda. Por outro lado, após um longo treinamento, ele vai produzir essas imagens com força, a ponto de copiar os dados de treino 1/1, resultando em quase preto puro. Flux pode copiar uma imagem perfeitamente, como fotos, mesmo após poucos passos.

Como disse na última versão do Flux, na maior parte é algo que quero misturar com outros LoRAs que sejam mais coloridos ou tenham um estilo próprio.

Mesmas imagens da versão SDXL v.3.0 com algumas a mais para a versão Flux (algumas em formato paisagem). Mas... removi 3 imagens que provavelmente respondiam por pelo menos 80% das imagens postadas por mim ou outras pessoas. Era algo que quis fazer na versão SDXL, mas decidi contra na época. O motivo é que essas imagens eram simplesmente muito dominantes, causando muito comportamento estranho e um viés para criar imagens específicas. Vi isso na versão Flux v.1.0 e agora elas se foram. A popularidade provavelmente será afetada, mas não me importo.

Sinto que muitas pessoas usam um certo LoRA só porque está em seu "pipeline", acho eu. Em alguns casos imagens feitas sem um LoRA parecem melhores e você nem percebe. LoRAs de estilo são outra coisa, pois adicionam um estilo bastante evidente durante a geração. Este aqui, no entanto, tem muito potencial para piorar tudo, por isso não filtrei muito as imagens que postei para mostrar o que quero dizer. Se adicionar algo com forte brilho ou fonte de luz como uma vela, Flux (e alguns modelos SDXL) adicionam um ambiente escuro por si só, porque uma fonte de luz sempre precisa de alguma escuridão para ser perceptível (o farol de um carro em dia ensolarado quase não faz efeito).

E nem pergunte se funciona nas versões NF4 ou QQUFUF 5.64.3255 K4 2 ou sei lá o quê. O arquivo não é muito grande, então você pode testar. Vou manter distância desses modelos a menos que eles tragam mais benefícios além de menor consumo de memória e/ou aumento de velocidade insignificante (ou pior, diminuição).

Sei como é irritante quando alguém lança uma nova versão de qualquer modelo em pouco tempo, especialmente quando você acabou de se acostumar. Não vou perseguir mais esta e só verei se eu ou alguém tira algo útil disso.

Além disso, o esforço para preparar imagens no Photoshop não compensa, principalmente sabendo que não vai mudar quase nada. Prefiro fazer algo novo, ou mais provavelmente estúpido, que seja interessante ou crie efeitos aleatórios... ou simplesmente fluxificar modelos antigos para ver o que acontece.

Flux.1 D - V1.0

Depois de algumas experiências com Kohya e outros, para minha surpresa, testes bem-sucedidos com LoRAs de conceitos bem estranhos para Flux, decidi tentar este para ver se funcionava. Na verdade, não era meu objetivo obter uma versão Flux, já que Flux já faz um bom trabalho com contraste (na maior parte). Meu objetivo principal era acabar com aquele visual artificial/falso e achei que um conjunto de dados tão "indefinido" ajudaria. Bem, até ajuda às vezes, ou piora ainda mais.

Como na versão SDXL, é mais algo para usar com outros LoRAs, especialmente os que adicionam muita cor.

Desculpe pela preguiça com os prompts e imagens. Usei basicamente as mesmas coisas da V.3.0, mas serve para demonstração por enquanto. Às vezes mata os detalhes e não adiciona algo particularmente interessante (imagem da água-viva ou do papagaio, por exemplo).

• Mesma semente para imagens correspondentes

• As duas primeiras imagens são com e sem LoRA; depois é invertido, primeiro sem, depois com LoRA (às vezes com forças diferentes)

• Alguns têm as palavras gatilho no início, mas duvido que sejam necessárias no Flux

• Baseado no conjunto de dados V1.0, não no novo (não quis usar muitas imagens)

Não sei se farei mais LoRAs para Flux, mas vou testar bastante. Está bem confuso no momento com todas as versões diferentes e não parece valer gastar muito tempo com algo que pode ficar obsoleto em 10 horas.

E só para constar: Foi treinado com uma 4060 TI (16 GB), entre 14.4 e 15.2 GB de VRAM no máximo, 3.95s/it - 5.15s/it, 512x, Rank 4... então, nenhuma 4090 necessária aqui. Claro que seria mais rápido, mas se você puder iniciar e esquecer enquanto faz outra coisa, não é problema, a não ser que queira testar algo.

Como sempre, vou usar de vez em quando para ver se tiro algo significativo. Provavelmente só para satisfazer minha curiosidade.

V.3.0

Após meu pequeno erro com a v2.0, garanti que desta vez fosse real, sem mesclagens ou algo assim. Fiquei um pouco cético no início, por causa do número de imagens adicionadas, pois pensei que se afastaria demais da primeira versão, mas felizmente não aconteceu.

Estou muito feliz que muitas pessoas tenham encontrado uso para este LoRA e feito tantas imagens. Considerando que nunca foi pensado para fazer o que está fazendo, é legal ver que tem outro propósito ou pode ser usado para outra coisa (como todos os LoRAs).

Provavelmente (muito provavelmente) esta será a última versão por um bom tempo, porque adicionar mais imagens não mudará o efeito principal. A maior parte do efeito vem do uso de diferentes modelos, combinações de LoRA e prompts de qualquer forma.

Vou focar mais em criar imagens para encontrar combinações novas (e relaxar um pouco), criar novos LoRAs estranhos, corrigir os antigos etc. Também baixei muita coisa de outras pessoas e não tive chance de usar quase nada.

Obrigado novamente por todas as imagens postadas até agora, e espero ver mais, mesmo que cada LoRA tenha seu tempo de vida nesse setor de IA que avança rápido e o fator novidade inevitavelmente acabe. :)

V2.0

Pequeno anúncio sobre a V2.0 (02.04 ou 04.02 dependendo do país, acho)

Bem, oficialmente sou um idiota.

Comecei a treinar outro LoRA quando notei que nada estava acontecendo nas imagens de amostra mesmo após 2000 passos, o que é praticamente impossível. Então procurei saber por que e vi uma configuração que não havia alterado de volta (ou configurado corretamente), que é o LR warmup. Normalmente não uso warmup steps, mas antes estava testando o que ele realmente faz. Isso foi em um conjunto de dados de umas 4 imagens. Sempre coloco 100 Epochs como configuração, mas configurado para gerar um modelo a cada 500 passos, não a cada epoch. O Warm Up estava definido como 32%, então 4 imagens x 10 repetições x 100 Epochs = 4000 passos (32% warmup = 1280 passos em que quase nada acontece).

Agora, este LoRA tinha as mesmas configurações, só que com 60 imagens (60 x 10 x 100 = 60000 - 32% warmup = 19200 passos)... então, mesmo após 12000 passos, nem tinha começado direito, o que significa que praticamente treinei ar quente. Explica muita coisa, na verdade. Como adormeci, não percebi, embora fosse estranho demorar tanto para ter efeito, pensei que fosse pelas próprias imagens.

Sim... então este é um fracasso e a maior parte do que faz vem da mescla com a V1.0.

Vou treinar de novo no fim de semana quando voltar do trabalho, desta vez com as configurações corretas.

Desculpem por isso. Talvez tenha sido uma piada não intencional de Dia da Mentira :) .... :(

Adicionei mais algumas imagens porque tenho usado bastante ultimamente e não fazia upload de novos LoRAs faz um tempo, o que é basicamente combinação do fato de eu ter muito trabalho e escolher apenas assuntos complicados e estressantes que "precisam" ser feitos das formas mais intrincadas possíveis... o resto seria entediante.

Também investi bastante tempo em desmontar o Pony, que me surpreende em alguns aspectos. Se você deixar de lado todo o conteúdo Furry, Anime e pornô geral, ele é quase mais básico que o Base XL, o que é bom para adicionar conceitos e estilos via treinamento LoRA, mas sabe coisas mais complexas como posicionamento, emoções, ângulos estranhos, etc... mas isso é outra história.

Não sei quantos treinamentos mais farei este ano. Talvez faça coisas mais fáceis entre eles, mas vai saber. A IA está avançando rápido, então pode surgir algo novo em um mês... ou uma semana.

• Testei a mesma seed e o mesmo modelo com imagens geradas anteriormente. A mudança é sutil em alguns casos e extrema em outros (e agora sei por quê: leia o anúncio)

• Também desculpe por não fazer mais variações nas imagens mostradas. Às vezes leva mais tempo preparar imagens do que treinar o LoRA, mas isso não deve importar muito nesse caso. Mais coisas virão naturalmente.

V1.0

Tentei pressionar a IA um pouco para ver o que ela captaria em imagens de treino quase totalmente pretas e com forma apenas tênue.

Foi quase impossível preparar o conjunto de dados no Photoshop porque quase não via nada. Claro que cada pessoa tem configurações de monitor diferentes, etc., então é difícil dizer se essas imagens eram mesmo tão escuras, mas isso exigiu muito dos meus olhos. Mesmo agora, olhar as imagens geradas é meio difícil, embora não sejam tão escuras quanto as imagens de treino.

Fiquei surpreso que o modelo captou algo. Vou deixar de lado até decidir o que fazer com ele. Com certeza faz coisas estranhas. De algum modo, colocar imagens geradas no ControlNet IP-Adapter melhora tudo e produz resultados aleatórios.

Dicas para gerar:

• Não faço ideia... boa sorte.