SDXL / Flux.1 D - Preto Fosco (Vanta) - Experimento - Flux.1 D v2.0

Flux.1 D - V2.0

Última tentativa de fazê-lo funcionar no Flux... e por funcionar quero dizer causar o máximo de confusão possível. Provavelmente nunca fará exatamente o que a versão SDXL fez. Mesmo após 6000 passos e apenas pela observação já era óbvio. SDXL é meio que "ok, vou aprender, mas darei meu toque" enquanto o Flux luta/compensa de maneira intensa contra qualquer coisa que não sabe como lidar ou exatamente o que eu quero que seja aprendido. Por outro lado, após um treinamento longo, ele produz aquelas imagens com tanta precisão que copia os dados de treinamento 1/1, o que resulta em quase preto total. Flux pode copiar uma imagem perfeitamente, como fotos, mesmo após poucos passos.

Como disse na última versão Flux, a maior parte do tempo é algo que quero misturar com outros LoRAs que são mais coloridos ou têm um estilo específico.

Mesmas imagens que a SDXL v.3.0 com várias adicionais para a versão Flux (algumas em formato paisagem). Mas... retirei 3 imagens que provavelmente eram responsáveis por pelo menos 80% das imagens postadas por mim ou por outras pessoas. Isso era algo que queria fazer na versão SDXL, mas decidi não fazer na época. A razão é que aquelas imagens eram dominantes demais, causando muitos comportamentos estranhos e um viés para criar imagens específicas. Vi isso na versão Flux v.1.0 e agora elas se foram. A popularidade provavelmente vai cair aqui, mas não me importo.

Sinto que muitas pessoas usam um determinado LoRA porque está no seu "fluxo de trabalho", eu acho. Em alguns casos, imagens feitas sem LoRA parecem melhores e você nunca saberia. LoRAs de estilo são diferentes, pois adicionam um estilo claramente perceptível ao gerar imagens. Este aqui, no entanto, tem muito potencial para piorar as coisas, por isso não selecionei cuidadosamente as imagens que postei, apenas para mostrar o que quero dizer. Se você adicionar algo que tenha um brilho forte ou uma fonte de luz como uma vela, Flux (e alguns modelos SDXL) adicionam um ambiente escuro por conta própria, porque uma fonte de luz sempre precisa de alguma escuridão para ser notada (o farol de um carro em dia ensolarado não faz muito efeito).

E nem pergunte se funciona na versão NF4 ou QQUFUF 5.64.3255 K4 2 ou sei lá o que. O arquivo não é tão grande, então você pode testar por conta própria. Vou me manter afastado desses modelos a menos que ofereçam mais benefícios do que uma versão Dev FP8/16 normal, além de menor consumo de memória e/ou aumento de velocidade quase nulo (ou pior, queda de desempenho).

Sei como pode ser irritante quando alguém lança uma nova versão de qualquer tipo de modelo em curto período se você acabou de se acostumar com o anterior. Não vou continuar perseguindo esta versão e apenas verei se eu ou outra pessoa consegue tirar algo útil dela.

Além disso, o trabalho para preparar as imagens no Photoshop não vale a pena, especialmente se você sabe que isso não mudará nada. Prefiro fazer algo novo, ou provavelmente estúpido, que seja interessante ou crie efeitos aleatórios... ou simplesmente fluxificar modelos antigos para ver o que acontece.

Flux.1 D - V1.0

Após algumas experiências com Kohya e outros, para minha surpresa, testes bem-sucedidos com conceitos LoRA bem estranhos para Flux, decidi tentar este para ver se funcionava. Na verdade, não era meu objetivo principal ter uma versão Flux, pois Flux já trabalha bem com contraste (na maior parte). Meu objetivo principal era me livrar daquele aspecto artificial/falso e pensei que um conjunto de dados tão "indefinido" faria esse papel. Bem, às vezes faz, outras vezes piora ainda mais.

Como na versão SDXL, é mais algo para usar com outros LoRAs, especialmente os que adicionam muita cor.

Desculpe por estar meio preguiçoso com os prompts e imagens. Usei basicamente as mesmas coisas do V.3.0, mas deve servir para demonstração por enquanto. Às vezes mata os detalhes e não acrescenta algo particularmente interessante (imagem da água-viva, por exemplo, ou o papagaio).

• Mesma semente para imagens correspondentes

• As duas primeiras imagens são com e sem LoRA, depois invertido: primeiro sem, depois com LoRA (às vezes em intensidades diferentes)

• Algumas usam palavras-chave no início, mas duvido que isso seja necessário no Flux

• Baseado no conjunto de dados V1.0, não no novo (não quis usar muitas imagens)

Não tenho certeza se quero fazer mais LoRAs para Flux, mas vou testar bastante. Está realmente confuso agora com todas as versões diferentes e não parece valer a pena gastar muito tempo em algo que pode ficar obsoleto em 10 horas.

E só uma nota: foi treinado com uma 4060 TI (16 GB), entre 14.4 e 15.2 GB de VRAM usada, 3.95s/it - 5.15s/it, 512x, Rank 4... então, não precisa de 4090 aqui. Claro que seria mais rápido, mas se você pode simplesmente iniciar, esquecer e fazer outra coisa no meio, não é problema, a menos que queira testar algo.

Como sempre, vou usar aqui e ali para ver se consigo algo significativo. Mais provável que seja só para satisfazer minha curiosidade.

V.3.0

Após minha pequena confusão com a v2.0, certifiquei-me de que desta vez é coisa séria, sem fusões ou o que seja. Estava um pouco cético no começo, devido à quantidade de imagens adicionadas, que pudesse se afastar muito da primeira versão, mas felizmente não aconteceu.

Estou realmente feliz que muitas pessoas encontraram uso para este LoRA e criaram tantas imagens. Considerando que nunca foi projetado para fazer o que está fazendo agora, é bom ver que tem outra utilidade, ou melhor dizendo, pode ser usado para outras coisas (como todos os LoRAs).

Esta provavelmente (muito provavelmente) será a última versão por algum tempo, pois só adicionar mais imagens não mudará o efeito principal. A maior parte é produzida usando diferentes modelos, combinações de LoRA e prompts de qualquer forma.

Vou me concentrar mais em criar imagens para encontrar mais combinações (e relaxar um pouco), fazer LoRAs estranhos novos, consertar os antigos etc. Também baixei muita coisa de outras pessoas e não tive chance de usar a maior parte.

Obrigado novamente por todas as imagens postadas até agora e espero ver mais, embora todo LoRA tenha uma vida útil neste setor de IA rápido e o fator novidade inevitavelmente termine. :)

V2.0

Pequeno anúncio sobre a V2.0 (02.04 ou 04.02 dependendo do seu país, eu acho)

Bem, sou oficialmente um idiota.

Comecei a treinar outro LoRA quando percebi que nada estava acontecendo nas imagens de amostra, mesmo após 2000 passos, o que é praticamente impossível. Então, procurei o motivo disso e vi uma configuração que não mudei de volta (ou neste caso, para a configuração correta), que era o "LR warmup". Normalmente, não uso passos de aquecimento, mas no que fiz antes estava testando o que realmente faz. Isso foi num conjunto de dados de cerca de 4 imagens. Sempre uso uma configuração de 100 épocas, mas está configurado para gerar um modelo a cada 500 passos, não por época. O Warm Up estava configurado para 32%, então 4 imagens x 10 repetições x 100 épocas = 4000 passos (32% warmup = 1280 passos onde não acontece muita coisa).

Agora, este LoRA tinha as mesmas configurações, mas com 60 imagens (60 x 10 x 100 = 60000 - 32% warmup = 19200 passos)... portanto, mesmo após 12000 passos, ainda nem tinha começado, o que significa que praticamente treinei ar quente. Explica muita coisa na verdade. Como eu dormi, não percebi isso, apesar de ter sido meio desconcertante levar tanto tempo para ter efeito, que eu pensei que fosse devido às próprias imagens.

É... então este é um fracasso e a maior parte do que ele faz vem da fusão com a V1.0.

Vou treinar de novo no fim de semana, quando voltar do trabalho, desta vez com as configurações corretas.

Peço desculpas por isso. Talvez tenha sido uma brincadeira não intencional de Dia da Mentira :) .... :(

Adicionei mais algumas fotos porque tenho usado bastante ultimamente e não faço upload de um novo LoRA há algum tempo, o que é basicamente uma combinação de eu estar muito ocupado no trabalho e escolher só assuntos estressantes complicados que também "tem" que ser feitos da forma mais complicada possível... todo o resto seria chato.

Além disso, gastei bastante tempo desmontando Pony, o que me surpreende em alguns aspectos. Se você deixar de lado todo o conteúdo furry, anime e pornô geral, ele é quase mais básico que o modelo Base XL, o que é bom para adicionar conceitos e estilos via treinamento LoRA, mas conhece coisas muito mais complexas, como posicionamento, emoções, ângulos estranhos etc... mas isso é outra história completamente diferente.

Não sei quanto treinamento mais vou conseguir fazer este ano. Talvez faça algumas coisas mais fáceis no meio, mas quem sabe. IA está avançando rápido, então pode sair alguma coisa nova em um mês... ou em uma semana.

• Testei a mesma semente e o mesmo modelo com imagens geradas anteriormente. A alteração varia de sutil em alguns casos a extrema em outros (e agora sei por quê: leia o anúncio)

• Também peço desculpas por não ter feito mais variações nas imagens mostradas. Às vezes, preparar as imagens leva mais tempo que treinar o LoRA, mas não deve importar muito neste caso. Mais coisas virão naturalmente de qualquer forma.

V1.0

Tentei desafiar a IA um pouco para ver o que ela captaria de imagens de treinamento quase totalmente pretas e com formas apenas tênues.

Foi quase impossível preparar o conjunto de dados no Photoshop porque eu praticamente não via nada. Claro que cada pessoa tem configurações diferentes de monitor, etc., então é difícil dizer se aquelas imagens eram realmente tão escuras, mas isso cansou bastante meus olhos. Mesmo agora olhar para as imagens geradas é meio difícil, embora não sejam tão escuras quanto as imagens de treinamento.

Fiquei surpreso que o modelo captou algo. Vou deixá-lo de lado por enquanto até descobrir o que fazer com ele. Com certeza faz algumas coisas estranhas. De algum modo, colocar imagens geradas no ControlNet IP-Adapter realça tudo e produz resultados aleatórios.

Dicas para geração:

• Não tenho ideia... boa sorte.