SDXL / Flux.1 D - Preto Fosco (Vanta) - Experimento - SDXL v1.0

Flux.1 D - V2.0

Última tentativa de fazer funcionar no Flux... e por fazer funcionar quero dizer bagunçar as coisas o máximo possível. Muito provavelmente nunca fará a mesma coisa que fez na versão SDXL. Mesmo após 6000 passos e só pela observação já era bastante óbvio. SDXL é mais como "ok, vou aprender, mas vou dar meu próprio toque" enquanto o Flux luta / compensa loucamente contra tudo que não sabe o que fazer ou exatamente o que quero que aprenda. Por outro lado, após um treino longo ele produz totalmente essas imagens com força, a ponto de copiar os dados de treino 1/1 o que resulta em quase preto puro. Flux pode copiar uma imagem perfeitamente, como fotos, mesmo após poucos passos.

Como disse na última versão Flux, na maior parte é algo que quero misturar com outras LoRAs que sejam mais coloridas ou tenham um certo estilo.

Mesmas imagens da SDXL v.3.0 com várias a mais adicionadas para a versão Flux (algumas no formato paisagem). Mas... removi 3 imagens que provavelmente eram responsáveis por pelo menos 80% das imagens postadas por mim ou outras pessoas. Isso era algo que queria fazer na versão SDXL, mas decidi não fazer na época. O motivo é basicamente que essas imagens eram dominantes demais causando muito comportamento estranho e viés para criar imagens específicas. Vi isso na versão v.1.0 do Flux e agora elas se foram. A popularidade provavelmente sofrerá um impacto aqui, mas tanto faz para mim.

Sinto que muitas pessoas usam certa LoRA só porque está no "pipeline", eu acho. Em alguns casos imagens feitas sem LoRA ficam melhores e você nem perceberia. LoRAs de estilo são outra coisa, porque adicionam um estilo que é bem aparente ao gerar imagens. Este aqui no entanto tem muito potencial para piorar tudo, por isso não selecionei a dedo as imagens que postei só para mostrar o que quero dizer com isso. Se você adiciona algo que tenha um forte brilho ou uma fonte de luz como uma vela, Flux (e alguns modelos SDXL) adiciona um ambiente escuro por si só, porque uma fonte de luz sempre precisa de algum tipo de escuridão para ser perceptível (farol de carro em dia de sol não faz muito efeito).

E nem pergunte se funciona nas versões NF4 ou QQUFUF 5.64.3255 K4 2 ou seja lá o que for. O arquivo não é tão grande, então você pode testar por conta própria. Vou manter distância de qualquer um desses modelos a menos que ofereçam mais benefícios que uma versão normal Dev FP8/16 além de menor consumo de memória e/ou aumento de velocidade desprezível (ou pior, diminuição de velocidade).

Sei como pode ser irritante quando alguém lança uma nova versão de qualquer tipo de modelo em pouco tempo se você acabou de se acostumar. Não vou me aprofundar mais nesse e só ver se eu ou outra pessoa consegue algo útil com ele.

Além disso, o trabalho para preparar as imagens no Photoshop não vale a pena, especialmente se você sabe que não vai mudar nada. Prefiro fazer algo novo, ou mais provável, estúpido, que seja interessante ou crie efeitos aleatórios... ou simplesmente fluxificar modelos antigos para ver o que acontece.

Flux.1 D - V1.0

Depois de mexer um pouco com Kohya e outros, para minha surpresa, testes bem-sucedidos com LoRAs conceituais bem estranhas para Flux, achei que daria uma chance a este para ver se funciona. Na verdade, não era meu objetivo ter uma versão Flux, pois o Flux já faz um bom trabalho com contraste (na maior parte). Meu objetivo principal era me livrar daquele aspecto artificial/falso e pensei que um conjunto de dados tão "indefinido" funcionaria. Bem, às vezes funciona ou piora ainda mais.

Como na versão SDXL, é mais algo para usar com outras LoRAs, especialmente as que adicionam muita cor.

Desculpe por ter sido meio preguiçoso com os prompts e as imagens. Usei praticamente as mesmas coisas que na V.3.0, mas deve servir para demonstração por enquanto. Às vezes mata os detalhes e não adiciona algo particularmente interessante (imagem da água-viva, por exemplo, ou o papagaio).

• Mesma seed para imagens correspondentes

• As duas primeiras imagens são com e sem LoRA, depois está invertido, ou seja, primeiro sem depois com LoRA (às vezes em intensidades diferentes)

• Algumas têm as palavras gatilho no início, mas duvido que sejam necessárias no Flux

• Baseado no conjunto de dados V1.0, não no novo (não quis usar muitas imagens)

Não sei se quero fazer mais LoRAs para Flux, mas vou testar bastante. Está bem confuso no momento com todas as versões diferentes e não parece valer a pena gastar muito tempo com algo que pode ficar obsoleto em 10h.

E, só uma nota: foi treinado com uma 4060 TI (16 GB), entre 14.4 e 15.2 GB de VRAM usada, 3,95s/it - 5,15s/it, 512x, Rank 4... então, não precisa de 4090 aqui. Claro que seria mais rápido, mas se você pode só iniciar o treino e fazer outra coisa enquanto isso não é realmente um problema, a menos que queira testar algo.

Como sempre, tentarei usar aqui e ali para ver se consigo algo significativo. Provavelmente só para saciar minha curiosidade.

V.3.0

Depois da minha pequena falha com a v2.0, tomei cuidado para garantir que desta vez é a versão real, sem mesclagens ou algo assim. Estava um pouco cético no início, por causa da quantidade de imagens adicionadas, que pudesse se distanciar demais da primeira versão, mas felizmente não aconteceu.

Estou muito feliz que muita gente achou uso para essa LoRA e fez tantas imagens. Considerando que nunca foi para fazer o que está fazendo agora, é legal ver que tem outro propósito ou que pode ser usada para algo diferente (como todas as LoRAs).

Essa provavelmente (mais provavelmente) será a última versão por um bom tempo porque só adicionar mais imagens não mudará o efeito principal. A maior parte disso é feita usando diferentes modelos, combinações de LoRA e prompts mesmo.

Vou focar mais em realmente criar imagens para encontrar mais combinações (e para relaxar um pouco), fazer novas LoRAs estranhas, corrigir LoRAs antigas etc. Também baixei muita coisa de outras pessoas e na maior parte não tive chance de usar nenhuma delas.

Obrigado novamente por todas as imagens postadas até agora e espero ver mais, mesmo que toda LoRA tenha uma vida útil nesse setor de IA que muda rápido e o fator novidade inevitavelmente acaba. :)

V2.0

Pequeno anúncio para a V2.0 (02.04 ou 04.02 dependendo do seu país, acho)

Bem, sou oficialmente um idiota.

Comecei a treinar outra LoRA quando percebi que nada estava acontecendo nas imagens de amostra mesmo após 2000 passos, o que é praticamente impossível. Então procurei o motivo e vi uma configuração que não mudei de volta (ou nesse caso não configurei corretamente) que é o LR warmup. Normalmente não uso warmup steps, mas no que eu fiz antes estava testando o que ele realmente faz. Isso foi em um conjunto de dados de umas 4 imagens. Sempre tenho a configuração de 100 Épocas, mas está configurado para gerar um modelo a cada 500 passos e não por época. Warm Up estava definido para 32%, então 4 imagens x 10 repetições x 100 Épocas = 4000 passos (32% warmup = 1280 passos onde quase nada acontece).

Agora, essa LoRA tinha as mesmas configurações, só que com 60 imagens (60 x 10 x 100 = 60000 - 32% warmup = 19200 passos)... então, mesmo após 12000 passos nem tinha começado direito, o que significa que praticamente treinei só ar quente. Explica muita coisa na verdade. Como adormeci, não percebi, embora tenha sido meio estranho levar tanto para ter efeito, o que pensei que era culpa das próprias imagens.

Pois é... então essa é uma fracassada e a maior parte do que faz vem da mesclagem com a V1.0.

Vou treinar de novo no fim de semana quando voltar do trabalho, dessa vez com as configurações corretas.

Desculpem por isso. Talvez tenha sido só uma piada involuntária de primeiro de abril :) .... :(

Adicionei algumas imagens a mais porque estou usando bastante ultimamente e não fazia upload de uma nova LoRA faz um tempo, o que é basicamente uma combinação de eu ter muito trabalho e escolher assuntos complicados que também "precisam" ser feitos da forma mais complicada possível... todo o resto seria chato.

Além disso, gastei muito tempo desmontando o Pony, o que me surpreende em alguns aspectos. Se você deixar de lado todo o conteúdo Furry, Anime e pornográfico geral, é quase mais básico que o modelo Base XL, o que é bom para adicionar conceitos e estilos via treinamento LoRA, mas sabe coisas muito mais complexas como posicionamento, emoções, ângulos estranhos etc... mas isso é outra história completamente diferente.

Não sei quanto mais treino vou fazer este ano. Talvez faça algumas coisas mais fáceis entre elas, mas vai saber. IA está evoluindo rápido, pode ter novidade em um mês... ou em uma semana.

• Testei a mesma seed e o mesmo modelo com imagens geradas anteriormente. A mudança é sutil em alguns casos e extrema em outros (e agora sei o motivo: veja o anúncio)

• Desculpe também por não fazer mais variações nas imagens demonstradas. Às vezes leva mais tempo para preparar as imagens que para treinar a LoRA, mas não deve importar muito neste caso. Mais coisas virão naturalmente de qualquer forma.

V1.0

Tentei forçar um pouco a IA para ver o que captaria em imagens de treino quase completamente pretas e com apenas um formato tênue.

Foi quase impossível preparar o conjunto de dados no Photoshop porque eu praticamente não via nada. Claro que cada pessoa tem configurações diferentes no monitor etc., então é difícil dizer se essas imagens eram realmente tão escuras, mas foi muito cansativo para meus olhos. Mesmo agora olhar as imagens geradas é meio difícil, embora não sejam tão escuras quanto as imagens de treino.

Fiquei surpreso que o modelo pegou algo. Vou deixá-lo de lado por enquanto até descobrir o que fazer com ele. Certamente faz algumas coisas estranhas. De alguma forma, colocar as imagens geradas no ControlNet IP-Adapter realça tudo e produz resultados aleatórios.

Dicas para geração:

• Não faço ideia... boa sorte.