SDXL / Flux.1 D - Preto Fosco (Vanta) - Experimento - SDXL v2.0

Flux.1 D - V2.0

Última tentativa de fazer funcionar no Flux... e por funcionar quero dizer ferrar as coisas o máximo possível. Provavelmente nunca fará a mesma coisa que fez na versão SDXL. Mesmo após 6000 passos e só pela observação já era bastante óbvio. SDXL é tipo "ok, vou aprender, mas vou colocar meu toque", enquanto Flux luta / compensa loucamente contra qualquer coisa que não sabe como lidar ou exatamente o que quero que aprenda. Por outro lado, após um longo treino, ele vai produzir aquelas imagens de forma intensa, a ponto de copiar os dados de treino 1/1, resultando em quase preto puro. Flux pode copiar uma imagem perfeitamente, como fotos, mesmo após poucos passos.

Como mencionei na última versão Flux, no geral é algo que quero misturar com outras LoRAs mais coloridas ou que tenham um certo estilo definido.

As mesmas imagens da SDXL v.3.0 com mais algumas adicionadas para a versão Flux (algumas em formato paisagem). Mas... removi 3 imagens que provavelmente eram responsáveis por pelo menos 80% das imagens postadas por mim ou outras pessoas. Era algo que queria fazer na versão SDXL, mas na época decidi não. O motivo é que essas imagens eram dominantes demais causando muito comportamento estranho e um viés para criar imagens específicas. Vi isso na versão Flux v.1.0 e agora elas sumiram. A popularidade provavelmente vai cair aqui, mas não me importo.

Sinto que muitas pessoas usam uma certa LoRA só porque está no seu "pipeline", acho eu. Em alguns casos, imagens feitas sem LoRA ficam melhores e você nunca saberia. LoRAs de estilo são outra coisa, porque adicionam um estilo que é bem perceptível na geração da imagem. Este aqui no entanto tem muito potencial para piorar tudo, por isso não selecionei a dedo as imagens que postei, só para mostrar o que quero dizer. Se você adiciona algo com um brilho forte ou uma fonte de luz como uma vela, Flux (e alguns modelos SDXL) adiciona um ambiente escuro sozinho, porque uma fonte de luz precisa de alguma escuridão para ser perceptível (farol de um carro em dia ensolarado não faz muito efeito).

E nem pergunte se funciona na versão NF4 ou QQUFUF 5.64.3255 K4 2 ou sei lá o quê. O arquivo não é muito grande, então você pode testar por si mesmo. Vou ficar longe desses modelos a menos que ofereçam mais benefícios que uma versão normal Dev FP8/16 além de menor consumo de memória e/ou aumento de velocidade desprezível (ou pior, queda de velocidade).

Sei como é chato quando alguém lança uma nova versão de qualquer tipo de modelo em pouco tempo quando você acaba de se acostumar com o anterior. Não vou insistir nessa versão e só vou ver se eu ou outra pessoa consegue algo útil com ela.

Além disso, o trabalho para preparar as imagens no Photoshop não vale a pena, especialmente se você sabe que não vai mudar nada. Prefiro fazer algo novo, ou mais provável estúpido, que seja interessante ou crie efeitos aleatórios... ou apenas fluxificar modelos antigos para ver o que acontece.

Flux.1 D - V1.0

Após mexer com Kohya e outros, para minha surpresa, testes bem-sucedidos com LoRAs de conceito estranho para Flux, pensei em tentar este para ver se funcionava. Na verdade, meu objetivo não era criar uma versão Flux, já que Flux vai bem com contraste (na maior parte). Meu objetivo principal era acabar com esse aspecto artificial/falso e pensei que um dataset tão "indefinido" poderia ajudar. Bem, às vezes funciona ou piora ainda mais.

Como na versão SDXL, é mais para ser usado com outras LoRAs, especialmente as que adicionam muita cor.

Desculpe pela preguiça com os prompts e imagens. Usei basicamente as mesmas coisas que em V.3.0, mas deve servir para demonstração por enquanto. Às vezes apaga detalhes e não adiciona algo particularmente interessante (como a imagem da água-viva ou o papagaio).

• Mesmo seed para imagens correspondentes

• As primeiras 2 imagens são com e sem LoRA, depois a ordem é invertida, primeiro sem e depois com LoRA (às vezes com forças diferentes)

• Algumas têm palavras gatilho no início, mas duvido que sejam necessárias no Flux

• Baseado no dataset V1.0, não no novo (não quis usar muitas imagens)

Não sei se quero fazer mais LoRAs para Flux, mas vou testar bastante. Está confuso no momento com todas essas versões diferentes e não parece valer a pena gastar muito tempo em algo que pode estar obsoleto em 10h.

E só um aparte: foi treinado com 4060 TI (16 GB), uso máximo de VRAM entre 14.4 e 15.2 GB, 3.95s/it - 5.15s/it, 512x, Rank 4.... então, aqui não precisa de 4090. Claro que seria mais rápido, mas se puder iniciar e esquecer fazendo outra coisa enquanto roda, não é problema, a menos que queira testar algo.

Como sempre, vou usar aqui e ali para ver se tiro algo útil. Mais provável só para satisfazer a curiosidade.

V.3.0

Após minha pequena confusão com a v2.0, garanti que desta vez é sério, sem combinações ou qualquer coisa do tipo. Fiquei meio cético no começo, pela quantidade de imagens adicionadas, que desviaria muito da primeira versão, mas felizmente não foi assim.

Estou realmente feliz que muitas pessoas encontraram utilidade para esta LoRA e criaram muitas imagens. Considerando que nunca foi feita para o que está fazendo agora, é legal ver que tem outra função ou pode ser usada para algo diferente (como todas as LoRAs).

Provavelmente será a última versão por um bom tempo porque só adicionar mais imagens não vai mudar o efeito principal. A maior parte é resultado do uso de diferentes modelos, combinações de LoRAs e prompts de qualquer forma.

Vou focar mais em criar imagens para encontrar mais combinações (e relaxar um pouco), fazer LoRAs estranhas novas, corrigir as antigas etc. Também baixei muita coisa de outras pessoas e para a maior parte nem usei.

Obrigado novamente por todas as imagens postadas até agora e espero ver mais, mesmo que todas as LoRAs tenham vida útil neste setor de IA que anda rápido e o fator novidade inevitavelmente termina. :)

V2.0

Pequeno anúncio para V2.0 (02.04 ou 04.02 dependendo do seu país, acho)

Bem, sou oficialmente um idiota.

Comecei a treinar outra LoRA quando notei que nada acontecia nas imagens exemplo mesmo após 2000 passos, o que é praticamente impossível. Procurei o motivo e vi uma configuração que não tinha ajustado (ou definido corretamente) que era o aquecimento de LR (LR warmup). Normalmente não uso passos de warmup, mas no que testei antes quis ver o que realmente fazia. Isso foi num dataset de umas 4 imagens. Sempre uso configuração de 100 Epochs, mas configurado para gerar um modelo a cada 500 passos e não por epoch. O Warmup estava em 32%, então 4 imagens x 10 repetições x 100 Epochs = 4000 passos (32% warmup = 1280 passos onde quase nada acontece).

Agora, essa LoRA tinha as mesmas configurações, só que com 60 imagens (60 x 10 x 100 = 60000 - 32% warmup = 19200 passos)... então mesmo após 12000 passos não tinha nem começado, o que significa que basicamente treinei só ar quente. Explica muito na verdade. Como adormeci, não percebi isso, embora fosse estranho demorar tanto para fazer efeito, o que achei que era por causa das imagens.

É... essa é uma falha e grande parte do que faz vem da junção com V1.0.

Vou treinar de novo no fim de semana quando voltar do trabalho, desta vez com as configurações certas.

Desculpe mesmo por isso. Talvez tenha sido uma brincadeira não intencional de 1º de abril :) .... :(

Adicionei mais algumas fotos porque tenho usado bastante ultimamente e não fazia upload de LoRA nova há algum tempo, mais por causa do trabalho e escolher assuntos complicados e estressantes que têm que ser feitos da forma mais complicada possível... o resto seria chato.

Além disso, gastei muito tempo desmontando Pony, o que me surpreende em certos aspectos. Se deixar de lado todo o conteúdo Furry, Anime e pornô geral, é quase mais básico que o Base XL, o que é bom para adicionar conceitos e estilos via treino LoRA, mas sabe coisas mais complexas como posicionamento, emoções, ângulos estranhos etc... mas isso é outra história.

Não sei quanto mais treino vou conseguir fazer este ano. Talvez faça coisas mais fáceis entre as outras, mas vai saber. IA anda rápido, pode aparecer coisa nova em um mês... ou uma semana.

• Testei o mesmo seed e modelo com imagens geradas antes. A mudança é sutil em alguns casos e extrema em outros (e agora sei o motivo: leia o anúncio)

• Também desculpe por não fazer mais variações nas imagens mostradas. Às vezes leva mais tempo preparar as fotos do que treinar a LoRA, mas isso não deve importar muito aqui. Mais coisas virão naturalmente de qualquer forma.

V1.0

Tentei forçar um pouco a IA para ver o que ela captaria em imagens de treino quase completamente pretas e com formas muito tênues.

Foi quase impossível preparar o dataset no Photoshop porque praticamente não enxergava nada. Claro que cada pessoa tem configurações de monitor diferentes, então é difícil dizer se essas imagens eram realmente tão escuras, mas cansava muito os olhos. Até agora olhar as imagens geradas é meio difícil, embora não sejam tão escuras quanto as de treino.

Fiquei surpreso que o modelo captou algo. Vou deixar de lado até descobrir o que fazer com ele. Certamente faz coisas estranhas. Colocar as imagens geradas no ControlNet IP-Adapter de alguma forma melhora tudo e gera resultados aleatórios.

Dicas para gerar:

• Não faço ideia... boa sorte.