Anti-blur Flux Lora - v1.0

AntiBlur Lora foi significativamente melhorada!

Melhorias no novo Lora:

• DoF pode ser ajustada pelo peso do Lora.

Portanto, um peso 0 resultará em uma DoF rasa, típica das gerações Flux.

Um peso padrão de 1.0 reduzirá a DoF para uma imagem (esperançosamente) mais agradável, sem mudanças significativas no estilo e composição. O objetivo foi fazer com que a DoF no peso 1.0 fosse exatamente como se espera: bokeh sutil aqui e ali, sem exageros como muitas vezes ocorre com Flux (mais sobre isso depois).

Um peso acima de 1.0 pode ser usado para fazer imagens com DoF profunda. O Lora pode lidar com pesos até 3.0 e além sem degradação significativa na qualidade.

• Estilisticamente neutro

O conjunto de dados foi composto por centenas de imagens criadas com Flux, para não desviar muito do estilo do modelo original, enquanto um pequeno número de fotos reais foi usado para manter o Flux sem degradação na composição (o que acontece quando se treina a IA com suas próprias imagens).

• Combina bem com Hires. fix

Este Lora funciona bem com hiresfix, permitindo aumentar ainda mais os detalhes e minimizar DoF rasa. Isso não acontecia com o Flux básico, pois ao tentar aplicar hires. fix em uma imagem desfocada com DoF rasa, ela ainda permanecia desfocada com o mesmo efeito de DoF. É necessário que os detalhes comecem a aparecer na imagem para que o hires.fix possa aprimorá-los.

• Sem mais palavras-chave de ativação

Basta conectar o Lora e ele fará o trabalho.

• Muito menos artefatos

O uso de imagens geradas pelo Flux minimiza artefatos. Também treinei muitos modelos e fiz uma fusão dos melhores usando ferramenta fornecida por anashel (isso suavizou as bordas dos modelos individuais que causavam artefatos. Além disso, a fusão se mostrou especialmente útil para tornar o modelo mais estilisticamente diverso).

Por que o peso do Lora é 655mb

Parecia-me que um Lora com efeito basicamente de "DoF profunda" deveria ser pequeno, já que não introduz um novo estilo ou conceito, apenas remove a DoF rasa.

Então, testei diferentes ranks de Lora, mas como foi constatado, as informações sobre os fundos estão espalhadas por todo o espaço latente, e quanto maior o modelo, melhores os resultados. Por isso optei pelo Lora rank 128.

É possível isolar as camadas do Lora e usar apenas as que têm informações de DoF, mas as informações sobre DoF estão espalhadas pela maioria das camadas. Por exemplo, ao gerar imagens macro, a DoF é gerada nas primeiras camadas. Informações sobre fundos estão realmente em toda parte no modelo, e a constante DoF rasa é apenas o modo como os dados de treino eram para Flux. Para piorar, o Flux tem um entendimento pobre sobre o conceito de DoF e desfoque. Assim, não só está presente em quantidade muito maior que em SD1.5/SDXL, como também oferece controle muito pior sobre isso do que SD1.5/SDXL.

Como este Lora foi feito

Primeiro, compilei um enorme conjunto de dados com técnicas de empilhamento de foco e DoF profunda, e treinei um novo Lora com isso. Depois, usando este Lora, criei imagens para um novo conjunto de dados.

Tenho várias centenas de variantes do Lora "antiblur", selecionei as melhores, cada uma com suas vantagens, e combinei em um modelo bem equilibrado.

E o que vem a seguir?

Como quanto maior o rank, melhor a qualidade, o modo óbvio para melhorar o resultado seria treinar um fine-tune completo (efetivamente tocando todos os cantos do espaço latente onde há informações sobre fundos) e então extrair o Lora.

Outra opção teórica é encontrar o conceito/pesos de "blur" ou "dof" no espaço latente do Flux e criar um Lora com pesos invertidos. Porém, este método não foi muito eficaz para controle de DoF em modelos baseados em SD.

No momento, porém, estou satisfeito com o resultado. Este modelo continuará sendo meu melhor esforço por enquanto.