Corpo transparente | Experimental - v1.0 - Normal

v2.4

Obrigado a @Foredev pela dica, que financiou uma grande quantidade de experimentos. Esta versão finalmente produz resultados que eu gosto mais do que a v1, mas tenho curiosidade em saber de vocês como ela se compara no uso de vocês.

Indicar características específicas com força total, como expressões faciais, pode sobrepor o efeito transparente. Reduzir o peso do prompt, por exemplo, "(sorriso:0.7)", pode produzir resultados que interpolam com sucesso entre ambos os conceitos.

v2.3

Tentei sem sucesso melhorar o modelo. Esta versão apresenta menos artefatos antigos, mas é menos consistente ao produzir o efeito. Se eu for gastar todo esse buzz treinando modelos ruins, posso muito bem liberar um deles para vocês experimentarem. Talvez encontrem uma utilidade.

v1 - Large

O mesmo conjunto de dados da v1 - Normal em um lora que é duas vezes maior. Os resultados parecem promissores, mas seu feedback seria apreciado.

v1 - Normal (Recomendado)

Com um conjunto de dados aprimorado, os resultados melhoraram. Ainda há uma forte influência de estilo que pende para um estilo anime e os fundos mostram overfitting. O efeito funciona melhor quando o fundo é um padrão repetitivo (como paredes de pedra, caminhos de concreto) ou inclui elementos que se estendem pelo sujeito (janelas, bordas etc). Apesar de não ter sido marcado para isso, adicionar "cabeça transparente" pode melhorar a transparência da cabeça quando usado junto com "corpo transparente".

Adicionar tags como "roupas transparentes" ao negativo pode gerar um estilo mais invisível. Alguns problemas também podem ser resolvidos adicionando "tatuagem" ao negativo.

v0

Prova de conceito: Esta é uma prova de conceito para treinar um conceito em imagens sintéticas e modificadas. O conjunto de dados inicial era muito pequeno e o modelo resultante é muito trabalhado, mas mostra sinais de compreensão do conceito.

Explicação do Método

As versões v0 e v1 foram treinadas inteiramente com dados sintéticos criados gerando um sujeito e um fundo independentemente e então compondo um sujeito semitransparente sobre um fundo usando software de edição de imagem.

Essa abordagem tem uma desvantagem óbvia, que os dois componentes não estão bem integrados. Como então criar um sujeito de corpo inteiro orientado corretamente para o ângulo de visão do fundo? Minha solução foi recorrer à minha ferramenta favorita, o lineart controlnet.
O prompt inicial foi:

1garota, em pé, corpo inteiro, virando, olhando para trás, cabelo longo e loiro, jaqueta vermelha, jeans azul, parque, grama, banco, caminho de concreto, obra-prima, melhor qualidade, detalhe incrível, alta definição

Que poderia ser modificado para o sujeito isolado:

1garota, em pé, corpo inteiro, virando, olhando para trás, cabelo longo e loiro, jaqueta vermelha, jeans azul, fundo simples, obra-prima, melhor qualidade, detalhe incrível, alta definição

e um prompt para o fundo:

sem humanos, parque, grama, banco, caminho de concreto, obra-prima, melhor qualidade, detalhe incrível, alta definição

Mascarar o sujeito torna-se muito mais fácil com um fundo simples. Então ele pode ser sobreposto como sujeito transparente sobre um fundo totalmente detalhado. Mesmo usando um modelo que não entendia "corpo transparente", ainda fomos capazes de criar dados sintéticos de treinamento para que pudesse aprender. Muito legal!

Antes disso eu não sabia se essa era uma abordagem viável. Os resultados, embora não incríveis, são melhores do que eu esperava.