Introdução do Modelo (parte em inglês)

I Conteúdo

Nesta introdução, você aprenderá sobre:

1. Informações do modelo (veja a Seção II);

2. Instruções de uso (veja a Seção III);

3. Parâmetros de treinamento (veja a Seção IV);

4. Lista de Palavras Disparadoras (veja o Apêndice Parte A)

II AIDXL

Anime Illustration Diffusion XL, ou AIDXL, é um modelo dedicado a gerar ilustrações de anime estilizadas. Possui mais de 800 (com atualizações constantes) estilos embutidos, acionados por palavras disparadoras específicas (veja o Apêndice A).

Vantagens:

• Composição flexível, ao invés da pose tradicional de IA.

• Detalhes habilidosos ao invés de confusão desordenada.

• Conhecimento melhor dos personagens de anime.

III Guia do Usuário

1 Uso básico

1.1 Prompt

1. Palavras disparadoras: Adicione as palavras disparadoras fornecidas no Apêndice A para estilizar a imagem. Palavras disparadoras adequadas melhorarão muito a qualidade;

   Recomenda-se reduzir o peso para palavras disparadoras de estilo de artista, por exemplo, (by xxx:0.6).

2. Ordenação semântica: Organizar as tags ou frases do prompt ajudará o modelo a entender seu significado.

   Ordem de tags recomendada: Palavra disparadora (by xxx) -> personagem (uma garota chamada frieren da série sousou no frieren) -> raça (elfo) -> composição (foto cowboy) -> estilo (impasto ) -> tema (tema fantasia) -> ambiente principal (na floresta, durante o dia) -> fundo (fundo gradiente) -> ação (sentada no chão) -> expressão (sem expressão) -> características principais (cabelos brancos) -> características corporais (rabo de cavalo duplo, olhos verdes, lábio partido) -> roupa (vestido branco) -> acessórios da roupa (babados) -> outros itens (um gato) -> ambiente secundário (grama, luz do sol) -> estética (cor bonita, detalhado, estético) -> qualidade ((melhor qualidade:1.3))

3. Prompts negativos: (pior qualidade:1.3), baixa qualidade, baixa resolução, confuso, abstrato, feio, desfigurado, má anatomia, rascunho, mãos deformadas, dedos fundidos, assinatura, texto, múltiplas vistas

1.2 Parâmetros de Geração

1. Resolução: Garanta que o número total de pixels (=largura * altura) seja cerca de 1024*1024 e que a largura e altura sejam divisíveis por 32, nesse caso o AIDXL produzirá o melhor resultado. Por exemplo, 832x1216 (2:3), 1216x832 (3:2) e 1024x1024 (1:1), etc.

2. Sampler e passos: Use o sampler "Euler Ancester", chamado Euler A no webui. Use cerca de ~28 passos com escala CFG entre 7 a 9.

3. 'Refinar': A imagem gerada por text2image às vezes sai borrada, nesse caso é necessário 'refiná-la' usando image2image ou inpainting, etc.

   Para simples aumento de escala, você pode se referir a: Upscale to huge sizes and add detail with SD Upscale, it's easy! : r/StableDiffusion (reddit.com)

4. Outros componentes: Não é necessário usar nenhum modelo refinador. Use o VAE do próprio modelo ou o sdxl-vae.

P: Como reproduzir a capa do modelo? Por que não consigo reproduzir a mesma imagem da capa usando os mesmos parâmetros de geração?

R: Porque os parâmetros de geração mostrados na capa NÃO SÃO os parâmetros de text2image , mas sim os de image2image (para ampliar). A imagem base é majoritariamente gerada pelo sampler Euler Ancester em vez do DPM sampler.

2 Uso especial

2.1 Estilos Generalizados

A partir da versão 0.7, AIDXL resume vários estilos similares e introduz palavras disparadoras de estilo generalizado. Essas palavras disparadoras representam cada uma uma categoria comum de estilo de ilustração animada. Observe que as palavras disparadoras de estilo generalizado não necessariamente correspondem ao significado artístico literal, mas são palavras especiais que foram redefinidas.

2.2 Personagens

A partir da versão 0.7, AIDXL reforçou o treinamento de personagens. O efeito de algumas palavras disparadoras de personagem já pode alcançar o efeito de Lora, e consegue separar bem o conceito do personagem da sua roupa.

O método de disparo para personagens é: {character} \({copyright}\). Por exemplo, para disparar a heroína Lucy na animação "Cyberpunk: Edgerunners", use lucy \(cyberpunk\); para disparar o personagem Gan Yu no jogo "Genshin Impact", use ganyu \(genshin impact\). Aqui, "lucy" e "ganyu" são nomes de personagens, "\(cyberpunk\)" e "\(genshin impact\)" são as origens dos respectivos personagens, e os parênteses são escapados com barras "\" para evitar que sejam interpretados como tags ponderadas. Para alguns personagens, a parte de direitos autorais não é necessária.

A partir da versão v0.8, existe outro modo de disparo mais fácil: uma {garota/garoto} chamada {personagem} da série {direitos autorais}.

Para a lista de palavras disparadoras de personagens, consulte: selected_tags.csv · SmilingWolf/wd-v1-4-convnext-tagger-v2 at main (huggingface.co). Também, algumas palavras disparadoras extras que não são mencionadas neste documento podem estar incluídas.

Alguns personagens requerem passo extra para disparo. Ao usar, se o personagem não puder ser completamente recriado por uma única palavra disparadora, as características principais do personagem devem ser adicionadas ao prompt.

AIDXL suporta troca de roupas dos personagens. Palavras disparadoras de personagens normalmente não carregam o conceito das roupas do próprio personagem. Se desejar adicionar roupas, é necessário incluir a tag de roupas no prompt. Por exemplo, silver evening gown, plunging neckline refere-se ao vestido da personagem St. Louis (Luxurious Wheels) do jogo Azur Lane. Similarmente, você pode adicionar tags de roupas de qualquer personagem a outros personagens.

2.3 Tags de Qualidade

Qualidade e estética são formalmente treinadas. Utilizá-las nos prompts afetará a qualidade da imagem gerada.

A partir da versão 0.7, AIDXL oficialmente treina e introduz tags de qualidade. As qualidades são divididas em seis níveis, do melhor ao pior: amazing quality, best quality, high quality, normal quality, low quality e worst quality.

Recomenda-se adicionar peso extra às tags de qualidade, por exemplo, (amazing quality:1.5).

2.4 Tags Estéticas

Desde a versão 0.7, tags estéticas foram introduzidas para descrever características estéticas especiais das imagens.

2.5 Fusão de Estilos

Você pode mesclar alguns estilos no seu estilo personalizado. 'Mesclar' significa usar múltiplas palavras disparadoras de estilo ao mesmo tempo. Por exemplo, chun-li, amazing quality, (by yoneyama mai:0.9), (by chi4:0.8), by ask, by modare, (by ikky:0.9).

Algumas dicas:

• Controle o peso e a ordem dos estilos para ajustar o estilo final.

• Adicione as tags ao final do prompt, em vez de no início.

IV Estratégia e Parâmetros de Treinamento

AIDXLv0.1

Usando SDXL1.0 como modelo base, foram usadas cerca de 22 mil imagens rotuladas para treinar durante aproximadamente 100 épocas com um agendador cosseno e taxa de aprendizado de 5e-6 e número de ciclos = 1 para obter modelo A. Em seguida, usando taxa de aprendizado de 2e-7 com os mesmos outros parâmetros para obter modelo B. O modelo AIDXLv0.1 é obtido mesclando o modelo A e B.

AIDXLv0.51

Estratégia de Treinamento

Retoma o treinamento a partir do AIDXLv0.5, são três etapas de treinamento sequenciais:

1. Treinamento com legendas longas: Usa o conjunto completo de dados, com algumas imagens legendadas manualmente. Treina tanto o U-Net quanto o codificador de texto com otimizador AdamW8bit, alta taxa de aprendizado (~1.5e-6) com agendador cosseno. Para o treinamento quando a taxa de aprendizado decai abaixo de um limiar (~5e-7).

2. Treinamento com legendas curtas: Retoma treinamento a partir da saída do passo 1 com os mesmos parâmetros e estratégia, mas com conjunto de dados com legendas mais curtas.

3. Passo de refinamento: Prepara um subconjunto do conjunto do passo 1, contendo imagens manualmente selecionadas de alta qualidade. Retoma o treinamento da saída do passo 2, com taxa baixa de aprendizado (~7.5e-7), com agendador cosseno com reinícios 5 a 10 vezes. Treina até o resultado ser esteticamente bom.

Parâmetros Fixos de Treinamento

• Sem ruído extra como offset de ruído.

• SNR mínimo gama = 5: acelera o treinamento.

• Precisão completa bf16.

• Otimizador AdamW8bit: equilíbrio entre eficiência e desempenho.

Conjunto de Dados

• Resolução: 1024x1024 resolução total (= altura x largura) com estratégia modificada de agrupamento oficial do SDXL.

• Legenda: Legendado pelo modelo WD14-Swinv2 com limiar de 0.35.

• Corte próximo: Cortar imagens em close-ups. Muito útil quando as imagens de treino são grandes ou raras.

• Palavras disparadoras: Mantém a primeira tag das imagens como palavras disparadoras.

AIDXLv0.6

Estratégia de Treinamento

Retoma o treinamento a partir do AIDXLv0.52, mas com uma estratégia adaptativa de repetição - Para cada imagem legendada no conjunto de dados, aumenta seu número de repetições no treinamento sujeito às seguintes regras:

• Regra 1: Quanto maior a qualidade da imagem, maior seu número de repetições;

• Regra 2: Se a imagem pertence a uma classe de estilo:

  • Se a classe ainda não está ajustada ou está subajustada, aumenta manualmente o número de repetições da classe, ou automaticamente aumenta o número de repetições de modo que o total alcance um valor predefinido, cerca de 100.

  • Se a classe já está ajustada ou sobraajustada, diminui manualmente o número de repetições da classe forçando-o a 1 e elimina caso a qualidade seja baixa.

• Regra 3: O número de repetições limita seu valor final para não exceder um certo limite, cerca de 10.

Essa estratégia tem as seguintes vantagens:

1. Protege as informações originais do modelo de um novo treinamento, conceito similar à imagem regularizada;

2. Torna o impacto dos dados de treinamento mais controlável;

3. Equilibra o treino entre diferentes classes, motivando classes ainda não ajustadas e prevenindo sobreajuste nas já ajustadas;

4. Economiza significativamente recursos computacionais e facilita muito a adição de novos estilos ao modelo.

Parâmetros fixos de treinamento

Mesmo que o AIDXLv0.51.

Conjunto de dados

O conjunto de dados do AIDXLv0.6 é baseado no AIDXLv0.51. Além disso, as seguintes otimizações são aplicadas:

• Ordenação semântica da legenda: Ordena as tags da legenda por ordem semântica, por exemplo "gun, 1boy, holding, short hair" -> "1boy, short hair, holding, gun".

• Remoção de duplicatas da legenda: Remove tags duplicadas, mantendo a que retém mais informação. Tags duplicadas significam tags com significado semelhante como "long hair" e "very long hair".

• Tags extras: Adiciona manualmente tags adicionais a todas as imagens, por exemplo "high quality", "impasto", etc. Isso pode ser feito rapidamente com ferramentas.

V Agradecimentos especiais

Patrocínio de poder computacional: Agradecimentos à comunidade @NieTa (捏Ta (nieta.art)) pelo suporte de poder computacional;

Suporte de dados: Agradecimentos a @KirinTea_Aki (Perfil de Criador KirinTea_Aki | Civitai) e @Chenkin (Perfil de Criador Chenkin | Civitai) pelo fornecimento de grande volume de dados;

Não existiria a versão 0.7 sem eles.

VI AIDXL vs AID

2023/08/08. AIDXL foi treinado no mesmo conjunto de treinamento que AIDv2.10, porém supera o AIDv2.10. AIDXL é mais inteligente e consegue fazer muitas coisas que modelos baseados em SD1.5 não conseguem. Também se destaca em distinguir conceitos, aprender detalhes de imagem, lidar com composições difíceis ou impossíveis para SD1.5 e AID. No geral, tem potencial absoluto. Continuarei atualizando o AIDXL.

VII Patrocínio

Se você gosta do nosso trabalho, seja bem-vindo para nos patrocinar através do Ko-fi(https://ko-fi.com/eugeai) para apoiar nossa pesquisa e desenvolvimento. Obrigado pelo seu apoio~

介绍 do Modelo (Parte chinesa)

I Índice

Nesta apresentação, você entenderá:

1. Introdução ao modelo (veja a Parte II);

2. Guia de uso (veja a Parte III);

3. Parâmetros de treinamento (veja a Parte IV);

4. Lista de palavras disparadoras (veja o Apêndice A)

II Introdução ao Modelo

Anime Illustration XL, ou AIDXL, é um modelo dedicado a gerar ilustrações de estilo dois dimensões. Possui mais de 800 estilos embutidos que são acionados por palavras disparadoras específicas (veja o Apêndice A).

Vantagens: composição ousada, sem pose artificial, foco no sujeito, detalhes não exagerados, conhecimento profundo de personagens de anime (disparados pelo nome em romaji, por exemplo, “ayanami rei” para personagem “绫波丽“, “kamado nezuko” para personagem “祢豆子”).

III Guia de uso (em atualização)

1 Uso básico

1.1 Escrita do prompt

1. Use palavras disparadoras: Use as palavras disparadoras fornecidas no Apêndice A para estilizar a imagem. As palavras adequadas aumentarão enormemente a qualidade gerada;

2. Use tags no prompt: Descreva o objeto gerado com tags;

3. Ordene o prompt: Ordenar suas palavras no prompt ajudará o modelo a entender o significado. Ordem recomendada das tags:

   Palavra disparadora (by xxx)-> protagonista (1girl) -> personagem (frieren) -> raça (elf) -> composição (cowboy shot) -> estilo (impasto) -> tema (fantasia) -> ambiente principal (floresta, dia) -> fundo (fundo gradiente) -> ação (sentada) -> expressão (sem expressão) -> características principais (cabelos brancos) -> características corporais (rabo de cavalo duplo, olhos verdes, lábio partido) -> vestimenta (vestido branco) -> acessórios da roupa (babados) -> outros objetos (varinha mágica) -> ambiente secundário (grama, sol) -> estética (cor bonita, detalhado, estético) -> qualidade (melhor qualidade)

4. Prompt negativo: pior qualidade, baixa qualidade, baixa resolução, confuso, abstrato, feio, desfigurado, má anatomia, mãos deformadas, dedos fundidos, assinatura, texto, múltiplas vistas

1.2 Parâmetros de geração

1. Resolução: Garanta que a resolução total da imagem (resolução total = altura x largura) fique em torno de 1024x1024 e que a largura e a altura sejam múltiplos de 32. Exemplo: 832x1216 (3:2), 1216x832 (3:2), e 1024x1024 (1:1).

2. Não utilize o "Clip Skip", ou seja, Clip Skip = 1.

3. Sampler e passos: utilize o sampler “euler_ancester” (sampler), conhecido como Euler A no webui. Use 28 passos em escala CFG 7.

4. Somente utilize o próprio modelo, sem necessidade de utilizar refinador (Refiner).

5. Utilize o vae base do modelo ou o sdxl-vae.

2 Uso especial

2.1 Generalização de estilos

Na versão 0.7, foram resumidos vários estilos semelhantes e introduzidas as palavras disparadoras de estilo generalizado. Essas palavras representam categorias comuns de estilo de ilustração animada.

Note que as palavras disparadoras de estilo generalizado podem não corresponder ao significado artístico literal, sendo palavras especiais redefinidas.

2.2 Personagens

Na versão 0.7 houve reforço no treinamento para personagens. Algumas palavras disparadoras de personagens já alcançam efeito semelhante ao lora e separam bem o conceito do personagem da roupa.

Forma de disparo de personagem: nome do personagem \(obra\). Por exemplo, para disparar a protagonista Lucy do anime "Cyberpunk: Edgerunners" use lucy \(cyberpunk\); para personagem Gan Yu do jogo "Genshin Impact" use ganyu \(genshin impact\). Aqui, “lucy” e “ganyu” são nomes, “\(cyberpunk\)” e “\(genshin impact\)” são as obras respectivas, o parêntese é escapado com "\" para evitar interpretação como tag ponderada. Para alguns personagens, a parte da obra pode ser omitida.

Para lista de palavras disparadoras de personagens, veja: selected_tags.csv · SmilingWolf/wd-v1-4-convnext-tagger-v2 at main (huggingface.co).

Se uma única palavra disparadora não for suficiente para restaurar o personagem, adicione as principais características no prompt.

AIDXL suporta troca de roupas em personagens. Palavras disparadoras de personagens normalmente não incluem roupas; para adicionar roupas, inclua tags de vestuário no prompt, por exemplo, silver evening gown, plunging neckline para o vestido da personagem St. Louis (Luxurious Wheels) do jogo Azur Lane. Pode-se misturar tags de roupas de personagens diferentes.

2.3 Tags de qualidade

A partir da versão 0.7, as tags de qualidade e estética foram formalmente treinadas. Usá-las nos prompts afetará a qualidade da imagem gerada.

As tags de qualidade são divididas em seis níveis, do melhor ao pior: amazing quality, best quality, high quality, normal quality, low quality e worst quality.

Recomenda-se adicionar peso extra às tags, por exemplo, (amazing quality:1.5).

2.4 Tags estéticas

Desde a versão 0.7, foram introduzidas tags estéticas para descrever características estéticas especiais das imagens.

2.5 Fusão de Estilos

É possível mesclar estilos em seu estilo personalizado. 'Mesclar' significa usar várias palavras disparadoras de estilo ao mesmo tempo. Por exemplo, chun-li, amazing quality, (by yoneyama mai:0.9), (by chi4:0.8), by ask, by modare, (by ikky:0.9).

Dicas:

• Controle o peso e ordem das palavras para ajustar o estilo.

• Adicione as palavras ao final do prompt, não no começo.

3 Avisos

1. Use modelos VAE, embeddings de texto e modelos Lora suportados pelo SDXL. Nota: sd-vae-ft-mse-original não é um vae compatível com SDXL; EasyNegative, badhandv4 e outros embeddings negativos também não são compatíveis com embeddings SDXL;

2. Para versões 0.61 e anteriores: ao gerar imagens, recomenda-se fortemente usar embeddings negativos especializados do modelo (baixados na seção Recursos Sugeridos), pois são feitos sob medida e beneficiam exclusivamente o modelo;

3. Novas palavras disparadoras em versões adicionadas podem ter efeitos mais fracos ou instáveis nessa versão atual.

IV Parâmetros de Treinamento

Baseia-se no SDXL1.0, usando cerca de 20 mil imagens anotadas para treinar por 100 épocas com taxa de aprendizado 5e-6 e agendador cosseno com 1 ciclo para obter modelo A. Depois, com taxa de aprendizado 2e-7 e demais parâmetros iguais, obtém-se modelo B. O modelo AIDXLv0.1 é obtido mesclando os modelos A e B.

Para outros parâmetros de treinamento, consulte a versão em inglês da introdução.

V Agradecimentos Especiais

Patrocínio de poder computacional: obrigado à comunidade @捏Ta (捏Ta (nieta.art)) pelo suporte computacional;

Suporte de dados: obrigado a @秋麒麟热茶 (Perfil KirinTea_Aki | Civitai) e @风吟 (Perfil Chenkin | Civitai) pelo fornecimento de grande volume de dados;

Sem eles, não haveria a versão 0.7.

VI Registro de alterações

2023/08/08: AIDXL foi treinado no mesmo conjunto que AIDv2.10, mas apresenta melhor desempenho. AIDXL é mais inteligente, pode fazer muitas coisas que modelos baseados em SD1.5 não conseguem. Também distingue conceitos, aprende detalhes, lida com composições difíceis ou quase impossíveis para SD1.5 e AID. Em resumo, tem limite superior maior que SD1.5. Continuarei atualizando AIDXL.

2024/01/27: Versão 0.7 adicionou muito conteúdo; o tamanho do conjunto de dados dobrou em relação à versão anterior.

1. Para obter anotações satisfatórias, tentei vários novos algoritmos de processamento de tags, como ordenação de tags, randomização hierárquica de tags, separação de características de personagens, etc. Projeto disponível em: Eugeoter/sd-dataset-manager (github.com);

2. Para tornar o treinamento controlável e mais obediente à minha vontade, produzi scripts de treinamento especiais baseados no Kohya-ss;

3. Para controlar o processo de fusão entre diferentes gerações de modelos, desenvolvi alguns algoritmos heurísticos de fusão de modelos; para alcançar estilização suficiente, abandonei a tentativa de melhorar estabilidade e estética fundindo codificadores de texto e a camada OUT do UNET, pois isso prejudicava o estilo do modelo.

4. Para filtrar e selecionar dados, treinei modelos de detecção de watermark, classificação de imagens e avaliação estética para me ajudar a limpar os dados.

VII Apoie-nos

Se você gosta do nosso trabalho, sinta-se à vontade para nos apoiar via Ko-fi(https://ko-fi.com/eugeai) para ajudar em nossa pesquisa e desenvolvimento. Agradecemos seu apoio!

Apêndice / Appendix

A. Lista especial de palavras disparadoras / 特殊触发词列表

• Palavras disparadoras de estilo artístico: Clique aqui

• Palavras disparadoras de estilo de pintura: flat color, clean color, celluloid, flat-pasto, thin-pasto, pseudo-impasto, impasto, realistic, photorealistic, cel shading, 3d

  • flat color: Cores planas, usando linhas para descrever luz e sombra

    平涂：Cores planas, usando linhas e áreas para descrever luz e nível

  • clean color: Estilo entre flat color e flat-pasto. Coloração simples e limpa.

    色彩 limpa: Flat color com simplicidade organizada, entre flat color e flat-pasto

  • celluloid: Coloração de anime

    平涂赛璐璐：Coloração de anime

  • flat-pasto: Cor quase plana, usando gradiente para descrever luz e sombra

    Cor quase plana, usando gradientes para descrever luz e níveis

  • thin-pasto: Contorno fino, usando gradientes e espessura de tinta para descrever luz, sombra e camadas

    Contorno fino, usando gradientes e espessura da tinta para descrever luz, sombra e níveis

    

  • pseudo-impasto: Usa gradientes e espessura da tinta para descrever luz, sombra e níveis

    Pseudo impasto/ semi impasto: usa gradientes e espessura da tinta para descrever luz, sombra e níveis

  • impasto: Usa espessura da tinta para descrever luz, sombra e gradação

    Impasto: usa a espessura da tinta para descrever luz, sombra e gradação

  • realistic

    Realista

  • photorealistic: Redefinido para estilo mais próximo do mundo real

    Fotorealista: redifinido para um estilo mais próximo da realidade

  • cel shading: Estilo de modelagem 3D de anime

    Cel shading: estilo de modelagem 3D do universo de animação

  • 3d

    

• Palavras disparadoras estéticas:

  • beautiful

    Bonito

  • aesthetic: sentido artístico levemente abstrato

    Estético: sentimento artístico levemente abstrato

  • detailed

    Detalhado

  • beautiful color: uso sutil de cores

    Cor harmoniosa: uso delicado de cores

  • lowres

  • messy: composição ou detalhes confusos

    Confuso: composição ou detalhes desordenados

• Palavras disparadoras de qualidade: amazing quality, best quality, high quality, low quality, worst quality