LEOSAMs HelloWorld XL - HelloWorld XL 60

🖥️Bem-vindo para experimentar o open-source GPT4V-Image-Captioner, desenvolvido por meu amigo e por mim. Ele oferece instalação com um clique e vem integrado com múltiplas funcionalidades incluindo pré-compressão de imagens, marcação de imagens e estatísticas de tags. Recentemente, também lançamos a versão plugin webui dessa ferramenta, todos são bem-vindos a usá-la!

🌍欢迎加入QQ群"兔狲·AIGC梦工北厂"，群号 ：780132897 ；"兔狲·AIGC梦工南厂"，群号 ：835297318（入群答案：兔狲）。Telegram群聊“兔狲的SDXL百老汇”，链接：https://t.me/+KkflmfLTAdwzMzI1

📖Atualização HelloWorld 7.0 - 13 de junho de 2024

Resumo da atualização em uma frase: HelloWorld 7.0 é uma versão otimizada iterativamente, com o melhor desempenho corporal de toda a série, e escopo conceitual e riqueza de detalhes ainda mais aprimorados.

Detalhes da atualização:

1. Adicionando imagens negativas para treinamento, fortalecendo o treinamento de poses e otimizando o modelo clip, a precisão dos membros e mãos do modelo foi aprimorada em relação às versões anteriores. As palavras recomendadas para prompts negativos são: "mão ruim, anatomia ruim, pior qualidade, imagens geradas por IA, baixa qualidade, qualidade média".

2. Extraído o LoRA ajustado a partir do modelo oficial SPO e incorporado ao HelloWorld 7.0. SPO é uma melhoria do método DPO. O modelo base SPO é usado para melhor desempenho do que o modelo base DPO XL e o modelo base original SDXL. O LoRA SPO pode aprimorar detalhes e contraste das imagens e embelezar as imagens. Agradecimentos à equipe técnica por trás do SPO.

3. Continuou a expandir o escopo conceitual do conjunto de treinamento, mas otimizou e simplificou o conjunto de treinamento (afinação em grandes conjuntos é muito cara, e H800 está difícil de alugar recentemente, sem condições de suportar o tempo de treinamento local). O conjunto de treinamento atual contém 20.821 imagens. A distribuição das resoluções do conjunto de treinamento é a seguinte, e recomenda-se usar várias resoluções com maior número de imagens para saída:

   (832, 1248) - Contagem: 7128
   (896, 1152) - Contagem: 6250
   (1248, 832) - Contagem: 2402
   (1024, 1024) - Contagem: 1639
   (1360, 768) - Contagem: 928
   (1152, 896) - Contagem: 870
   (768, 1360) - Contagem: 432
   (960, 1088) - Contagem: 506
   (992, 1056) - Contagem: 162
   (1088, 960) - Contagem: 140
   (704, 1472) - Contagem: 120
   (1056, 992) - Contagem: 122
   (1472, 704) - Contagem: 115
   (1632, 640) - Contagem: 75
   (640, 1632) - Contagem: 12

4. Usado GPT4O para relabelar todos os conjuntos de dados. Desta vez, foi usado um método de rotulagem estruturado, com a estrutura específica: "descrição resumida em uma frase + múltiplas tags de elementos da imagem + inspirado por XXX + palavras de descrição da qualidade estética", onde as palavras de qualidade estética são divididas em cinco níveis: pior qualidade, baixa qualidade, qualidade média, melhor qualidade e obra-prima. Um exemplo típico de rotulagem é o seguinte:

   arte conceitual apresentando uma mão humana envolta em fitas vermelhas e bege, isolada contra um fundo liso e claro, estilo realista, esquema minimalista de cores, texturas suaves, estética alongada e surreal, inspirado nas obras surrealistas de salvador dalí, obra-prima

A "Lista de Palavras de Marcação de Alta Frequência" e a "Lista de Estilos de Arte de Alta Frequência" envolvidas no "inspirado por XXX" para a versão HelloWorld 7.0 somente serão fornecidas a usuários com licença comercial. Parceiros que compraram a autorização do modelo da série Helloworld XL anteriormente, por favor, entre em contato comigo caso haja alguma omissão para obtê-la gratuitamente.

Os usuários podem consultar a Lista de Palavras de Marcação de Alta Frequência do HelloWorld 6.0. Além disso, forneci mais de 150 imagens de exemplo de alta qualidade do HelloWorld 7.0 na galeria, que podem ser usadas como referência para a saída de todos. Criar modelos não é fácil, agradeço a compreensão e paciência dos usuários!

📖Atualização HelloWorld 6.0 - 20 de abril de 2024

Lista das 250 Palavras de Marcação de Alta Frequência do LEOSAM HelloWorld 6.0

Obrigado pela paciência. Estive procurando emprego recentemente, o que causou alguns atrasos nas atualizações do HelloWorld. Aqui estão as principais atualizações na versão 6.0:

• O HelloWorld 6.0 é uma melhoria iterativa baseada na versão 5.0. Baseado nos meus próprios testes, o efeito de realismo não é significativamente diferente da versão 5.0. A principal vantagem da versão 6.0 está na cobertura mais ampla dos conceitos no conjunto de treinamento. Segundo feedback, melhorias foram feitas em vários temas, incluindo surrealismo, boudoir, fotos em grupo, máscaras, origami, renders 3D, carros, dragões e fotografia de maternidade. Alguns exemplos são fornecidos nas ilustrações.

• O HelloWorld 6.0 inclui intencionalmente algumas imagens de baixa qualidade no treinamento para aprimorar a resposta do modelo a promptes negativos. Recomenda-se usar os seguintes termos em promptes negativos: "baixa qualidade, artefatos jpeg, borrado, mal desenhado, feio, pior qualidade".

• O corpo principal do conjunto de treinamento HelloWorld 6.0 utiliza marcação GPT4v. Para imagens que o GPT4v não consegue marcar, usa-se cogVQA guiado por blip2-opt-6.7b para marcação. O estilo de linguagem de marcação desses modelos multimodais difere significativamente do tagger tradicional WD1.4. Para facilitar o acionamento mais preciso de diferentes conceitos no conjunto de treinamento, compilei as 250 palavras de marcação de alta frequência do conjunto de treinamento HelloWorld 6.0. Você pode visualizar essas palavras de alta frequência neste documento.

Finalmente, embora o SD3 esteja prestes a ser lançado, continuarei atualizando para HelloWorld XL 7.0, esperando alcançar maiores aprimoramentos na versão 7.0!