HelloWorld XL de LEOSAM - HelloWorld XL 1.0

🖥️Bem-vindo para testar o GPT4V-Image-Captioner open-source, desenvolvido por mim e meu amigo. Ele oferece instalação com um clique e vem integrado com diversos recursos, incluindo pré-compressão de imagem, marcação de imagens e estatísticas de tags. Recentemente, também lançamos a versão plugin webui desta ferramenta, todos são bem-vindos a usá-la!

🌍Bem-vindo a entrar no grupo QQ "兔狲·AIGC梦工北厂" com número: 780132897; "兔狲·AIGC梦工南厂" com número: 835297318 (resposta para ingressar: 兔狲). Grupo do Telegram “兔狲的SDXL百老汇”, link: https://t.me/+KkflmfLTAdwzMzI1

📖Atualização HelloWorld 7.0 - 13 de Junho de 2024

Resumo em uma frase: HelloWorld 7.0 é uma versão otimizada iterativamente, com o melhor desempenho corporal de toda a série, ampliando ainda mais o escopo conceitual e a riqueza de detalhes.

Detalhes da atualização:

1. Ao adicionar imagens negativas de treinamento, fortalecer o treino de poses e otimizar o modelo clip, a precisão dos membros e mãos melhorou em relação às versões anteriores. As palavras recomendadas em prompt negativo são: "mão ruim, anatomia ruim, qualidade pior, imagens geradas por IA, baixa qualidade, qualidade média".

2. Extraído o LoRA ajustado do modelo oficial SPO e incorporado no HelloWorld 7.0. SPO é uma melhoria da técnica DPO. O modelo base SPO oferece melhor performance que o DPO XL base e o SDXL base original. O SPO LoRA pode realçar detalhes & contraste e embelezar as imagens. Agradecimentos à equipe técnica do SPO.

3. Continuou expandindo o escopo de conceitos do conjunto de treinamento, mas otimizou e simplificou o conjunto (afinamento do conjunto grande é muito caro, e o H800 está difícil de alugar recentemente, não há tempo local suficiente). O conjunto total atual tem 20.821 imagens. A distribuição das resoluções do conjunto de treino é a seguir, recomenda-se usar várias resoluções com maior contagem para saída:

   (832, 1248) - Contagem: 7128
   (896, 1152) - Contagem: 6250
   (1248, 832) - Contagem: 2402
   (1024, 1024) - Contagem: 1639
   (1360, 768) - Contagem: 928
   (1152, 896) - Contagem: 870
   (768, 1360) - Contagem: 432
   (960, 1088) - Contagem: 506
   (992, 1056) - Contagem: 162
   (1088, 960) - Contagem: 140
   (704, 1472) - Contagem: 120
   (1056, 992) - Contagem: 122
   (1472, 704) - Contagem: 115
   (1632, 640) - Contagem: 75
   (640, 1632) - Contagem: 12

4. Usou GPT4O para re-rotular todos os conjuntos de dados. Desta vez, a rotulagem foi estruturada, com a estrutura específica: "descrição resumida em uma frase + múltiplas tags de elementos de imagem + inspirado por XXX + palavras descritivas de qualidade estética", onde as palavras de qualidade estética são divididas em cinco níveis: pior qualidade, baixa qualidade, qualidade média, melhor qualidade e obra-prima. Exemplo típico de rotulagem:

   arte conceitual apresentando uma mão humana envolta em fitas vermelhas e bege, isolada contra um fundo claro e simples, estilo realista, esquema de cores minimalista, texturas suaves, estética alongada e surreal, inspirado nas obras surrealistas de salvador dalí, obra-prima

A "Lista de Palavras de Marcação de Alta Frequência" e a "Lista de Estilos Artísticos de Alta Frequência" relacionadas ao "Inspirado por XXX" na versão HelloWorld 7.0 serão fornecidas somente para usuários com licença comercial. Parceiros que adquiriram autorização para a série Helloworld XL anteriormente, por favor me contatem para obter gratuitamente caso haja omissões.

Os usuários podem consultar a Lista de Palavras de Marcação de Alta Frequência do HelloWorld 6.0. Além disso, disponibilizei mais de 150 imagens de exemplo de alta qualidade do HelloWorld 7.0 na galeria, que podem servir como referência para as saídas de todos. Criar modelos não é fácil, agradeço a compreensão e paciência dos usuários!

📖Atualização HelloWorld 6.0 - 20 de Abril de 2024

LEOSAM HelloWorld 6.0 Top 250 Lista de Palavras de Marcação de Alta Frequência

Obrigado pela paciência. Recentemente estive procurando emprego, o que causou atrasos nas atualizações do HelloWorld. Aqui estão as principais atualizações na versão 6.0:

• O HelloWorld 6.0 é uma melhoria iterativa com base na versão 5.0. Segundo meus testes, o realismo não difere significativamente da versão 5.0. A principal vantagem do 6.0 está em sua cobertura ampliada de conceitos no conjunto de treino. Conforme feedback, houve aprimoramentos em temas como surrealismo, boudoir, fotos em grupo, máscaras, origami, renderizações 3D, carros, dragões e fotografia de maternidade. Alguns exemplos estão nas ilustrações.

• O HelloWorld 6.0 inclui intencionalmente algumas imagens de baixa qualidade para melhorar a resposta do modelo a prompts negativos. Recomenda-se usar os termos seguintes em prompts negativos: "baixa qualidade, artefatos jpeg, borrado, mal desenhado, feio, pior qualidade".

• O corpo principal do conjunto de treino do HelloWorld 6.0 utiliza marcação GPT4v. Para imagens que GPT4v não consegue marcar, é usado cogVQA guiado por blip2-opt-6.7b. O estilo de linguagem de marcação desses modelos multimodais difere significativamente do método tradicional WD1.4. Para facilitar um disparo mais preciso de diferentes conceitos no conjunto, compilei as 250 palavras de marcação mais frequentes do conjunto HelloWorld 6.0. Você pode consultar essas palavras em este documento.

Por fim, apesar do lançamento iminente do SD3, ainda atualizarei para o HelloWorld XL 7.0, visando melhorias maiores na versão 7.0!

📖2024.2.22 Apresentando "HW5.0_Euler_a_Lightning"

Este modelo é uma versão acelerada do HelloWorld base SDXL, incorporando tecnologias SDXL-Lightning. Equipado com o sampler Euler a e CFG 1, gera imagens em 6-8 passos, três vezes mais rápido que a versão SDXL original. Além disso, em comparação, seus resultados de imagem são superiores aos das versões LCM ou Turbo.

Os parâmetros recomendados para gerar imagens com este modelo são:

Sampler: Euler a (Importante! O modelo é especialmente adaptado para Euler a, outros samplers podem não apresentar resultados tão bons)

Escala CFG: 1

Passos de amostragem: 8 passos (6~8 passos são aceitáveis)

Algoritmo Hires: ESRGAN 4x / 8x_NMKD-Faces_160000_G

Fator de Upscale Hires: 1.5x

Passos Hires: 8 passos

Força de Denoising Hires: 0.3

📖2024.2.11 Apresentando "HelloWorld 5.0 GPT4V"

O HelloWorld 5.0 é a atualização mais significativa da série HelloWorld, marcado com GPT-4v, com ajustes finos importantes em áreas como ficção científica, animais, arquitetura e ilustração.

Testes comparativos mostram que as melhorias nesta versão incluem:

1. Poses de personagem mais variadas e dinâmicas e composições de imagem que criam visuais atraentes;

2. O conjunto de dados de filme foi extensamente treinado. Enquanto a textura do filme era fraca das versões 2.0 a 4.0, muitos fãs sentiam falta do estilo leogirl da versão 1.0. Portanto, esta atualização reforçou a textura do filme sem comprometer outras qualidades fotográficas. A textura do filme pode ser ativada por frases como textura de grão de filme e estética de fotografia analógica;

3. Expressividade aprimorada em temas como ficção científica, suspense e animais, com mechas e outros temas trazendo sensação mais projetada. Animais como leopardo-das-neves, panda vermelho, panda gigante, tigre, gato-de-pallas, gatos e cães domésticos estão mais realistas;

4. Graças à marcação GPT, a aderência ao prompt e a precisão conceitual foram ainda melhoradas.

Por outro lado, as desvantagens desta versão incluem:

1. Por ser uma atualização substancial, a taxa de erro em membros pode aumentar ligeiramente, fenômeno normal ao sair da zona de conforto para áreas novas de otimização relativa. Versões anteriores tiveram testes extensivos de membros, enquanto a nova versão teve tempo limitado para esses aprimoramentos. Ainda assim, a precisão dos membros nesta versão é pelo menos maior que a da versão 1.0, com melhorias planejadas para futuras atualizações.

2. Devido à textura reforçada do filme, embora a marcação GPT seja o mais precisa possível, pode haver um tom quente padrão inevitável nas imagens. Entretanto, você pode usar prompts como luz de estúdio ou foco nítido para produzir imagens em qualidade de estúdio de alta definição, e com uso adequado dos prompts, a saída pode ter tonalidades de pele e apelo visual melhores do que versões anteriores.

3. Esta versão inclui mais imagens de personagens em corpo inteiro para melhorar o efeito corpo inteiro, então o modelo pode produzir cenas mais amplas do que antes se nenhuma composição específica for definida. Atualmente, os detalhes faciais em fotos corpo inteiro na resolução 1024 podem ser menos nítidos que em fotos de meio corpo ou closes, porém isso pode ser melhorado com adetailer e correção hires 1.5x com intensidade 0.3, ou usando prompts que especifiquem composição para evitar imagens corpo inteiro.

4. Como alguns conjuntos de dados de ilustrações de alta qualidade foram adicionados, há chance de que prompts relacionados a estilos animados produzam imagens animadas. Caso isso seja um problema, ajuste seus prompts conforme necessário.

Estas são as principais atualizações desta versão. Treinar o modelo base SDXL é desafiador, e quando o conjunto de treino alcança cerca de dez mil imagens, o custo de marcação e treinamento ultrapassa 300 USD por modelo. Convido todos a usarem o modelo e agradeço todos feedbacks! Se gostarem deste modelo, ficarei imensamente grato se ajudarem a divulgá-lo.

📖2024.1.31 Apresentando "HelloWorld 4.0"

O HelloWorld4.0 é uma versão transitória progressiva, do uso de marcação blip+clip para marcação com GPT4V. Inicialmente treinei um modelo puro de marcação GPT4V, e depois o mesclei com grande proporção da versão HelloWorld3.2 e 0,05 da Juggernaut XL (para ajustar o tom da pele). A nova versão apresenta melhorias em cumprimento de prompt e cobertura conceitual comparado à 3.2.

O novo conjunto de treino com marcação GPT4V dobrou de 4000 imagens da série helloworld3 para 8000 imagens, abrangendo não só retratos mas também animais, arquitetura, natureza, comida, ilustrações e mais. Contudo, a versão pura GPT4V enfrentou problema de overfitting, preliminarmente atribuído ao dobro do número de imagens. O próximo passo na otimização iterativa é descobrir como incluir o máximo possível de conceitos não retrato enquanto assegura treinamento suficiente em retratos. Nesta fase, foi usado um fusão das versões nova e antiga para afinar e garantir a transição suave, portanto as vantagens do conjunto expandido e da marcação GPT4V não estão muito perceptíveis ainda. Essas vantagens ficarão mais evidentes nas gerações 5 e 6 do modelo.

📖2024.1.5 Apresentando "HelloWorld 3.2"

A versão 3.2 é uma iterativa otimizada com a tecnologia DPO, e comparado à versão 3.0, apresenta otimizações em tom de pele e precisão de membros, mas as melhorias não são tão significativas. Por isso esta versão é marcada como 3.2 e não 4.0.

📖2023.12.15 Apresentando "HelloWorld 3.0"

1. A nova versão expandiu o conjunto de treino, aumentando a capacidade do modelo para expressar diferentes estilos artísticos, incluindo ficção científica e arte.

2. Integrado um LoCon de melhoria de qualidade feito por mim (criado com tecnologia slider), para melhorar textura e aliviar distorções em dedos e membros.

📖2023.11.17 Apresentando "HelloWorld 2.0"

Obrigado a todos pela paciência. Após superar vários desafios, a versão HelloWorld 2.0 está pronta para ser apresentada em um estado que me sinto satisfeito. As principais diferenças entre HelloWorld 2.0 e 1.0 são:

1. HelloWorld 2.0 não requer mais palavras gatilho, e os resultados são comparáveis em qualidade à versão 1.0 com gatilhos. A palavra gatilho "leogirl" na 1.0 associava-se fortemente a asiáticos orientais. Após a remoção dos gatilhos, termos como "1girl" ainda provavelmente produzirão retratos de asiáticos orientais se a raça não for especificada, mas agora pode-se especificar a raça usando palavras-chave como nacionalidade, cor da pele, etc. Por exemplo, os efeitos de gatilho para palavras como "Chinês", "Russo", "Iraniano", "Jamaicano", "Queniano", "pele escura", "pele pálida" estão listados abaixo.

   

   Também pode obter estilos diferentes de personagens escrevendo nomes de pessoas de países e gêneros diferentes no prompt, tais como Han Meimei (China), Sophie Martin (França), Priya Patel (Índia), Fatima Al-Hassan (Árabe), Wanjiru Mwangi (Quênia). Os prompts acima são exemplos, há muitos disponíveis e formas de jogar, fique à vontade para explorar e compartilhar.

   

2. HelloWorld 2.0 equilibrou qualidade/cor e oferece mais opções de estilo. A versão 1.0, quando usada com 'leogirl', produzia imagens com textura forte de filme. HelloWorld 2.0 não está mais preso à textura de filme e pode ser customizado com prompts relacionados a qualidade. Alguns prompts testados e funcionais incluem:

   ensaio de moda de alta qualidade, foto de apresentação de produto, maquiagem coreana popular, aegyo sal, foto nítida de alta qualidade, luz de estúdio, foto médio formato, fotografia Mamiya, filme analógico, retrato médio com luz suave, imagem da vida real, fotografia editorial refinada, foto raw, foto real, foto escaneada, still de filme

   Os efeitos de cor desses prompts são:

   

3. O conjunto de treino para HelloWorld 2.0 aumentou bastante a proporção de fotos corpo inteiro para melhorar o efeito do SDXL na geração de retratos corpo inteiro e de distância. Apesar da melhora comparada à 1.0, recomenda-se fortemente o uso de 'adetailer' na geração de fotos corpo inteiro. Para usuários com memória de vídeo suficiente (24g), recomenda-se a reparação hires 1.5x na imagem, o que melhora significativamente os detalhes faciais.

📖2023.8.29 Apresentando "HelloWorld" Modelo Base SDXL

Lembrete especial: Ao usar o modelo HelloWorld 1.0, lembre-se de adicionar a palavra gatilho "leogirl".

Diferente do modelo base SD1.5 “MoonFilm”, “HelloWorld” é uma nova série realista de modelos base SDXL. Para permitir que mais usuários descubram o HelloWorld, mantive o link original do Moonfilm. Pode ser visto como uma continuação espiritual do Moonfilm na nova plataforma SDXL, mas o HelloWorld busca mais que realismo e qualidade tipo filme em retratos. Graças à quantidade muito superior de informação e capacidade de compreensão textual do SDXL em comparação ao SD1.5, HelloWorld é um modelo base que procura representar realisticamente todas as coisas, ou seja, espero construir gradualmente um mundo de fotografia virtual usando HelloWorld.

O modelo base realista do SD1.5 evoluiu para um estágio bastante maduro, sendo improvável melhorias significativas. A menos que haja uma tecnologia revolucionária para a plataforma SD1.5, a série Moonfilm & MoonMix basicamente parará de atualizar. Concentrárei meus esforços no desenvolvimento do grande modelo HelloWorld SDXL. A versão 1.0 está disponível para download, e a versão 2.0 está em desenvolvimento urgente, prevista para atualização no início de setembro.

Como novo modelo SDXL, há três diferenças entre HelloWorld e os modelos tradicionais SD1.5:

1. Diferente dos modelos base SD1.5 que normalmente não usam palavra gatilho, lembre-se de usar a palavra gatilho "leogirl" ao usar o HelloWorld 1.0. Isso garante que o modelo SDXL dispare o efeito do conjunto de treino de forma mais estável.

2. O modelo HelloWorld suporta saída direta na resolução de 1024*1024 pixels, sem necessidade de ampliação de alta resolução. A qualidade do retrato em close direto não fica inferior à versão SD1.5, mas ainda existem falhas ao gerar retratos de distância direto. Portanto, recomenda-se usar o plugin ADetailer, que corrige efetivamente problemas em rostos distantes.

3. O SDXL agora permite saída mais fácil usando prompts em linguagem natural simples. Recomenda-se experimentar mais prompts em linguagem natural, que gerarão melhores resultados na saída de fotos realistas por IA.

Após várias rodadas de testes, as configurações recomendadas de parâmetros para desenho são:

• Passos ≥ 25

• Sampler: DPM++ 2M Karras

• Escala CFG: 10

• Tamanho ≥ 1024x1024

• ADetailer: ativado

Todos são bem-vindos para testar o HelloWorld e fornecer bastante feedback. Suas opiniões valiosas são muito importantes para a próxima etapa da melhoria do modelo!

Declaração de Direitos Autorais:

A série de modelos HelloWorld (doravante "o Modelo") foi criada por mim ("o Proprietário") com a assistência da plataforma LiblibAI. A republicação do Modelo em plataformas fora da LiblibAI e Civitai não é autorizada pelo Proprietário.

O Proprietário permite o uso de imagens geradas pelo Modelo para fins educacionais ou informativos não comerciais, sem custo, desde que:

- Usuários respeitem leis aplicáveis e não violem direitos do Modelo ou terceiros.

- Atribuição das imagens deve estar claramente indicada como "criado pelo modelo base HelloWorld de LEOSAM".

Para qualquer uso comercial, é necessário acordo prévio de licença comercial com o Proprietário. Consultas sobre licenciamento comercial e personalização do modelo devem ser feitas via contatos na página do Proprietário.

O desenvolvimento e distribuição gratuita do modelo SDXL representam esforços significativos. O Proprietário compromete-se a atualizações gratuitas contínuas do HelloWorld para entusiastas individuais, como forma de agradecimento à comunidade open-source. Colaborações comerciais são vitais para o avanço e refinamento do Modelo. O Proprietário agradece a todos usuários por compreensão e apoio.

Uso não autorizado pode violar leis aplicáveis e acarretar consequências legais. O Proprietário mantém direitos exclusivos de interpretação desta declaração, regida pelas leis vigentes.