HelloWorld XL do LEOSAM - HW5.0_Euler_a_Lightning

🖥️Bem-vindo para experimentar o GPT4V-Image-Captioner de código aberto, desenvolvido por mim e meu amigo. Oferece instalação com um clique e vem integrado com múltiplos recursos incluindo pré-compressão de imagens, marcação de imagens e estatísticas de tags. Recentemente, lançamos a versão plugin webui desta ferramenta, todos são bem-vindos para usar!

🌍Bem-vindo a se juntar ao grupo QQ "兔狲·AIGC梦工北厂", número do grupo: 780132897; "兔狲·AIGC梦工南厂", número do grupo: 835297318 (resposta de entrada: 兔狲). Grupo de bate-papo Telegram “兔狲的SDXL百老汇”, link:https://t.me/+KkflmfLTAdwzMzI1

📖Atualização HelloWorld 7.0 - 13 de junho de 2024

Resumo da atualização em uma frase: HelloWorld 7.0 é uma versão otimizada iterativamente, com o melhor desempenho corporal de toda a série, e escopo conceitual e riqueza de detalhes ainda mais aprimorados.

Detalhes da atualização:

1. Adicionando imagens negativas de treinamento, fortalecendo o treinamento de poses e otimizando o modelo clip, a precisão dos membros e mãos do modelo foi melhorada em relação às versões anteriores. As palavras recomendadas para prompt negativo são: "bad hand, bad anatomy, worst quality, ai generated images, low quality, average quality".

2. Extraímos o LoRA ajustado do modelo oficial SPO e o incorporamos no HelloWorld 7.0. SPO é uma melhoria adicional do método DPO. O modelo base SPO é usado para melhor desempenho que o modelo base DPO XL e o modelo base SDXL original. O SPO LoRA pode realçar detalhes e contraste da imagem e embelezar as imagens. Agradecimentos à equipe técnica do SPO.

3. Continuamos ampliando o escopo conceitual do conjunto de treinamento, mas otimizamos e simplificamos o conjunto (ajuste fino de conjunto grande é caro, e recentemente é difícil alugar H800, tempo local de treinamento caro). O conjunto total atual é de 20.821 imagens. A distribuição de resolução do conjunto é a seguinte, e é recomendado usar várias resoluções com maior número de imagens para saída:

   (832, 1248) - Contagem: 7128
   (896, 1152) - Contagem: 6250
   (1248, 832) - Contagem: 2402
   (1024, 1024) - Contagem: 1639
   (1360, 768) - Contagem: 928
   (1152, 896) - Contagem: 870
   (768, 1360) - Contagem: 432
   (960, 1088) - Contagem: 506
   (992, 1056) - Contagem: 162
   (1088, 960) - Contagem: 140
   (704, 1472) - Contagem: 120
   (1056, 992) - Contagem: 122
   (1472, 704) - Contagem: 115
   (1632, 640) - Contagem: 75
   (640, 1632) - Contagem: 12

4. Usamos o GPT4O para re-rotular todos os conjuntos de dados. Desta vez, foi usado um método de rotulagem estruturado, com a estrutura específica: "descrição resumida em uma frase + múltiplas tags de elementos da imagem + inspirado por XXX + palavras de descrição de qualidade estética", onde as palavras de qualidade estética são divididas em cinco níveis: pior qualidade, baixa qualidade, qualidade média, melhor qualidade e obra-prima. Um exemplo típico de rotulagem é:

   arte conceptual apresentando uma mão humana envolta em fitas vermelhas e bege, isolada contra um fundo claro simples, estilo realista, esquema de cores minimalista, texturas suaves, estética alongada e surreal, inspirado nas obras surrealistas de Salvador Dalí, obra-prima

A "Lista de Palavras de Marcação de Alta Frequência" e a "Lista de Estilos Artísticos de Alta Frequência" envolvidas no "Inspirado por XXX" para a versão HelloWorld 7.0 serão fornecidas apenas para usuários com licença comercial. Parceiros que tenham comprado autorização do modelo HelloWorld XL anteriormente, por favor me contatem se houver omissões para obtê-las gratuitamente.

Os usuários podem consultar a Lista de Palavras de Marcação de Alta Frequência do HelloWorld 6.0. Além disso, forneci mais de 150 imagens de exemplo de alta qualidade do HelloWorld 7.0 na galeria, que podem ser usadas como referência para o output de todos. Criar modelos não é fácil, agradeço a compreensão e tolerância dos usuários!

📖Atualização HelloWorld 6.0 - 20 de abril de 2024

LEOSAM HelloWorld 6.0 Top 250 Lista de Palavras de Marcação de Alta Frequência

Obrigado pela paciência. Estive procurando emprego recentemente, o que causou alguns atrasos nas atualizações do HelloWorld. Aqui estão as principais atualizações da versão 6.0:

• O HelloWorld 6.0 é uma melhoria iterativa baseada na versão 5.0. Segundo meus próprios testes, o efeito de realismo não é significativamente diferente da versão 5.0. A principal vantagem da versão 6.0 está na cobertura mais ampla dos conceitos no conjunto de treinamento. De acordo com feedbacks, melhorou em temas variados como surrealismo, boudoir, fotos em grupo, máscaras, origamis, renderizações 3D, carros, dragões e fotografia de maternidade. Alguns exemplos são mostrados nas ilustrações.

• O HelloWorld 6.0 inclui intencionalmente algumas imagens de baixa qualidade no treinamento para aprimorar a resposta do modelo a prompts negativos. Recomenda-se usar os termos a seguir nos prompts negativos: "low quality, jpeg artifacts, blurry, poorly drawn, ugly, worst quality".

• O corpo principal do conjunto de treinamento do HelloWorld 6.0 usa marcação GPT4v. Para imagens que o GPT4v não consegue marcar, cogVQA guiado por blip2-opt-6.7b é usado para marcação. O estilo de linguagem das marcações desses modelos multimodais difere significativamente do tradicional tagger WD1.4. Para facilitar o disparo mais preciso de diferentes conceitos no conjunto de treinamento, compilei as 250 palavras de marcação de alta frequência do conjunto HelloWorld 6.0. Você pode ver essas palavras de alta frequência em este documento.

Finalmente, embora o SD3 esteja para ser lançado, continuarei atualizando para HelloWorld XL 7.0, esperando alcançar maiores melhorias na versão 7.0!

📖2024.2.22 Apresentando "HW5.0_Euler_a_Lightning"

Este modelo é uma versão acelerada do modelo base HelloWorld SDXL, incorporando tecnologias SDXL-Lightning. Equipado com o sampler Eular a e CFG 1, é capaz de gerar imagens em 6-8 passos, três vezes mais rápido que a versão original SDXL. Além disso, em comparação, seus resultados de imagem são superiores às versões LCM ou Turbo.

Os parâmetros recomendados para gerar imagens com este modelo são:

Sampler: Eular a (Importante! O modelo é especialmente adaptado para Eular a, outros samplers podem não obter resultados tão bons)

CFG scale: 1

Etapas de amostragem: 8 passos (6~8 passos são aceitáveis)

Algoritmo de hi-res: ESRGAN 4x / 8x_NMKD-Faces_160000_G

Fator de aumento hi-res: 1.5x

Passos hi-res: 8 passos

Força de denoising hi-res: 0.3

📖2024.2.11 Apresentando "HelloWorld 5.0 GPT4V"

HelloWorld 5.0 é a atualização mais substancial na história da série HelloWorld, etiquetada com GPT-4v, e passou por ajustes significativos em campos como ficção científica, animais, arquitetura e ilustração.

Testes comparativos mostram que as melhorias nesta versão incluem:

1. Poses de personagens e composições de imagem mais variadas e dinâmicas, criando imagens visualmente envolventes;

2. O conjunto de dados de filme foi extensamente treinado. Enquanto a textura de filme era fraca nas versões 2.0 a 4.0, muitos fãs sentiram falta do estilo leogirl da versão 1.0. Portanto, esta atualização fortaleceu especificamente a textura de filme sem comprometer outras qualidades fotográficas. A textura de filme pode ser acionada por frases como film grain texture e analog photography aesthetic;

3. Expressividade aprimorada em temas como ficção científica, suspense e animais, com mechas e outros temas com sensação mais projetada. Animais como leopardo-das-neves, panda-vermelho, panda-gigante, tigre, gato-de-pallas e gatos e cães domésticos são mais realistas;

4. Graças à marcação GPT, a aderência ao prompt e a precisão conceitual foram ainda melhoradas.

No entanto, os pontos negativos desta versão incluem:

1. Como esta é uma atualização substancial, a taxa de erro para membros pode aumentar um pouco, fenômeno normal ao sair da zona de conforto para novas áreas de otimização relativa. Versões anteriores passaram por muitos testes de membros para melhorias, enquanto a nova versão teve tempo limitado para esses aprimoramentos. Ainda assim, a precisão dos membros nesta versão é pelo menos superior à da versão 1.0, e continuarei fazendo melhorias em futuras atualizações.

2. Devido à textura de filme reforçada, embora a marcação GPT seja o mais precisa possível, pode haver um tom quente padrão inevitável nas imagens. Porém, você pode usar prompts como studio light ou sharp focus para produzir imagens em estúdio de alta definição, e com o uso adequado de prompts, a saída pode ter tons de pele melhores e apelo visual do que versões anteriores.

3. Esta versão inclui mais imagens de personagens em corpo inteiro para melhorar o efeito de corpo inteiro, então o modelo pode produzir cenas mais amplas do que antes se nenhuma composição específica for indicada. Atualmente, os detalhes faciais em imagens de corpo inteiro em resolução 1024 podem ser menos nítidos comparados a imagens de meio corpo ou close-up. No entanto, isso pode ser melhorado com adetailer e 1.5x Hires com intensidade 0.3, ou usando prompts que especifiquem composição para evitar gerar imagens corpo inteiro.

4. Como um pequeno número de datasets de ilustração de alta qualidade foi adicionado, há chance de que prompts relacionados a estilos animados produzam imagens animadas. Se isso for um problema, ajuste seus prompts conforme necessário.

Essas são as principais atualizações desta versão. Treinar o modelo base SDXL é desafiador, e quando o conjunto se aproxima de dez mil imagens, o custo para marcação e treinamento por modelo ultrapassa 300 USD. Convido todos a usar o modelo e agradeço qualquer feedback! Se você achar este modelo satisfatório, ficarei imensamente grato se puder ajudar a divulgá-lo.

📖2024.1.31 Apresentando "HelloWorld 4.0"

HelloWorld4.0 é uma versão progressiva de transição da marcação com blip+clip para marcação com GPT4V. Treinei inicialmente um modelo puro de marcação GPT4V, e então o misturei com uma grande proporção da versão HelloWorld3.2 e 0.05 de proporção do Juggernaut XL (para ajustar o tom de pele). A nova versão mostrou melhorias em conformidade com prompt e cobertura conceitual comparada à versão 3.2.

O novo conjunto de treinamento de marcação GPT4V dobrou de 4000 imagens da série helloworld3 para 8000 imagens, cobrindo não só retratos mas também animais, arquitetura, natureza, comida, ilustrações e mais. Contudo, a versão pura GPT4V encontrou problema de overfitting, preliminarmente atribuído à duplicação do número de imagens de treinamento. Um dos próximos passos na otimização iterativa é descobrir como incluir o máximo possível de conceitos não relacionados a retratos enquanto garante treinamento suficiente de retratos. Nesta fase, foi usada uma fusão da versão nova e antiga para ajuste fino garantindo transição suave entre versões, então as vantagens do conjunto ampliado e da marcação GPT4V não são muito perceptíveis no momento. Essas vantagens se tornarão mais evidentes nas gerações subsequentes 5 e 6 do modelo.

📖2024.1.5 Apresentando "HelloWorld 3.2"

A versão 3.2 é uma iteração otimizada com tecnologia DPO, e comparada à versão 3.0, há otimizações em tom de pele e precisão de membros, mas as melhorias não são significativas. Por isso esta versão é marcada como 3.2 e não 4.0.

📖2023.12.15 Apresentando "HelloWorld 3.0"

1. A nova versão ampliou o conjunto de treinamento, aprimorando a habilidade do modelo de se expressar em diferentes estilos artísticos, incluindo ficção científica e arte.

2. Integra um LoCon criado por nós para melhoria de qualidade (feito usando tecnologia slider), para melhorar textura da imagem e reduzir distorções em dedos e membros.

📖2023.11.17 Apresentando "HelloWorld 2.0"

Obrigado a todos pela paciência. Após superar diversos desafios, a versão HelloWorld 2.0 finalmente está pronta para ser apresentada a todos num estado com o qual estou satisfeito. As principais diferenças entre HelloWorld 2.0 e 1.0 são:

1. O HelloWorld 2.0 não requer mais palavras-chave e os resultados são comparáveis em qualidade à versão 1.0 com palavras-chave. A palavra-chave "leogirl" na 1.0 estava altamente associada a asiáticos orientais. Após a remoção das palavras-chave, enquanto termos como "1girl" ainda provavelmente geram retratos asiáticos orientais quando a raça não está especificada, agora você pode especificar a raça usando palavras-chave como nacionalidade, cor de pele etc. Por exemplo, os efeitos das palavras "Chinese", "Russian", "Iranian", "Jamaican", "Kenyan", "dark-skinned", "pale-skinned" estão listados abaixo.

   

   Também é possível obter estilos diferentes de personagens escrevendo nomes de pessoas de diferentes países e gêneros no prompt, como Han Meimei (China), Sophie Martin (França), Priya Patel (Índia), Fatima Al-Hassan (Árabe), Wanjiru Mwangi (Quênia). Os prompts acima são apenas exemplos, há muitos disponíveis e formas de brincadeira, fique à vontade para explorar e compartilhar.

   

2. O HelloWorld 2.0 equilibrado qualidade/cor e oferece mais opções de estilo. A versão 1.0, usada com "leogirl", provavelmente produziria imagens com texturas fortes de filme. HelloWorld 2.0 não está mais atrelado a textura de filme e pode ser customizado com alguns prompts relacionados à qualidade. Alguns prompts testados e funcionais incluem:

   sessão de fotos de moda de alto padrão, foto de introdução de produto, maquiagem coreana popular, aegyo sal, Foto nítida de alta qualidade, luz de estúdio, foto formato médio, fotografia Mamiya, filme analógico, Retrato médio com luz suave, imagem real, fotografia editorial refinada, foto raw, foto real, Foto digitalizada, quadro de filme

   Os efeitos de cor desses prompts são os seguintes:

   

3. O conjunto de treinamento do HelloWorld 2.0 aumentou significativamente a proporção de fotos de corpo inteiro para melhorar os efeitos do SDXL na geração de retratos de corpo inteiro e à distância. Embora tenha melhorado em relação à versão 1.0, a recomendação forte é usar "adetailer" no processo de gerar fotos corpo inteiro. Também, para usuários com memória suficiente (24g), recomenda-se fazer reparo hi-res 1.5x na imagem, o que melhora significativamente detalhes faciais.

📖2023.8.29 Apresentando "HelloWorld" Modelo Base SDXL

Lembrete especial: Ao usar o modelo HelloWorld 1.0, lembre-se de adicionar a palavra-chave "leogirl".

Diferente do modelo base SD1.5 “MoonFilm”, o “HelloWorld” é uma série totalmente nova de modelos base SDXL realistas. Para que mais usuários descubram o HelloWorld, mantive o link do modelo original Moonfilm. Pode ser visto como uma continuação espiritual do Moonfilm na nova plataforma SDXL, mas o HelloWorld visa mais do que a busca por realismo e qualidade fílmica em retratos. Graças à quantidade de informações muito superior e capacidades de compreensão de texto do SDXL em comparação ao SD1.5, HelloWorld é um modelo base que busca representar realisticamente todas as coisas, ou em outras palavras, espero construir gradualmente um mundo de fotografia virtual usando o HelloWorld.

O modelo base realista do SD1.5 já alcançou estágio bastante maduro, e dificilmente terá melhorias significativas. A menos que exista uma tecnologia revolucionária para a plataforma SD1.5, a série Moonfilm & MoonMix basicamente parará de ser atualizada. Dedico minha principal energia ao desenvolvimento do grande modelo HelloWorld SDXL. A versão 1.0 está disponível para download, e a versão 2.0 está em desenvolvimento urgente com previsão de atualização para início de setembro.

Como um modelo SDXL novo, há três diferenças entre HelloWorld e modelos SD1.5 tradicionais:

1. Diferente dos modelos base SD1.5, que normalmente não usam palavras-chave, por favor lembre-se de usar a palavra-chave "leogirl" ao usar o HelloWorld 1.0. Isso garante que o modelo SDXL acione o efeito do conjunto de treinamento de forma mais estável.

2. O modelo HelloWorld suporta saída direta na resolução 1024*1024 pixels, eliminando a necessidade de ampliação em alta resolução. A qualidade do retrato close-up direto não é inferior à versão SD1.5, porém ainda há falhas quando se gera retratos à distância diretamente. Por isso, sugere-se usar o plugin ADetailer, que corrige eficazmente problemas de rostos distantes.

3. O SDXL agora permite saída mais fácil usando prompts em linguagem natural simples. Recomenda-se tentar mais prompts em linguagem natural, o que resulta em melhores fotos realistas geradas por IA.

Após múltiplos testes, as configurações sugeridas para parâmetros de desenho são:

• Passos ≥ 25

• Sampler: DPM++ 2M Karras

• CFG scale: 10

• Tamanho ≥ 1024x1024

• ADetailer: ligado

Todos são bem-vindos para experimentar o HelloWorld e fornecer bastante retorno. Suas opiniões valiosas são muito importantes para o próximo passo da melhoria do modelo!

Declaração de Direitos Autorais:

A série HelloWorld de modelos (doravante "o Modelo") foi criada por mim (doravante "o Proprietário") com a ajuda da plataforma LiblibAI. Republiação do Modelo em plataformas excluindo LiblibAI e Civitai não é autorizada pelo Proprietário.

O Proprietário permite o uso de imagens geradas pelo Modelo para fins educacionais ou informativos não comerciais sem custo, sob condição de que:

- Os usuários cumpram as leis aplicáveis e não violem os direitos do Modelo ou de terceiros.

- A atribuição das imagens deve ser claramente declarada como "criado pelo modelo base HelloWorld do LEOSAM".

Para qualquer forma de uso comercial, é necessário um acordo prévio de licença comercial com o Proprietário. Para consultas relacionadas a licenciamento comercial e personalização do modelo, contate o Proprietário pelos dados disponíveis na página inicial do Proprietário.

O desenvolvimento e distribuição gratuita do modelo SDXL representam esforços significativos. O Proprietário se compromete a atualizações gratuitas contínuas do modelo HelloWorld para entusiastas individuais, como forma de agradecimento pelas contribuições da comunidade ao desenvolvimento open-source. Parcerias comerciais colaborativas são vitais para avanço e refinamento do Modelo. O Proprietário agradece a compreensão e apoio de cada usuário.

Uso não autorizado pode violar leis aplicáveis e trazer consequências legais. O Proprietário mantém direitos exclusivos para interpretar esta declaração, regida pelas leis e regulamentos vigentes.