Seedream - v4.5

Seedream 4.5 - agora com resolução 4k sem custo adicional!

Confira o Guia Oficial extremamente útil para prompts do Seedream 4.5, da Bytedance!

Detalhes abaixo originalmente publicados em: https://seed.bytedance.com/en/tech/seedream3_0

Inovação Técnica

Comparado com nosso modelo anterior Seedream 2.0, empregamos várias estratégias inovadoras para resolver desafios existentes, incluindo resoluções de imagem limitadas, aderência a atributos complexos, geração de tipografia detalhada e qualidade estética e fidelidade visual subótimas.

Isso se reflete principalmente nos seguintes quatro aspectos:

• No nível de dados, a escala do conjunto de dados foi expandida em aproximadamente 100% com um mecanismo dinâmico de amostragem operando em dois eixos ortogonais: distribuição de clusters de imagem e coerência semântica textual.

• Na fase de pré-treinamento, implementamos várias melhorias em comparação ao 2.0, resultando em melhor escalabilidade, generalização e alinhamento visual-linguagem: i) Treinamento de Resolução Mista; ii) RoPE de Multimodalidade; iii) Perda de Alinhamento de Representação; iv) Amostragem por Passo ciente de Resolução.

• Durante a otimização pós-treinamento, utilizamos legendas estéticas diversificadas e modelo de recompensa baseado em VLM para melhorar ainda mais as capacidades abrangentes do modelo.

• Na aceleração do modelo, incentivamos amostragem estável via expectativa consistente de ruído, reduzindo efetivamente o número de avaliações de função (NFE) durante a inferência.

Figura 1 Seedream 3.0 fica em primeiro lugar no Artificial Analysis Image Arena Leaderboard. Devido à falta de dados, o resultado de retrato para Imagen 3 e o resultado geral para Seedream 2.0 são representados pelos valores médios de outros modelos.

Desempenho Iterativo do Modelo

Comparado ao Seedream 2.0, Seedream 3.0 alcança avanços significativos em múltiplas dimensões:

• Alta Resolução Nativa: Suporta nativamente saída em resolução 2K sem pós-processamento, além de ser compatível com resoluções superiores e adaptável a várias proporções.

• Melhorias Abrangentes de Capacidade: Demonstra melhorias significativas em alinhamento texto-imagem, design de estrutura composicional, qualidade estética e capacidades de renderização de texto.

• Melhorias Significativas no Desempenho de Renderização de Texto: Excelência na geração de fontes pequenas, precisão em caracteres chineses e layout estético de textos longos. O modelo enfrenta desafios industriais na geração de texto pequeno e layout longo, com saídas de design gráfico superando modelos manuais de plataformas como Canva. Utilizando capacidades de geração de texto precisas e esteticamente apuradas, possibilita a criação fácil de cartazes de nível designer, integrando fontes, estilos e layouts diversos perfeitamente.

• Melhorias Estéticas: Alcança melhorias significativas na qualidade estética das imagens, entregando forte desempenho em renderização de cenas cinematográficas e gerando retratos com texturas mais realistas.

• Experiência de Geração Rápida: Através de múltiplas tecnologias inovadoras de aceleração, os custos de inferência são significativamente reduzidos. Geração completa de imagens em resolução 1K agora leva apenas 3,0 segundos.

Figura 2 Resultados da avaliação humana. Seedream 3.0 supera outros modelos em termos de correspondência imagem-texto, estrutura e estética.