Seedream - v4.5

Seedream 4.5 - ¡ahora con resolución 4k sin costo adicional!

¡Consulta la extremadamente útil Guía Oficial para usar Seedream 4.5, de Bytedance!

Detalles a continuación publicados originalmente en: https://seed.bytedance.com/en/tech/seedream3_0

Innovación Técnica

En comparación con nuestro modelo anterior Seedream 2.0, empleamos varias estrategias innovadoras para abordar desafíos existentes, incluyendo resoluciones de imagen limitadas, adherencia a atributos complejos, generación tipográfica detallada y calidad visual y fidelidad subóptimas.

Esto se refleja principalmente en los siguientes cuatro aspectos:

• En el nivel de datos, la escala del conjunto de datos se amplió aproximadamente un 100% con un novedoso mecanismo de muestreo dinámico que opera a través de dos ejes ortogonales: distribución de grupos de imágenes y coherencia semántica textual.

• En la etapa de preentrenamiento, implementamos varias mejoras en comparación con 2.0, logrando mejor escalabilidad, generalización y alineación visual-lenguaje: i) Entrenamiento de resolución mixta; ii) RoPE multimodal; iii) Pérdida de alineación de representaciones; iv) Muestreo de paso del tiempo consciente de resolución.

• Durante la optimización post-entrenamiento, aprovechamos subtítulos estéticos diversificados y un modelo de recompensa basado en VLM para mejorar aún más las capacidades integrales del modelo.

• En la aceleración del modelo, fomentamos un muestreo estable mediante una expectativa de ruido consistente, reduciendo efectivamente el número de evaluaciones de función (NFE) durante la inferencia.

Figura 1 Seedream 3.0 ocupa el primer lugar en el tablero de clasificación Artificial Analysis Image Arena. Debido a datos faltantes, el resultado de Retrato para Imagen 3 y el resultado general para Seedream 2.0 están representados por los valores promedio de otros modelos.

Rendimiento Iterativo del Modelo

Comparado con Seedream 2.0, Seedream 3.0 logra avances significativos en múltiples dimensiones:

• Alta Resolución Nativa: Soporta nativamente salida en resolución 2K sin posprocesamiento, además de ser compatible con resoluciones mayores y adaptable a varias relaciones de aspecto.

• Mejoras Integrales en Capacidades: Muestra mejoras significativas en alineación texto-imagen, diseño de estructura compositiva, calidad estética y capacidades de renderizado de texto.

• Mejoras Significativas en el Rendimiento del Renderizado de Texto: Sobresale en generación de fuentes pequeñas, precisión en caracteres chinos y disposición estética de texto largo. El modelo aborda desafíos de la industria en generación de texto pequeño y disposición de texto largo, con salidas de diseño gráfico que superan plantillas diseñadas manualmente en plataformas como Canva. Aprovechando las capacidades precisas y estéticamente refinadas de generación de texto, permite crear fácilmente posters de nivel diseñador, integrando sin esfuerzo diversas fuentes, estilos y diseños.

• Mejoras Estéticas: Logra avances significativos en la calidad estética de imágenes, ofreciendo un fuerte desempeño en renderizado de escenas cinematográficas y generando retratos con texturas más realistas.

• Experiencia de Generación Relámpago: A través de múltiples tecnologías innovadoras de aceleración, los costos de inferencia se reducen significativamente. La generación completa de imágenes en resolución 1K ahora toma solo 3.0 segundos.

Figura 2 Resultados de evaluación humana. Seedream 3.0 supera a otros modelos en cuanto a coincidencia imagen-texto, estructura y estética.