Seedream - v4.5

Seedream 4.5 – jetzt mit 4k-Auflösung ohne zusätzliche Kosten!

Schau dir den äußerst nützlichen offiziellen Leitfaden zum Prompten von Seedream 4.5 von Bytedance an!

Details unten ursprünglich veröffentlicht auf: https://seed.bytedance.com/en/tech/seedream3_0

Technische Innovation

Im Vergleich zu unserem vorherigen Modell Seedream 2.0 setzen wir mehrere innovative Strategien ein, um bestehende Herausforderungen zu bewältigen, darunter begrenzte Bildauflösungen, komplexe Attributtreue, fein granulare Typografieerzeugung und suboptimale visuelle Ästhetik und Treue.

Dies spiegelt sich hauptsächlich in den folgenden vier Aspekten wider:

• Auf Datenebene wurde der Datensatzumfang durch einen neuartigen dynamischen Sampling-Mechanismus, der über zwei orthogonale Achsen operiert: Bildclusterverteilung und textuelle semantische Kohärenz, etwa um 100 % erweitert.

• In der Vortrainingsphase implementieren wir gegenüber 2.0 mehrere Verbesserungen, die bessere Skalierbarkeit, Generalisierbarkeit und visuelle Sprach-Ausrichtung bewirken: i) Training mit gemischter Auflösung; ii) Cross-modality RoPE; iii) Repräsentationsausrichtungsverlust; iv) Auflösungssensitives Zeitstichproben-Sampling.

• Während der Nachtrainingsoptimierung nutzen wir diversifizierte ästhetische Bildunterschriften und ein auf VLM basierendes Belohnungsmodell, um die umfassenden Fähigkeiten des Modells weiter zu verbessern.

• Bei der Modellbeschleunigung fördern wir stabiles Sampling durch konsistente Rauschwartung, wodurch die Anzahl der Funktionsauswertungen (NFE) während der Inferenz effektiv reduziert wird.

Abbildung 1 Seedream 3.0 belegt den ersten Platz in der Artificial Analysis Image Arena Rangliste. Aufgrund fehlender Daten werden das Porträt-Ergebnis für Imagen 3 und das Gesamtergebnis für Seedream 2.0 durch die Durchschnittswerte anderer Modelle dargestellt.

Iterative Modellleistung

Im Vergleich zu Seedream 2.0 erzielt Seedream 3.0 bedeutende Durchbrüche in mehreren Dimensionen:

• Native hohe Auflösung: Unterstützt nativ die Ausgabe in 2K-Auflösung ohne Nachbearbeitung, ist dabei auch kompatibel mit höheren Auflösungen und anpassbar an verschiedene Seitenverhältnisse.

• Umfassende Fähigkeitsverbesserungen: Zeigt deutliche Verbesserungen bei Text-Bild-Ausrichtung, Kompositionsstruktur-Design, ästhetischer Qualität und Textrendering-Fähigkeiten.

• Signifikante Verbesserungen bei der Textrenderleistung: Hervorragend bei der Generierung kleiner Schriftarten, chinesischer Genauigkeit der Zeichen und ästhetisch hochwertiger Langtext-Layouts. Das Modell bewältigt branchenübliche Herausforderungen bei der Kleintextgenerierung und Langtext-Layout und übertrifft grafische Design-Ausgaben manuell entworfener Vorlagen von Plattformen wie Canva. Mit präziser und ästhetisch verfeinerter Textgenerierung ermöglicht es die mühelose Erstellung von Designer-Postern, die nahtlos verschiedene Schriftarten, Stile und Layouts integrieren.

• Ästhetische Verbesserungen: Erreicht bedeutende Verbesserungen bei der Bildästhetik, liefert starke Leistung bei der filmischen Szenenabbildung und erzeugt Porträts mit realistischeren Texturen.

• Blitzschnelles Generierungserlebnis: Durch mehrere innovative Beschleunigungstechnologien werden die Inferenzkosten deutlich reduziert. Die durchgängige Generierung von 1K-Auflösungsbildern dauert jetzt nur 3,0 Sekunden.

Abbildung 2 Ergebnisse der menschlichen Bewertung. Seedream 3.0 übertrifft andere Modelle in Bezug auf Bild-Text-Abgleich, Struktur und Ästhetik.