Seedream - v4.5

Seedream 4.5 - teraz z rozdzielczością 4k bez dodatkowych kosztów!

Sprawdź niezwykle przydatny Oficjalny Przewodnik po promptowaniu Seedream 4.5, od Bytedance!

Szczegóły poniżej, pierwotnie opublikowane na: https://seed.bytedance.com/en/tech/seedream3_0

Innowacje techniczne

W porównaniu z poprzednim modelem Seedream 2.0 stosujemy kilka innowacyjnych strategii, aby rozwiązać istniejące wyzwania, takie jak ograniczone rozdzielczości obrazów, złożone przestrzeganie atrybutów, generowanie precyzyjnej typografii i niedoskonała estetyka wizualna oraz wierność obrazu.

Główne aspekty to:

• Na poziomie danych, skalę zbioru danych zwiększono o około 100% dzięki nowemu mechanizmowi dynamicznego próbkowania działającemu na dwóch ortogonalnych osiach: rozkład klas obrazów i spójność semantyki tekstowej.

• W fazie pretreningu wprowadzono kilka ulepszeń w stosunku do 2.0, skutkujących lepszą skalowalnością, uogólnieniem oraz wyrównaniem wizualno-językowym: i) trening mieszanej rozdzielczości; ii) Cross-modality RoPE; iii) strata wyrównania reprezentacji; iv) próbkowanie kroków czasowych z uwzględnieniem rozdzielczości.

• Podczas optymalizacji po treningu wykorzystujemy zróżnicowane estetyczne podpisy i model nagrody oparty na VLM, aby dodatkowo poprawić wszechstronne możliwości modelu.

• Przyspieszenie modelu osiągamy poprzez stabilne próbkowanie dzięki spójnemu oczekiwaniu hałasu, co skutecznie redukuje liczbę oceny funkcji (NFE) podczas inferencji.

Rysunek 1 Seedream 3.0 zajmuje pierwsze miejsce w rankingu Artificial Analysis Image Arena Leaderboard. Z powodu brakujących danych, wyniki portretu dla Imagen 3 oraz ogólny wynik Seedream 2.0 są reprezentowane przez średnie wartości innych modeli.

Wydajność modelu w kolejnych wersjach

W porównaniu do Seedream 2.0, Seedream 3.0 osiąga znaczące przełomy w wielu obszarach:

• Natywna wysoka rozdzielczość: Obsługuje natywnie wyjście w rozdzielczości 2K bez potrzeby postprocessingu, jednocześnie kompatybilny z wyższymi rozdzielczościami i przystosowany do różnych proporcji obrazu.

• Rozbudowane możliwości: Znacząco poprawiono wyrównanie tekstu z obrazem, projektowanie składniowe, jakość estetyczną i możliwości renderowania tekstu.

• Znaczące ulepszenia w renderowaniu tekstu: Doskonale radzi sobie z generowaniem małych czcionek, precyzją znaków chińskich i estetycznym rozmieszczeniem długich tekstów. Model rozwiązuje branżowe wyzwania generowania małego tekstu i układania długich tekstów; wyniki graficzne przewyższają ręcznie projektowane szablony z platform takich jak Canva. Dzięki precyzyjnej i estetycznej generacji tekstu umożliwia łatwe tworzenie plakatów na poziomie projektanta, płynnie integrując różne czcionki, style i układy.

• Poprawa estetyki: Znacząco poprawiona estetyka obrazów, silna wydajność w renderowaniu scen kinowych oraz tworzenie portretów z bardziej realistycznymi teksturami.

• Błyskawiczne doświadczenie generowania: Dzięki wielu innowacyjnym technologiom przyspieszającym koszty inferencji zostały znacząco zmniejszone. Generowanie obrazów w rozdzielczości 1K od początku do końca teraz zajmuje tylko 3,0 sekundy.

Rysunek 2 Wyniki oceny ludzkiej. Seedream 3.0 przewyższa inne modele pod względem dopasowania obrazu do tekstu, struktury i estetyki.