Seedream - v4.5

Seedream 4.5 - 추가 비용 없이 4k 해상도 지원!

Bytedance가 제공하는 Seedream 4.5 프롬프팅 공식 가이드를 확인해보세요!

아래 세부 사항은 원래 다음 주소에 게시되었습니다: https://seed.bytedance.com/en/tech/seedream3_0

기술 혁신

이전 모델 Seedream 2.0과 비교하여, 이미지 해상도 제한, 복잡한 속성 준수, 세밀한 타이포그래피 생성, 그리고 시각적 미학 및 충실도 문제를 해결하기 위해 여러 혁신 전략을 적용했습니다.

주요 혁신은 다음 네 가지 측면에서 나타납니다:

• 데이터 측면에서는 이미지 클러스터 분포와 텍스트 의미 일관성이라는 두 직교 축에서 작동하는 새로운 동적 샘플링 메커니즘을 통해 데이터셋 크기를 약 100% 확장했습니다.

• 사전 학습 단계에서는 2.0 대비 여러 개선사항이 도입되어 확장성, 일반화 능력, 시각-언어 정렬이 향상되었습니다: i) 혼합 해상도 학습; ii) 교차 모달리티 RoPE; iii) 표현 정렬 손실; iv) 해상도 인지 시간 단계 샘플링.

• 사후 학습 최적화에서는 다양화된 미적 캡션 및 VLM 기반 보상 모델을 활용해 모델의 종합적 능력을 추가 향상시켰습니다.

• 모델 가속화 단계에서는 일관된 노이즈 기대값을 통한 안정적인 샘플링을 권장하여 추론 시 함수 평가 횟수(NFE)를 효과적으로 감소시켰습니다.

그림 1 Seedream 3.0은 인공 분석 이미지 아레나 리더보드에서 1위를 차지했습니다. 데이터 누락으로 인해 Imagen 3의 인물화 결과와 Seedream 2.0의 전체 결과는 다른 모델의 평균값으로 대체되었습니다.

반복적 모델 성능

Seedream 2.0과 비교하여 Seedream 3.0는 여러 차원에서 중대한 돌파구를 이뤘습니다:

• 기본 고해상도 지원: 후처리 없이 2K 해상도 출력을 기본 지원하며, 더 높은 해상도 및 다양한 화면 비율에도 호환됩니다.

• 종합 능력 향상: 텍스트-이미지 정렬, 구성 구조 설계, 미적 품질, 텍스트 렌더링 능력에서 큰 개선을 보였습니다.

• 텍스트 렌더링 성능 대폭 향상: 작은 글꼴 생성, 한자 정확성, 미적 긴 텍스트 레이아웃에서 우수한 성능을 발휘합니다. 산업계가 직면한 작은 텍스트 생성 및 긴 텍스트 레이아웃 문제를 해결하며, Canva 같은 플랫폼의 수동 설계 템플릿을 뛰어넘는 그래픽 디자인 결과물을 제공합니다. 정밀하고 미적으로 세련된 텍스트 생성 능력을 활용해 다양한 글꼴, 스타일, 레이아웃을 원활하게 통합한 디자이너 수준의 포스터 제작을 용이하게 합니다.

• 미적 개선: 이미지의 미적 품질에서 큰 향상을 이루어 영화 같은 장면 렌더링과 더욱 사실적인 텍스처를 가진 인물화 생성에서 강력한 성능을 제공합니다.

• 초고속 생성 경험: 다양한 혁신적인 가속 기술을 통해 추론 비용을 크게 줄였습니다. 1K 해상도 이미지의 종단 간 생성 시간이 이제 단 3.0초에 불과합니다.

그림 2 인간 평가 결과. Seedream 3.0은 이미지-텍스트 매칭, 구조, 미학 면에서 다른 모델을 능가합니다.