Show-o2: Improved Native Unified Multimodal Models

This paper presents improved native unified multimodal models, \emph{i.e.,} Show-o2, that leverage autoregressive modeling and flow matching. Built upon a 3D causal variational autoencoder space, unified visual representations are constructed through a dual-path of spatial (-temporal) fusion, enabling scalability across image and video modalities while ensuring effective multimodal understanding and generation. Based on a language model, autoregressive modeling and flow matching are natively applied to the language head and flow head, respectively, to facilitate text token prediction and image/video generation. A two-stage training recipe is designed to effectively learn and scale to larger models. The resulting Show-o2 models demonstrate versatility in handling a wide range of multimodal understanding and generation tasks across diverse modalities, including text, images, and videos. Code and models are released at https://github.com/showlab/Show-o.

한 줄 요약

Show-o2는 3D 인과 VAE와 자동회귀 모델링, 플로우 매칭을 결합한 네이티브 통합 멀티모달 모델로, 이미지와 동영상 처리에서 우수한 성능을 보인다.

핵심 기여도

3D 인과 VAE 공간 내에서 공간(-시간) 융합을 통한 통합 시각 표현을 제안.
자동회귀 모델링과 플로우 매칭을 언어 헤드와 플로우 헤드에 각각 적용하여 텍스트 토큰 예측과 이미지/동영상 생성을 통합.
2단계 훈련 레시피를 설계하여 언어 지식 유지와 모델 확장 가능성을 동시에 달성.
GenEval, DPG-Bench 등 다양한 벤치마크에서 기존 방법을 상회하는 성능을 보임.

핵심 아이디어

Show-o2는 기존 멀티모달 모델이 텍스트와 이미지에 집중하는 반면, 본 연구는 텍스트, 이미지, 동영상의 통합 처리를 가능하게 하는 새로운 접근을 제안한다. 핵심 아이디어는 3D 인과 VAE 공간 내에서 고수준 의미 정보와 저수준 특성을 결합하는 **이중 경로 공간(-시간) 융합 메커니즘**이다. 이는 이미지와 동영상 모두에 적용 가능하며, 동영상의 경우 시간 축을 따라 의미와 저수준 특성이 정렬되어 융합된다.

또한, 텍스트 임베딩과 통합 시각 표현을 시퀀스로 구성하여 사전 훈련된 언어 모델에 입력하고, **언어 헤드**(language head)와 **플로우 헤드**(flow head)를 통해 각각 텍스트 토큰 예측과 이미지/동영상 생성을 수행한다. 이는 단일 모델 내에서 멀티모달 이해와 생성을 동시에 학습하는 **네이티브 통합 멀티모달 모델**(native unified multimodal model)의 핵심이다.

기술적 접근법

**3D 인과 VAE**(3D causal VAE): 이미지와 동영상의 통합 표현을 위한 공간.
**이중 경로 공간(-시간) 융합**: 의미 계층, 프로젝터, 공간(-시간) 융합 과정을 통해 고-저수준 특성을 결합.
**자동회귀 모델링**(autoregressive modeling): 언어 헤드에서 텍스트 토큰 예측을 위해 인과 어텐션 적용.
**플로우 매칭**(flow matching): 플로우 헤드에서 이미지/동영상 생성을 위해 전체 어텐션 적용.
**2단계 훈련 레시피**:
1단계: 플로우 헤드를 (교차) 텍스트, 이미지, 동영상 데이터로 사전 훈련.
2단계: 고질량 멀티모달 이해 및 생성 데이터로 전체 모델 미세 조정.
**LLaMA-3.2-1B**를 기반 언어 모델로 사용.
훈련 데이터: 약 1M 개의 멀티모달 이해 데이터와 ImageNet-1K 생성 데이터.

주요 결과

**GenEval**과 **DPG-Bench** 벤치마크에서 기존 방법을 상회하는 성능.
**CFG 가이던스 스케일**이 5.0 이상일 때 GenEval 점수 개선 효과는 제한적임.
**2단계 훈련**은 GenEval과 DPG-Bench 점수를 **일관되고 유의미하게 향상**시킴.
**MME-p, GQA, FID-5K** 등 멀티모달 이해 및 생성 지표에서 개선 효과 관찰.
**1.5B 모델**에서 추론 단계 증가가 성능 향상에 기여함.

의의 및 한계

Show-o2는 단일 모델 내에서 텍스트, 이미지, 동영상의 통합 이해와 생성을 가능하게 하며, 기존 멀티모달 모델이 별도의 이해 및 생성 모듈을 필요로 하는 문제를 해결한다. 특히, 3D 인과 VAE와 이중 경로 융합 메커니즘은 모델의 확장성과 표현력을 높인다. 또한, 2단계 훈련 레시피는 대규모 텍스트 코퍼스 없이도 언어 지식을 유지하면서 시각 생성 능력을 학습할 수 있게 한다.

그러나, 훈련 데이터는 약 1M 개의 멀티모달 이해 데이터와 ImageNet-1K 생성 데이터로 제한적이며, 더 큰 데이터셋이 필요할 수 있다. 또한, 모델의 최종 성능은 훈련 단계와 추론 파라미터에 민감하게 반응하므로, 최적화가 필요하다는 한계가 있다.

실용적 활용

Show-o2는 멀티모달 챗봇, 자동 콘텐츠 생성, 영상 요약 및 생성, 멀티모달 검색 등 다양한 산업 분야에서 활용 가능하다. 특히, 대규모 멀티모달 데이터를 처리해야 하는 연구 및 엔지니어링 상황에서 유용하며, 단일 모델로 텍스트, 이미지, 동영상 처리를 통합할 수 있어 개발 효율성을 높인다.