Vision offers a critical axis for advancing foundation models, driving a shift towards natively unified multimodal pretraining. Despite this momentum, the design space and the fundamental mechanisms of how modalities interact during unified training remain underexplored. We provide empirical clarity through a systematic exploration of multimodal pretraining. Our controlled experiments on both synthetic and large-scale real-world datasets yield four key insights into the physics of multimodal pretraining: (i) Knowledge Flow: We disentangle how language, visual understanding, and visual generation transfer knowledge across modalities, revealing distinct patterns of influence and asymmetry; (ii) Synergy vs. Competition: We show that data "complexity" largely determines whether modalities are synergistic, identify architectural choices that promote synergy: such as shared attention and normalization with modality-specific feed-forward layers, and find that these behaviors generalize across different visual tokenizer designs; (iii) Early Unification: Unifying modalities from the very early stages and training them jointly is shown to be more effective than late alignment or sequential training. This process uncovers a vision laziness phenomenon, where delayed integration leads models to rely on language priors; (iv) Recipes: We derive efficient pretraining recipes that achieve strong generative performance using only 5% of the compute budget. These core findings are subsequently validated at scale by training multiple 13.5B MoE models on 2T tokens. We hope this study provides a principled foundation for understanding and scaling multimodal pretraining.
한 줄 요약
본 연구는 멀티모달 사전 학습의 핵심 메커니즘을 실증적으로 탐구하여, 지식 흐름, 모달리티 시너지, 조기 통합, 효율적 학습 레시피를 제시한다.
핵심 기여도
- **지식 흐름 분석**: 언어, 시각 이해, 시각 생성 간의 비대칭적 지식 전달 패턴을 실증적으로 밝힘.
- **모달리티 시너지 조건**: 데이터 복잡도에 따라 시너지 또는 경쟁이 발생하며, 공유 어텐션과 모달리티별 FFN이 시너지를 촉진함.
- **조기 통합 효과**: 13.5B MoE 모델에서 조기 통합이 언어 정확도 52.86%, 시각 이해 41.42% 달성.
- **효율적 레시피**: 5%의 컴퓨트 예산으로 강력한 생성 성능 달성.
핵심 아이디어
본 연구는 멀티모달 사전 학습의 "물리학"을 탐구하며, 기존 휴리스틱에 기반한 설계를 실증적 실험으로 대체한다. 특히, **지식 흐름**은 언어, 시각 이해, 생성 간의 비대칭적 관계를 밝히며, **시너지 vs. 경쟁**은 데이터 복잡도와 모델 구조에 따라 달라진다는 점을 밝힘. **조기 통합**은 모델이 시각 정보를 늦게 통합할 경우 언어 사전에 의존하는 "시각 게으름" 현상을 유발하며, **레시피**는 5%의 컴퓨트 예산으로도 높은 성능을 달성할 수 있음을 보여준다. 이러한 발견은 모델 구조와 학습 전략의 설계에 중요한 통찰을 제공한다.
기술적 접근법
- **모델 구조**: MoE(13.5B)와 Dense(3.5B) 모델 비교.
- **공유 어텐션 + 모달리티별 FFN**: 시너지를 촉진.
- **조기 통합**: 시각 데이터를 학습 초기부터 통합.
- **데이터셋**: 합성 데이터와 2T 토큰의 대규모 실제 데이터셋 사용.
- **하이퍼파라미터**: 데이터 믹싱 비율 최적화, 5% 컴퓨트 예산.
주요 결과
- **MoE 모델**: 언어 정확도 52.86% (Dense 대비 +0.83%), 시각 이해 41.42% (+0.93%), 시각 생성 손실 0.261 (Dense 대비 -0.005).
- **조기 통합**: 시각 게으름 현상 방지, 2T 토큰에서 성능 확장 가능.
- **레시피**: 5% 컴퓨트 예산으로 강력한 생성 성능 달성.
의의 및 한계
본 연구는 멀티모달 사전 학습의 핵심 메커니즘을 체계적으로 밝히며, **조기 통합**, **공유 어텐션**, **비대칭 데이터 믹싱** 등의 설계 원칙을 제시함으로써, 향후 모델 확장에 기초를 제공한다. 특히, 생성 모델을 별도의 과정이 아닌 사전 학습의 일부로 통합할 수 있음을 보여준다. 그러나, **모달리티 간 경쟁 관리**, **다양한 모달리티(예: 오디오, 3D) 확장 가능성** 등은 아직 명시되지 않았으며, 추가 연구가 필요하다.
실용적 활용
본 연구는 대규모 멀티모달 기반 모델 개발에 적용 가능하며, 특히 **저예산 환경에서의 생성 모델 학습**, **시각-언어 통합 시스템**, **다양한 입력-출력 포맷을 지원하는 유니버설 AI** 개발에 활용될 수 있다.