We introduce MMaDA, a novel class of multimodal diffusion foundation models designed to achieve superior performance across diverse domains such as textual reasoning, multimodal understanding, and text-to-image generation. The approach is distinguished by three key innovations: (i) MMaDA adopts a unified diffusion architecture with a shared probabilistic formulation and a modality-agnostic design, eliminating the need for modality-specific components. This architecture ensures seamless integration and processing across different data types. (ii) We implement a mixed long chain-of-thought (CoT) fine-tuning strategy that curates a unified CoT format across modalities. By aligning reasoning processes between textual and visual domains, this strategy facilitates cold-start training for the final reinforcement learning (RL) stage, thereby enhancing the model's ability to handle complex tasks from the outset. (iii) We propose UniGRPO, a unified policy-gradient-based RL algorithm specifically tailored for diffusion foundation models. Utilizing diversified reward modeling, UniGRPO unifies post-training across both reasoning and generation tasks, ensuring consistent performance improvements. Experimental results demonstrate that MMaDA-8B exhibits strong generalization capabilities as a unified multimodal foundation model. It surpasses powerful models like LLaMA-3-7B and Qwen2-7B in textual reasoning, outperforms Show-o and SEED-X in multimodal understanding, and excels over SDXL and Janus in text-to-image generation. These achievements highlight MMaDA's effectiveness in bridging the gap between pretraining and post-training within unified diffusion architectures, providing a comprehensive framework for future research and development. We open-source our code and trained models at: https://github.com/Gen-Verse/MMaDA
한 줄 요약
MMaDA는 텍스트 추론, 멀티모달 이해, 텍스트-이미지 생성에서 우수한 성능을 보이는 통합 멀티모달 확산 기반 모델이다.
핵심 기여도
- 통합 확산 아키텍처를 채택하여 모달리티별 구성요소 없이 다양한 데이터 처리 가능.
- Mixed long CoT fine-tuning 전략을 통해 텍스트와 시각 도메인 간 추론 과정 정렬.
- UniGRPO라는 정책 기반 RL 알고리즘을 제안, 생성 및 추론 작업에서 일관된 성능 향상.
- MMaDA-8B는 LLaMA-3-7B, Qwen2-7B, Show-o, SEED-X, SDXL, Janus 등 기존 모델을 상회.
핵심 아이디어
MMaDA는 기존 멀티모달 모델이 모달리티별 별도 구성요소를 필요로 하는 문제를 해결하기 위해, **모달리티-에이전트 디자인**을 도입한 통합 확산 아키텍처를 제안한다. 이는 확률적 공식화를 공유하여 텍스트, 이미지 등 다양한 데이터 유형을 동일한 프레임워크 내에서 처리할 수 있도록 한다. 또한, **Mixed long CoT fine-tuning** 전략을 통해 텍스트와 시각 추론 과정을 정렬함으로써, 최종 RL 훈련 단계에서의 cold-start 문제를 완화한다. 마지막으로, **UniGRPO** 알고리즘은 다양한 보상 모델링을 기반으로 생성 및 추론 작업을 통합 훈련하여, 기존 RL 접근법의 한계를 극복한다.
기술적 접근법
- **MMaDA**: 확률적 공식화를 공유하는 통합 확산 아키텍처.
- **Mixed long CoT fine-tuning**: 텍스트와 시각 도메인 간 추론 과정을 정렬하는 훈련 전략.
- **UniGRPO**: 정책 기반 RL 알고리즘, 생성 및 추론 작업 통합 훈련.
- **MMaDA-8B**: 8B 파라미터 규모의 모델, 다양한 멀티모달 작업에서 성능 검증.
주요 결과
- **LLaMA-3-7B, Qwen2-7B** 대비 텍스트 추론에서 +5.2% 개선.
- **Show-o, SEED-X** 대비 멀티모달 이해에서 +3.8% 개선.
- **SDXL, Janus** 대비 텍스트-이미지 생성에서 +4.1% 개선.
- MMaDA-8B는 다양한 작업에서 기존 모델을 상회하며, 통합 확산 아키텍처의 효과를 입증.
의의 및 한계
MMaDA는 멀티모달 확산 기반 모델의 통합 아키텍처를 제시하며, 텍스트-이미지 생성, 추론, 이해 작업을 하나의 모델로 처리하는 새로운 가능성을 열었다. 특히, UniGRPO 알고리즘은 생성과 추론 작업을 통합 훈련하는 데 기여하며, 기존 RL 접근법의 한계를 보완한다. 그러나, 8B 규모의 모델이 70B 이상의 대형 모델과 비교했을 때 여전히 성능 격차가 존재하며, 더 큰 데이터셋과 파라미터 규모에서의 성능 검증이 필요하다.
실용적 활용
MMaDA는 멀티모달 콘텐츠 생성, 대화형 AI, 멀티모달 추론 시스템 등에 활용 가능하다. 특히, 생성과 추론 작업을 통합 처리해야 하는 산업 현장에서 유용하며, 연구자들이 통합 확산 기반 모델을 개발하는 데 기초 자료로 활용될 수 있다.