JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation

We present JanusFlow, a powerful framework that unifies image understanding and generation in a single model. JanusFlow introduces a minimalist architecture that integrates autoregressive language models with rectified flow, a state-of-the-art method in generative modeling. Our key finding demonstrates that rectified flow can be straightforwardly trained within the large language model framework, eliminating the need for complex architectural modifications. To further improve the performance of our unified model, we adopt two key strategies: (i) decoupling the understanding and generation encoders, and (ii) aligning their representations during unified training. Extensive experiments show that JanusFlow achieves comparable or superior performance to specialized models in their respective domains, while significantly outperforming existing unified approaches. This work represents a step toward more efficient and versatile vision-language models.

한 줄 요약

JanusFlow는 이미지 이해와 생성을 통합한 최소한의 아키텍처를 제안하며, 기존 전용 모델과 유사하거나 더 우수한 성능을 보인다.

핵심 기여도

**Rectified Flow**를 대형 언어 모델(LLM) 내에서 직접 학습 가능하게 함.
**이해와 생성 인코더 분리**를 통해 작업 간 간섭 최소화.
**중간 표현 정렬**을 통해 생성 과정의 의미 일관성 강화.
1.3B 파라미터의 **소형 LLM**으로 기존 전용 모델을 초과하는 성능 달성.

핵심 아이디어

JanusFlow는 **Autoregressive LLM**과 **Rectified Flow**를 결합하여 이미지 이해와 생성을 통합하는 새로운 접근법을 제시한다. 기존 연구에서는 생성 모델과 언어 모델을 별도로 유지하거나 복잡한 아키텍처를 요구했지만, JanusFlow는 LLM 내에서 **Rectified Flow**를 직접 학습함으로써 복잡한 구조 변경 없이 통합이 가능하다는 점에서 혁신적이다. 이는 **LLM의 강력한 표현 능력**과 **Rectified Flow의 간결한 생성 프레임워크**를 결합한 결과이다.

핵심 아이디어 중 하나는 **이해와 생성 인코더를 분리**하는 것이다. 이는 작업 간 간섭을 줄이고, 각 작업의 성능을 독립적으로 향상시키는 데 기여한다. 또한, **중간 표현 정렬**(representation alignment)을 통해 생성 과정에서 의미적 일관성을 유지하며, 이는 **LLM의 6번째 블록 출력**과 **3층 MLP**를 사용한 정렬 규제를 통해 구현된다.

기술적 접근법

**LLM 기반**: DeepSeek-LLM (1.3B 파라미터)를 기반으로, 24개의 트랜스포머 블록과 4,096 시퀀스 길이를 지원.
**이해 인코더**: SigLIP-Large-Patch/16 사용, 약 300M 파라미터.
**생성 인코더/디코더**: ConvNeXt 기반, 2×2 패치화 레이어, 2개의 ConvNeXt 블록, 픽셀-셔플 레이어 포함. 총 약 70M 파라미터.
**정렬 규제**: LLM의 6번째 블록 출력을 사용한 $ q_{\theta}(z_t) $, 3층 MLP $ h_{\varphi} $, EMA 비율 0.99 적용.
**데이터 전처리**: 이해 작업은 패딩 기반, 생성 작업은 랜덤 정사각형 크롭 기반.
**학습 효율성**: 4,096 길이의 시퀀스 패킹, NVIDIA A100 GPU, 약 1,600 GPU 일 소요.

주요 결과

**이해 성능**: MMBench 74.9, SeedBench 70.5, GQA 60.3 (LLaVA-v1.5, Qwen-VL-Chat 초과).
**생성 성능**: MJHQ FID-30k 9.51, GenEval 0.63, DPG-Bench 80.09% (SDv1.5, SDXL 초과).
**통합 성능**: 기존 통합 모델 대비 10~20% 개선.
**모델 크기**: 1.3B 파라미터로 기존 전용 모델과 유사한 성능 달성.

의의 및 한계

JanusFlow는 **이해와 생성을 통합한 최소한의 아키텍처**로, 기존 복잡한 통합 모델 접근법을 간소화하며, LLM과 생성 모델의 결합 가능성을 확장한다. 특히, **Rectified Flow**를 LLM 내에서 학습하는 것은 기존 연구에서 볼 수 없었던 새로운 시도이며, **정렬 규제**와 **인코더 분리**는 통합 모델의 성능 향상에 실질적인 기여를 한다.

그러나, **이해와 생성 작업 간의 복잡한 상호작용**을 완전히 모델링하지 못할 가능성, 그리고 **고해상도 이미지 처리**에서의 한계가 있을 수 있다. 또한, **대규모 데이터셋**과 **GPU 자원**이 필요하다는 점도 한계로 작용할 수 있다.

실용적 활용

JanusFlow는 **멀티모달 챗봇**, **자동 이미지 생성 시스템**, **시각적 QA 시스템** 등에 적용 가능하다. 특히, **단일 모델로 이해와 생성을 동시에 처리**할 수 있어, **비용 효율적이고 유연한 AI 서비스** 구축에 유리하다. 연구적으로는 **LLM과 생성 모델의 통합 학습** 방식을 탐구하는 데 중요한 사례가 될 수 있다.