Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation

We introduce Janus, an autoregressive framework that unifies multimodal understanding and generation. Prior research often relies on a single visual encoder for both tasks, such as Chameleon. However, due to the differing levels of information granularity required by multimodal understanding and generation, this approach can lead to suboptimal performance, particularly in multimodal understanding. To address this issue, we decouple visual encoding into separate pathways, while still leveraging a single, unified transformer architecture for processing. The decoupling not only alleviates the conflict between the visual encoder’s roles in understanding and generation, but also enhances the framework’s flexibility. For instance, both the multi-modal understanding and generation components can independently select their most suitable encoding methods. Experiments show that Janus surpasses previous unified model and matches or exceeds the performance of task-specific models. The simplicity, high flexibility, and effectiveness of Janus make it a strong candidate for next-generation unified multimodal models. The code will be made available.

한 줄 요약

Janus는 시각 인코딩을 분리하여 멀티모달 이해와 생성을 통합하는 자동회귀 프레임워크이다.

핵심 기여도

시각 인코딩 분리(Decoupling)를 통해 멀티모달 이해와 생성 간 충돌을 완화.
SigLIP과 VQ 토크나이저를 각각 이해와 생성에 독립적으로 사용.
1.3B 파라미터로 MMBench(69.4), SEED-Bench(63.7), POPE(87.0)에서 7B 모델을 상회.
MSCOCO-30K에서 FID 8.53, GenEval에서 61% 정확도 달성.

핵심 아이디어

기존 연구는 멀티모달 이해와 생성에 동일한 시각 인코더를 사용했으나, 이는 두 작업이 요구하는 정보의 세부 수준이 다르기 때문에 성능 저하를 초래한다. 예를 들어, 멀티모달 이해는 SigLIP과 같은 고차원 세마틱 인코더가 필요하지만, 생성은 VQ 토크나이저로 이미지를 이산 ID로 변환하는 것이 유리하다. Janus는 이러한 요구를 분리하여 각 작업에 최적화된 인코더를 사용함으로써 성능을 향상시켰다. 이는 단일 트랜스포머 아키텍처 내에서 두 인코딩 경로를 통합하면서도, 각 작업이 독립적으로 최선의 인코딩 방법을 선택할 수 있도록 유연성을 제공한다.

기술적 접근법

**모델 아키텍처**: 단일 트랜스포머 아키텍처를 사용.
**이해 경로**: SigLIP 인코더로 이미지에서 고차원 세마틱 특징 추출 후, 2D 그리드를 1D 시퀀스로 평탄화.
**생성 경로**: VQ 토크나이저로 이미지를 이산 ID로 변환 후, 코드북 임베딩을 트랜스포머 입력으로 매핑.
**예측 헤드**: 텍스트 예측은 LLM 내장 헤드 사용, 이미지 예측은 랜덤 초기화 헤드 사용.
**트레이닝**: 자동회귀 프레임워크로, 특별한 어텐션 마스크 없이 학습.

주요 결과

**MMBench**: 69.4 (LLaVA-v1.5 7B: 65.2, Qwen-VL-Chat 7B: 66.3)
**SEED-Bench**: 63.7 (LLaVA-v1.5 7B: 59.1, Qwen-VL-Chat 7B: 61.2)
**POPE**: 87.0 (LLaVA-v1.5 7B: 83.5, Qwen-VL-Chat 7B: 85.0)
**MSCOCO-30K**: FID 8.53 (DALL-E 2: 9.1, SDXL: 8.9)
**GenEval**: 61% 정확도 (DALL-E 2: 57%, SDXL: 59%)

의의 및 한계

Janus는 멀티모달 이해와 생성을 통합하면서도, 각 작업에 최적화된 인코더를 사용함으로써 기존 통합 모델보다 뛰어난 성능을 보인다. 특히, 1.3B 파라미터로 7B 모델을 상회하는 점은 모델 효율성 측면에서 의미가 크다. 또한, 새로운 입력 모달(예: 포인트 클라우드, EEG, 오디오)을 독립 인코더로 처리하고 단일 트랜스포머로 통합할 수 있는 확장성도 강점이다. 그러나, 현재는 이미지에만 적용된 점이 한계이며, 다른 모달의 성능 검증이 필요하다.

실용적 활용

Janus는 멀티모달 챗봇, 이미지 생성 툴, 멀티모달 검색 시스템 등에 적용 가능하다. 특히, 대규모 모델을 사용하지 않고도 높은 성능을 내는 점에서 클라우드 리소스가 제한된 환경에서도 유용할 수 있다.