MetaMorph: Multimodal Understanding and Generation via Instruction Tuning

In this work, we propose Visual-Predictive Instruction Tuning (VPiT)-a simple and effective extension to visual instruction tuning that enables a pretrained LLM to quickly morph into an unified autoregressive model capable of generating both text and visual tokens. VPiT teaches an LLM to predict discrete text tokens and continuous visual tokens from any input sequence of image and text data curated in an instruction-following format. Our empirical investigation reveals several intriguing properties of VPiT: (1) visual generation ability emerges as a natural byproduct of improved visual understanding, and can be unlocked efficiently with a small amount of generation data; (2) while we find understanding and generation to be mutually beneficial, understanding data contributes to both capabilities more effectively than generation data. Building upon these findings, we train our MetaMorph model and achieve competitive performance on both visual understanding and generation. In visual generation, MetaMorph can leverage the world knowledge and reasoning abilities gained from LLM pretraining, and overcome common failure modes exhibited by other generation models. Our results suggest that LLMs may have strong “prior” vision capabilities that can be efficiently adapted to both visual understanding and generation with a relatively simple instruction tuning process.

한 줄 요약

MetaMorph는 VPiT를 통해 텍스트와 시각 토큰을 생성하는 통합 모델로, 시각 이해와 생성 모두에서 경쟁력 있는 성능을 보인다.

핵심 기여도

VPiT(Vision-Predictive Instruction Tuning)를 제안하여, 기존 시각 지시 조정을 확장해 텍스트와 시각 토큰을 동시에 생성하는 모델을 학습.
MetaMorph 모델은 200k의 추가 시각 생성 데이터만으로도 훈련되어, 기존 대규모 사전학습에 비해 효율적.
시각 생성 능력은 시각 이해 능력 향상의 자연스러운 부산물로 나타나며, 이해 데이터가 생성 데이터보다 더 효과적임을 실증.
생성 시, LLaMA-3.1 8B 기반 모델이 시각적 추론과 세계 지식을 활용하여 복잡한 멀티모달 작업 수행.

핵심 아이디어

기존 시각 지시 조정은 텍스트 기반 질문-답변 데이터를 사용해 LLM이 시각 토큰을 이해하도록 훈련하는 방식이다. 본 연구는 이 접근을 VPiT로 확장하여, LLM이 텍스트와 시각 토큰을 동시에 생성하도록 훈련한다. VPiT는 기존 시각 토큰을 입력으로 받는 방식에, 시각 토큰을 출력으로 생성하는 기능을 추가한다. 이를 위해 `<image_start>`와 `<image_end>`와 같은 특수 토큰을 도입해, 모델이 시각 토큰의 시작과 끝을 인식하도록 유도한다. 이는 기존의 복잡한 멀티모달 아키텍처 변경 없이도 통합 생성 모델을 구축할 수 있게 한다.

기술적 접근법

**모델 아키텍처**: 기존 LLaMA-3.1 8B를 기반으로, 텍스트 예측을 위한 헤드와 별도의 시각 헤드를 추가. 시각 헤드는 LLM의 차원을 시각 인코더(SigLIP ViT-SO400M-14@384)의 차원으로 투영하는 프로젝션 레이어.
**훈련 데이터**: VQA 데이터셋(MMBench, Seed 등)과 순수 이미지/비디오 데이터를 사용. 생성 훈련은 200k의 추가 데이터만으로 가능.
**출력 시각 토큰 시각화**: 생성된 시각 토큰은 미세조정된 디퓨전 모델을 통해 픽셀 공간으로 매핑.
**훈련 방식**: 모든 토큰(텍스트 + 시각)은 자동 회귀 방식으로 훈련됨.

주요 결과

**COCO-30K 데이터셋**에서 MetaMorph는 FID 점수(낮을수록 좋음)와 CLIP 점수(높을수록 좋음)에서 경쟁력 있는 성능을 보임.
**VQA 성능**: 9개의 ImageQA 벤치마크에서 높은 정확도 달성.
**시각 생성 효율성**: 기존 대규모 사전학습 모델에 비해 훨씬 적은 200k의 생성 데이터만으로도 생성 능력 확보.
**이해 데이터의 효과**: 시각 이해 데이터가 생성 데이터보다 시각 이해와 생성 모두에 더 큰 영향을 미침. 예: VQA 점수 상승, FID 점수 감소.

의의 및 한계

MetaMorph는 기존 LLM이 이미 내재된 시각 능력을 VPiT를 통해 효율적으로 활용할 수 있음을 보여준다. 이는 멀티모달 모델 개발에서 사전학습 데이터 대량 의존성을 줄이고, 지시 조정을 통한 간단한 훈련으로도 통합 생성 모델을 구축할 수 있음을 시사한다. 또한, 생성 시 세계 지식과 추론 능력을 활용하는 사례(예: "monarch caterpillar" → "butterfly" 이미지 생성)는 LLM의 시각 추론 잠재력을 입증한다. 그러나, 본 연구는 특정 LLM(예: LLaMA-3.1 8B)에 기반한 결과이므로, 다른 LLM 아키텍처에 대한 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

MetaMorph는 멀티모달 챗봇, 이미지 생성 시스템, 시각적 추론 기반의 인공지능 애플리케이션 등에 활용 가능하다. 특히, 생성 과정에서 사전학습된 세계 지식을 활용할 수 있어, 복잡한 멀티모달 작업(예: 텍스트-이미지 생성, 시각 퍼즐 해결)에 유용하다. 연구적으로는, LLM의 내재 시각 능력 탐색 및 통합 생성 모델 개발에 기여할 수 있다.