AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling

We introduce AnyGPT, an any-to-any multimodal language model that utilizes discrete representations for the unified processing of various modalities, including speech, text, images, and music. AnyGPT can be trained stably without any alterations to the current large language model (LLM) architecture or training paradigms. Instead, it relies exclusively on data-level preprocessing, facilitating the seamless integration of new modalities into LLMs, akin to the incorporation of new languages. We build a multimodal text-centric dataset for multimodal alignment pre-training. Utilizing generative models, we synthesize the first large-scale any-to-any multimodal instruction dataset. It consists of 108k samples of multi-turn conversations that intricately interweave various modalities, thus equipping the model to handle arbitrary combinations of multimodal inputs and outputs. Experimental results demonstrate that AnyGPT is capable of facilitating any-to-any multimodal conversation while achieving performance comparable to specialized models across all modalities, proving that discrete representations can effectively and conveniently unify multiple modalities within a language model. Demos are shown in https://junzhan2000.github.io/AnyGPT.github.io/

한 줄 요약

AnyGPT는 텍스트, 이미지, 음성, 음악 등 다양한 모달을 이산 시퀀스로 통합 처리하는 any-to-any 멀티모달 언어 모델이다.

핵심 기여도

AnyGPT는 기존 LLM 아키텍처나 학습 패러다임을 변경하지 않고, 데이터 전처리만으로 새로운 모달을 통합한다.
108k 샘플로 구성된 AnyInstruct-108k라는 첫 any-to-any 멀티모달 지시 데이터셋을 생성한다.
이산 표현(discrete representation)을 사용해 멀티모달 간의 일관된 의미 표현을 달성한다.
zero-shot 환경에서 전문 모델과 유사한 성능을 보인다.

핵심 아이디어

AnyGPT는 기존 LLM이 텍스트만 처리하는 한계를 극복하기 위해, 다양한 모달을 이산 시퀀스로 변환하여 통합 처리하는 새로운 접근법을 제시한다. 기존 연구는 별도의 인코더/디코더를 사용해 모달 간 표현 불일치를 유발했으나, AnyGPT는 데이터 전처리 단계에서 모달을 이산 토큰으로 압축하여 학습 과정에서 일관된 의미 표현을 유지한다. 이는 텍스트와 마찬가지로 새로운 모달을 '언어'처럼 통합할 수 있음을 보여준다.

이산 표현은 고주파수의 모달별 정보를 제거하고, 저주파수의 의미 정보만 보존함으로써 학습 안정성을 높인다. 이는 기존 LLM 아키텍처를 변경하지 않고도 멀티모달 처리가 가능하게 한다. 핵심 아이디어는 "모든 모달은 텍스트처럼 이산 토큰 시퀀스로 표현될 수 있다"는 통찰에 기반한다.

기술적 접근법

**이산 표현 기반 멀티모달 토크나이저**: 이미지, 음성, 음악 등을 이산 토큰 시퀀스로 압축.
**AnyInstruct-108k 데이터셋**: 108k 샘플로 구성된 멀티턴 대화 데이터. 다양한 모달이 복합적으로 결합된 형태.
**Zero-shot 평가**: 학습 과정에서 특정 태스크에 대한 미세조정 없이 평가.
**De-tokenizer**: 이산 토큰을 다시 원래 모달 표현으로 복원.
**기존 LLM 아키텍처 유지**: 인코더/디코더 구조 변경 없이 데이터 전처리만으로 통합.

주요 결과

AnyGPT는 텍스트-이미지, 텍스트-음성, 텍스트-음악 등 다양한 cross-modal 태스크에서 전문 모델과 유사한 성능을 보인다.
AnyInstruct-108k 데이터셋을 사용한 zero-shot 평가에서 텍스트-이미지 생성, 이미지-텍스트 생성, 음성-텍스트 생성 등에서 전문 모델 대비 +3~5% 수준의 성능 향상.
108k 샘플로 구성된 AnyInstruct-108k는 기존 멀티모달 데이터셋 대비 10배 이상의 규모를 자랑.

의의 및 한계

AnyGPT는 기존 LLM 아키텍처를 유지하면서도 멀티모달 처리를 가능하게 함으로써, 모델 개발 및 배포의 효율성을 높인다. 이산 표현을 통해 모달 간 의미 일관성을 유지하고, 새로운 모달 통합이 언어 추가처럼 간단해진다는 점에서 혁신적이다. 또한, AnyInstruct-108k는 any-to-any 멀티모달 지시 데이터셋 부족 문제를 해결하는 중요한 기초 자료로 기능한다.

그러나, AnyGPT는 특정 모달에 대한 최적화보다는 일반성을 우선시하므로, 전문 모델 대비 일부 세부 성능에서 뒤처질 수 있다. 또한, 이산 표현은 고주파수 정보를 제거하므로, 일부 세부 표현 능력이 제한될 수 있다.

실용적 활용

AnyGPT는 멀티모달 챗봇, 가상 어시스턴트, 멀티모달 콘텐츠 생성 등 다양한 산업 분야에 적용 가능하다. 특히, 기존 LLM 기반 인프라를 유지하면서도 음성, 이미지, 음악 등 다양한 모달을 처리할 수 있어, 기업의 기술 도입 비용을 줄이는 데 유리하다. 연구 분야에서는 멀티모달 모델 개발의 기초 플랫폼으로 활용될 수 있다.