한 줄 요약
Show-o는 단일 트랜스포머로 멀티모달 이해와 생성을 통합한 모델로, 자동회귀와 확산 모델링을 결합하여 다양한 비전-언어 작업을 처리한다.
핵심 기여도
- Show-o는 자동회귀와 (이산) 확산 모델링을 결합한 단일 트랜스포머로 멀티모달 이해와 생성을 통합.
- 기존 모델 대비 20배 적은 샘플링 스텝으로 이미지 생성 가능.
- VQA, 텍스트-이미지 생성, 텍스트 유도 인페인팅/익스트라폴레이션 등 다양한 작업 지원.
- 기존 모델과 동일 또는 더 큰 파라미터 수량에서도 유사하거나 우수한 성능 보임.
핵심 아이디어
Show-o는 기존 멀티모달 이해 모델과 생성 모델을 독립적으로 사용하는 방식과 달리, 단일 트랜스포머 내에서 자동회귀와 확산 모델링을 결합하여 멀티모달 작업을 통합 처리한다. 이는 기존 자동회귀 모델이 이미지 생성 시 많은 샘플링 스텝을 요구하는 문제를 해결하고, 확산 모델의 강점을 활용하기 위한 접근이다.
이 모델은 텍스트는 이산 토큰으로 자동회귀 모델링하고, 이미지는 이산 확산 모델링을 통해 처리한다. 이는 기존 확산 모델이 일반적으로 별도의 텍스트 인코더와 노이즈 예측 네트워크를 사용하는 것과 달리, Show-o는 텍스트 조건 정보를 내재적으로 인코딩하여 별도 인코더 없이 텍스트-이미지 생성을 가능하게 한다.
또한, [MMU], [T2I], [SOT], [EOT], [SOI], [EOI] 등 특수 토큰을 사용한 통합 프롬프팅 전략을 통해 다양한 입력 데이터를 일관된 시퀀스로 처리하고, Omni-Attention 메커니즘을 통해 텍스트는 인과적 어텐션, 이미지는 전체 어텐션으로 처리함으로써 효율성과 유연성을 동시에 확보한다.
기술적 접근법
- **모델 아키텍처**: 기존 LLM 아키텍처를 기반으로, 각 어텐션 레이어에 QK-Norm을 추가.
- **이미지 토큰**: 8,192개의 새로운 학습 가능한 임베딩을 추가하여 이산 이미지 토큰 처리.
- **통합 프롬프팅**: [MMU], [T2I] 등 작업별 특수 토큰을 사용해 텍스트와 이미지 토큰을 일관된 시퀀스로 구성.
- **Omni-Attention**: 텍스트는 인과적 어텐션, 이미지는 전체 어텐션으로 처리.
- **학습 목표**: Next Token Prediction (NTP)과 Mask Token Prediction (MTP)을 결합한 이중 손실 함수 사용.
- **샘플링**: 이미지 토큰은 랜덤 마스킹 후 복원, 텍스트 조건은 null 텍스트로 대체하여 학습.
주요 결과
- Show-o는 기존 모델과 동일 또는 더 큰 파라미터 수량에서도 유사하거나 우수한 성능을 보임.
- 자동회귀 모델 대비 약 20배 적은 샘플링 스텝으로 이미지 생성 가능.
- VQA, 텍스트-이미지 생성, 인페인팅/익스트라폴레이션 작업에서 훈련 없이 바로 수행 가능.
- 인터리브된 텍스트-비디오 키프레임 생성 등 혼합 모달 생성 작업에도 적용 가능.
의의 및 한계
Show-o는 멀티모달 이해와 생성을 단일 트랜스포머로 통합함으로써, 기존에는 별도 모델이 필요했던 작업을 일관된 프레임워크에서 처리할 수 있게 한다. 이는 향후 멀티모달 AI의 발전에 중요한 기초 모델로 활용될 수 있다. 특히, 샘플링 스텝을 대폭 줄이는 것은 실시간 생성 작업에서 실용적 가치가 크다.
하지만, 이 모델은 이산 확산 모델링을 기반으로 하므로, 연속적인 이미지 표현을 사용하는 기존 확산 모델과 비교했을 때 표현력의 한계가 있을 수 있다. 또한, 다양한 이미지 표현 방식(이산 vs. 연속)이 멀티모달 이해 성능에 미치는 영향에 대한 체계적인 분석이 필요하다는 한계도 존재한다.
실용적 활용
Show-o는 멀티모달 챗봇, 자동 이미지 생성, 텍스트-이미지 인페인팅, 비디오 생성 등 다양한 산업 분야에서 활용 가능하다. 특히, 별도 모델 없이 단일 트랜스포머로 멀티모달 작업을 처리할 수 있으므로, 모델 배포 및 운영 비용을 절감할 수 있는 장점이 있다. 연구 분야에서는 멀티모달 기초 모델 설계에 중요한 참고 사례가 될 수 있다.