AVTok: 1D Unified Tokenization for Holistic Audio-Video Generation

Audio-video generation has recently gained unprecedented research attention, aiming to synthesize high-quality sounding video content with fine-grained synchronization and semantic alignment between the auditory and visual components. The preceding methods predominantly adopt a dual-branch design with separate tokenization and generation modules per modality, neglecting the representation gap while necessitating intensive computational resources for proper training. Inspired by recent advancements in one-dimensional visual tokenization, we present \textbf{AVTok}, a novel unified tokenizer designated for holistic audio-video generation. AVTok features a dual-stream transformer-based architecture with shared encoder-decoder and modal-specific learnable queries to efficiently and effectively encode an audio-video pair into a compact one-dimensional latent representation with a unified codebook. To cope with the heterogeneous information imbalance that hinders AVTok from exploiting aligned audio-visual information, we devise a hierarchical training strategy to progressively realize reconstruction capabilities for each modality. Extensive experiments demonstrate that AVTok excels both in audio-video reconstruction and when integrated into downstream pipelines for audio-to-video, video-to-audio, and class-conditional joint audio-video generation. AVTok paves the way for the challenge of joint audio-video tokenization and provides a potential direction to build unified large multimodal models for audio-video generation.

한 줄 요약

AVTok은 1D 통합 토크나이저를 제안하여 오디오-비디오 생성의 효율성과 정확도를 동시에 향상시킨다.

핵심 기여도

AVTok은 오디오와 비디오를 하나의 1D 잠재 표현으로 통합 토크나이징하는 새로운 아키텍처를 제안.
기존의 이중 브랜치 설계를 대체하여 계산 비용을 줄이고, 모달 간 정보 불균형 문제를 해결.
VFAL(Video-First-Audio-Later) 계층적 훈련 전략을 도입하여 각 모달의 복원 능력을 점진적으로 개발.
통합 코드북을 사용한 효율적인 인코딩-디코딩 구조로 다운스트림 생성 작업에서 우수한 성능 달성.

핵심 아이디어

기존 오디오-비디오 생성 모델은 각 모달에 대해 별도의 토크나이저와 생성 모듈을 사용하는 이중 브랜치 설계를 채택했으나, 이는 모달 간 표현 차이와 계산 비용 증가를 초래했다. AVTok은 이 문제를 해결하기 위해 **1D 잠재 표현**을 기반으로 오디오와 비디오를 **단일 코드북**으로 통합 토크나이징하는 새로운 접근법을 제안한다. 이는 오디오의 1D 파형 구조와 최근 1D 비디오 토크나이징 연구의 성공을 기반으로 한다. AVTok은 **이중 스트림 트랜스포머 아키텍처**를 사용하여 각 모달의 고유 정보를 유지하면서도 **공유된 인코더-디코더**와 **모달별 학습 가능한 쿼리**(modal-specific learnable queries)를 통해 암묵적으로 정보를 융합한다. 이는 모달 간 세마틱 정렬을 향상시키는 동시에, 효율적인 인코딩과 복원을 가능하게 한다.

기술적 접근법

**AVTok 아키텍처**: 이중 스트림 트랜스포머 기반, 공유 인코더-디코더, 모달별 학습 가능한 쿼리 포함.
**1D 잠재 표현**: 오디오(1D 파형)와 비디오(1D 토크나이징)를 통합 인코딩.
**VFAL 훈련 전략**: 비디오 먼저, 오디오 나중에 순차적으로 복원 능력 개발.
**표현 정렬 손실**: 오디오-비디오 기초 모델의 특성을 활용해 모델 학습 강화.
**코드북**: 단일 코드북을 사용하여 오디오-비디오 토큰을 통합 저장 및 복원.

주요 결과

AVTok은 AV 재구성 및 다운스트림 생성 작업에서 기존 방법 대비 우수한 성능을 보임.
**Audio-to-Video, Video-to-Audio, Class-Conditional Joint AV Generation** 작업에서 뛰어난 재구성 능력.
**VFAL 전략**을 사용하면 각 모달의 복원 능력이 점진적으로 향상됨.
**1D 잠재 표현**을 사용한 통합 토크나이징은 모델의 계산 효율성과 재구성 정확도를 동시에 향상.
**코드북 기반 인코딩**은 모델의 복잡도를 낮추며, 다운스트림 작업에 유리한 구조를 제공.

의의 및 한계

AVTok은 오디오-비디오 생성 분야에서 **통합 토크나이징**의 새로운 가능성을 제시하며, **대규모 멀티모달 모델** 개발의 기초가 될 수 있다. 특히, **이중 브랜치 설계를 대체하는 단일 코드북 기반 아키텍처**는 계산 효율성과 모델 간 정렬 문제를 동시에 해결한다. 그러나, **1D 표현이 3D 비디오 정보를 완전히 포괄하지 못할 가능성**이 있으며, **복잡한 시공간 정보를 다루는 데 한계가 있을 수 있다**. 또한, **VFAL 전략의 훈련 시간 증가**와 **데이터 불균형에 대한 민감도**는 추가 연구가 필요한 부분이다.

실용적 활용

AVTok은 **크리에이티브 콘텐츠 제작**(예: 음악-비디오 자동 생성, 스토리보드 기반 음향 생성) 및 **멀티모달 인터페이스**(예: VR/AR, 콘텐츠 자동화) 등 다양한 산업 분야에서 활용 가능하다. 또한, **대규모 멀티모달 모델 학습**에 있어 효율적인 토크나이징 기반을 제공하여, **다운스트림 생성 작업의 성능 향상**에 기여할 수 있다.