Here the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation

Recent joint video-audio generation models have achieved strong semantic correspondence and temporal synchronization. However, applications such as AR/VR and interactive gaming further require stereo audio to provide an immersive sense, which remains largely overlooked. Effective stereo audio requires the perceived sound location to evolve consistently with the motion of its corresponding visual source. We refer to this property as Dynamic Spatial Correspondence and propose StereoBind, a framework that binds visual source motion to stereo sound generation. StereoBind uses motion tracks to coordinate visual motion and stereo audio through three complementary mechanisms. Visual Motion Binding establishes source-aware audiovisual correspondence, the Spatial Track Encoder captures absolute source positions, and Residual Track RoPE models relative motion. For supervision and evaluation, we construct StereoWorld-29K, a large-scale stereo audio-video dataset with paired motion tracks, and StereoWorldBench for measuring audiovisual spatial consistency. Experiments show that StereoBind substantially improves spatial alignment in stereo audio generation over existing models while preserving overall audiovisual quality.

한 줄 요약

StereoBind는 시각적 소스의 움직임과 입체 음향을 동적으로 연결하여 공간 일관성을 향상시키는 첫 번째 트랙-조건부 비디오-오디오 생성 프레임워크이다.

핵심 기여도

**StereoBind**라는 새로운 프레임워크를 제안하여, 시각 소스의 움직임과 입체 음향 간 동적 공간 일관성(Dynamic Spatial Correspondence)을 모델링.
**StereoWorld-29K**, 첫 번째 대규모 입체 음향-비디오 데이터셋을 구축, 명시적 공간 감독을 제공.
**StereoWorldBench**라는 새로운 평가 벤치마크를 도입하여, 입체 음향과 시각 소스 간 공간 일관성을 측정.
**VMB, STE, RT-RoPE** 세 가지 모듈을 통해 시각-음향 일관성을 구현하며, 실험에서 기존 모델 대비 AST-Ang, AST-Cal 등 주요 지표에서 개선.

핵심 아이디어

기존의 비디오-오디오 생성 모델은 의미적 일관성과 시간 동기화에 집중하지만, AR/VR과 같은 응용에서는 소리의 공간적 위치가 시각적 움직임과 일치해야 하는 **동적 공간 일관성**이 필수적이다. 이는 인간의 이두차 시간 차이(ITD)와 이두차 수준 차이(ILD)를 통해 소리의 방향을 인식하는 방식과 유사하다.

StereoBind는 이러한 일관성을 달성하기 위해 **Visual Motion Binding (VMB)**, **Spatial Track Encoder (STE)**, **Residual Track RoPE (RT-RoPE)** 세 가지 모듈을 결합한다. VMB는 시각 움직임과 오디오 간의 교차 모달 표현을 구축하고, STE는 절대 위치 정보를 인코딩하며, RT-RoPE는 상대적 움직임을 고려한 공간 조건을 제공한다. 이는 기존 모델에서 제공되지 않는 **트랙-조건부** 입체 오디오 생성을 가능하게 한다.

기술적 접근법

**StereoBind**는 VMB, STE, RT-RoPE 세 가지 모듈로 구성됨.
**VMB**: 시각 움직임과 오디오 간의 교차 모달 표현을 생성.
**STE**: 트랙 정보를 공간 트랙 임베딩으로 매핑하여 오디오 레이턴트를 조절.
**RT-RoPE**: 상대적 움직임을 고려한 RoPE 기반 공간 조건을 모델링.
**StereoWorld-29K**: VAS 및 SDS 파이프라인을 통해 생성된 대규모 입체 음향-비디오 데이터셋.
**StereoWorldBench**: AST-Ang, AST-Cal, ILD-W, SELD-Acc, SMR-Err 등 5개 지표로 공간 일관성을 평가.
**하이퍼파라미터**: VMB 토큰 수는 64개로 설정됨 (128개일 때는 성능 향상이 미미함).

주요 결과

**StereoWorldBench**에서 기존 VA 모델 대비 AST-Ang, AST-Cal, ILD-W, SELD-Acc, SMR-Err 등 주요 지표에서 개선됨.
**VMB 토큰 수 64개**에서 성능이 포화됨.
**RT-RoPE 제거 시 AST-Ang +1.2%, AST-Cal +0.8% 감소**.
**STE 제거 시 SMR-Err +2.1%, AST-Ang +1.5% 감소**.
**VMB 제거 시 전체 공간 일관성 저하**.

의의 및 한계

StereoBind는 입체 음향과 시각 움직임 간 동적 일관성을 모델링하는 첫 번째 프레임워크로, AR/VR 및 인터랙티브 게임 등 공간 인식이 중요한 응용 분야에 기여한다. 특히, **StereoWorld-29K**와 **StereoWorldBench**는 이 분야의 연구 및 평가 기반을 제공한다.

그러나, 현재 모델은 **단일 소스만 처리**하며, **복잡한 3D 환경**이나 **다중 소스** 상황에서는 한계가 있다. 또한, **실제 세계 데이터 수집 비용**이 높아, 더 많은 현실적 데이터셋 확보가 필요하다.

실용적 활용

StereoBind는 **AR/VR 콘텐츠 제작**, **인터랙티브 게임**, **가상 환경 시뮬레이션** 등에서 입체 음향과 시각 움직임의 일관성을 확보하는 데 활용될 수 있다. 특히, **동적 소리 위치를 시각적 움직임과 일치시키는 응용**에서 효과적이다.