Video = World + Event Stream

We present Wan-Streamer v0.3, which reframes our native-streaming interaction model under a single organizing view: a video is a world plus an event stream. The world is the persistent context in which a video unfolds, including the environment, scene, subjects, ambient acoustic conditions, voice characteristics, and other relatively stable conditions. The event stream is everything that changes over time within that world, including scene or environmental changes, subject behavior, speech, and other sounds. This yields a general-purpose pretraining task over large amounts of real video: given a world and incoming input, predict how the world moves, changes, and responds in real time. The resulting competence can be specialized to a broad family of real-time downstream tasks. We instantiate it on real-time full-duplex audio-visual interaction, where the event stream is the agent's speech together with free-form behavior. Functionally, the model's multimodal understanding process is vision-language-action-like: it maps multimodal user input to language-form speech and behavior actions. Wan-Streamer v0.3 preserves the v0.2 operating point: 640x368 video at 25 FPS, a 160 ms streaming unit, approximately 200 ms model-side response latency, and approximately 550 ms total interaction latency under a 350 ms bidirectional network budget.

한 줄 요약

Wan-Streamer v0.3은 영상 생성을 "세계 + 이벤트 스트림"으로 분해하여 실시간 다중모달 상호작용을 구현한 모델이다.

핵심 기여도

영상 생성을 "세계(world)"와 "이벤트 스트림(event stream)"으로 분해하여 일반적인 사전학습 태스크를 정의함.
실시간 양방향 음성-비주얼 상호작용에서 모델의 다중모달 이해 과정이 VLA(Visual-Language-Action) 유사 구조를 채택함.
v0.2와 동일한 640×368 해상도, 25 FPS, 약 200 ms 모델 응답 지연, 550 ms 전체 상호작용 지연을 유지하면서 open-vocabulary 행동 표현을 확장함.

핵심 아이디어

Wan-Streamer v0.3은 영상이 "세계"와 "이벤트 스트림"으로 구성된다는 통찰을 바탕으로, 영상 생성을 일반적인 사전학습 태스크로 정의한다. "세계"는 환경, 장면, 주체, 음향 조건 등 상대적으로 안정적인 맥락을 포함하며, "이벤트 스트림"은 시간에 따라 변화하는 장면 변화, 주체 행동, 음성, 소리 등을 포괄한다. 이 분해는 "주어진 세계와 입력에 대해 세계가 어떻게 움직이고 반응하는지 예측하는" 일반적인 사전학습 태스크를 가능하게 한다. 이는 모든 자연 영상이 이 구조의 인스턴스라는 가정에 기반하며, 다양한 실시간 작업으로 전이 가능하다.

이 모델은 VLA(Visual-Language-Action) 유사 구조를 통해 다중모달 입력을 언어 형태의 음성과 행동으로 매핑하며, 행동은 자연어로 표현된 open-vocabulary 행동 지시어로 구성된다. 예를 들어, "(frowning slightly) What did you say?"와 같은 형태로, 행동 범주를 제한하지 않고 자유롭게 표현할 수 있다.

기술적 접근법

**모델 구조**: 단일 Transformer를 사용하여 텍스트, 오디오, 영상이 같은 인과적 타임라인에 존재하며, 인식, 응답 타이밍, 말하기, 시각적 듣기, 동기화된 영상 생성이 하나의 행동으로 학습됨.
**사전학습 태스크**: "주어진 세계와 입력에 대해 세계가 어떻게 움직이고 반응하는지 예측하는" 태스크를 사용.
**데이터**: 일반적인 영상 데이터로 사전학습.
**하이퍼파라미터**: 640×368 해상도, 25 FPS, 160 ms 스트리밍 단위, 약 200 ms 모델 응답 지연, 550 ms 전체 상호작용 지연(350 ms 양방향 네트워크 예산).
**Ulysses-style context-parallel performer**: 레이턴트 생성을 병렬화하여 성능 유지.

주요 결과

**640×368 해상도, 25 FPS**에서 **약 200 ms 모델 응답 지연**, **약 550 ms 전체 상호작용 지연**을 유지.
**open-vocabulary 행동 표현**을 도입하여, v0.2 대비 행동 표현 범위를 확장.
**VLA 유사 다중모달 이해**를 통해 입력을 자연어 형태의 음성과 행동으로 매핑.
**동기화된 오디오-비주얼 생성**을 유지하면서 자유로운 행동 표현 가능.

의의 및 한계

Wan-Streamer v0.3은 영상 생성을 일반적인 사전학습 태스크로 정의함으로써, 다양한 실시간 작업으로 전이 가능하도록 모델의 유연성을 높였다. 특히, VLA 유사 구조를 통해 자연어로 표현된 open-vocabulary 행동을 포함한 다중모달 상호작용을 실현함으로써, 기존의 고정된 행동 단어 사전에 의존하는 모델과 차별화된다. 또한, v0.2와 동일한 성능 지표를 유지하면서 표현 범위를 확장한 점에서 실용적 가치가 높다.

그러나, 본 논문에서는 특정 데이터셋의 성능 개선 폭이나 정량적 비교가 명시되지 않아, 모델의 성능 향상이 얼마나 큰지 구체적으로 평가하기 어렵다. 또한, open-vocabulary 행동 표현의 정확성이나 일관성에 대한 평가도 명시되지 않았다.

실용적 활용

Wan-Streamer v0.3은 실시간 양방향 음성-비주얼 상호작용이 필요한 가상 캐릭터, 챗봇, 게임 NPC 등에 적용 가능하다. 특히, 자연어로 표현된 open-vocabulary 행동을 통해 캐릭터의 표현 범위를 자유롭게 확장할 수 있어, 인터랙티브 콘텐츠 개발, 가상 콘퍼런스, 챗봇 서비스 등 다양한 산업 분야에서 활용 가능하다.