Wan-Streamer v0.2: Higher Resolution, Same Latency

We present Wan-Streamer v0.2, a latency-preserving upgrade of the native-streaming, end-to-end audio-visual interaction model. v0.2 keeps the v0.1 modeling formulation, but raises the interactive output stream from 192x336 to 640x368 while preserving approximately 200 ms model-side signal-to-signal latency at 25 FPS. The higher-resolution stream supports scene-grounded mid-shot agents whose posture, gaze, hands, nearby objects, and local scene layout remain legible during real-time conversation. To support the larger visual stream without adding user-visible delay, v0.2 keeps the thinker as a single-GPU low-latency path for streaming perception, the short language/state Transformer pass that builds the generation cache, and final decoding. The performer becomes a multi-GPU Ulysses-style context-parallel group for the expensive next-unit latent generation. Each performer rank writes incoming K/V into a pre-sharded local cache. The long high-resolution latent video sequence is split across ranks for denoising and gathered through Ulysses communication, while the much shorter audio latent sequence is generated without sequence sharding. In this split, the thinker's language/state computation reaches the performer only as K/V conditioning, so no separate language sequence has to be communicated inside the performer group. This concentrates additional hardware on visual generation while preserving the compact thinker-performer boundary, keeping total remote interaction latency at approximately 550 ms when a 350 ms bidirectional network budget is included.

한 줄 요약

Wan-Streamer v0.2는 200ms 모델 측 지연을 유지하면서 640×368 해상도의 실시간 오디오-비디오 상호작용을 지원하는 업그레이드 모델이다.

핵심 기여도

192×336에서 640×368로 해상도를 높이면서 200ms 모델 측 신호-신호 지연을 유지.
단일 GPU thinker와 Ulysses 스타일 멀티-GPU performer 구조를 도입하여 높은 해상도 비디오 생성 비용을 분산.
pre-sharded K/V 캐시와 sequence parallelism을 사용한 고해상도 비디오 denoising 경로 구현.
close-up 영상 통화 및 scene-grounded mid-shot 에이전트의 시각적 범위 확장.

핵심 아이디어

Wan-Streamer v0.2는 v0.1의 native-streaming 구조를 유지하면서, 높은 해상도 비디오 생성을 위한 새로운 서빙 토폴로지를 도입한 것이 핵심이다. 기존 thinker는 단일 GPU에서 실시간 감지, 언어/상태 업데이트, K/V 캐시 생성, 최종 디코딩을 담당하며, 이는 지연에 민감한 경로이다. 반면, 높은 해상도 비디오 생성에 필요한 비용이 큰 next-unit latent generation은 Ulysses 스타일 멀티-GPU performer 그룹에서 병렬 처리된다. 각 performer rank는 pre-sharded K/V 캐시에 쓰고, denoising은 sequence parallelism을 통해 분산 처리된다. 이는 시각 생성 비용을 분리하면서도 thinker-performer 경계를 유지함으로써 전체 지연을 550ms 이내로 유지한다.

기술적 접근법

**Thinker**: 단일 GPU에서 low-latency 경로로 streaming perception, language/state Transformer pass, generation cache 생성, 최종 decoding 수행.
**Performer**: Ulysses-style context-parallel 멀티-GPU 그룹으로, 고해상도 비디오 latent generation 처리.
**K/V 캐시**: 각 performer rank는 incoming K/V를 pre-sharded local cache에 저장.
**Sequence parallelism**: 640×368 비디오 latent sequence는 rank별로 분할되어 denoising 처리.
**Audio latent sequence**: 토큰 수가 적어 sequence sharding 없이 생성.
**신호-신호 지연**: 200ms 유지, 25 FPS에서 640×368 해상도 생성.
**총 원격 상호작용 지연**: 350ms의 양방향 네트워크 예산 포함 시 약 550ms.

주요 결과

**해상도 향상**: 192×336 → 640×368, 25 FPS 유지.
**지연 유지**: 모델 측 신호-신호 지연 200ms, 총 원격 상호작용 지연 550ms (350ms 네트워크 예산 포함).
**시각적 범위 확장**: close-up 영상 통화 품질 향상 + scene-grounded mid-shot 에이전트 지원.
**비디오 생성 비용 분산**: Ulysses-style 멀티-GPU performer를 통해 고해상도 denoising 처리.

의의 및 한계

Wan-Streamer v0.2는 실시간 오디오-비디오 상호작용에서 높은 해상도와 낮은 지연을 동시에 달성한 사례로, 디지털 휴먼 및 실시간 멀티모달 시스템 개발에 중요한 기여를 한다. 특히, Ulysses-style 병렬 처리와 pre-sharded K/V 캐시를 통해 시각 생성 비용을 분리하면서도 지연 경로를 보존한 점이 학술적·실용적 가치를 지닌다. 그러나, 네트워크 예산(350ms)은 외부 가정으로, 실제 배포 환경에서는 네트워크 지연이 총 성능에 영향을 줄 수 있다. 또한, 640×368 이상의 해상도 확장 가능성은 명시되지 않음.

실용적 활용

Wan-Streamer v0.2는 실시간 영상 통화, 디지털 휴먼, 멀티모달 챗봇 등에서 높은 해상도와 낮은 지연을 동시에 요구하는 상황에 적용 가능하다. 특히, 대화 중 에이전트의 자세, 시선, 주변 객체 등을 명확히 전달해야 하는 상황에서 유용하며, 원격 협업, 가상 콘서트, 실시간 콘텐츠 제작 등 다양한 산업 분야에서 활용될 수 있다.