Zing-0.5: Toward Playable Worlds with Real-Time Joint Action and Text Control

We introduce Zing-0.5, a 5B autoregressive world model designed for playability: users can explore generated worlds, influence unfolding events, and respond to the resulting feedback through joint keyboard and online text control. Our approach brings together three technical contributions: (1) Unified action and text conditioning, combining magnitude-aware keyboard inputs with temporally aligned text instructions and jointly annotated videos to learn navigation and event control within the same sequence; (2) Event-scale supervision for incremental generation, using a segment-level teacher trained on connected multi-prompt videos to supervise a block-level causal student through distribution-matching distillation; and (3) Low-cost real-time interaction, combining four-step generation with context-preserving streaming to support 832 x 480 inference at 24 FPS at an estimated server rental cost of approximately USD 0.009 per stream-minute. Zing-0.5 achieves an overall score of 81.0 and a consistency score of 88.5 across 158 WBench Navigation cases. A joint-control demonstration shows a text-directed event change during continued navigation without restarting generation. We release the model weights, inference code, and Zing-SGLang serving implementation to support further work on playable generated worlds.

한 줄 요약

Zing-0.5는 실시간 키보드와 텍스트 제어를 결합한 5B 규모의 생성 세계 모델로, WBench Navigation에서 81.0의 종합 점수를 달성했다.

핵심 기여도

통합 행동 및 텍스트 조건: 키보드 입력과 시간적으로 정렬된 텍스트 지시를 결합하여 동일 시퀀스 내에서 탐색과 이벤트 제어를 학습.
이벤트 규모의 감독: 다중 프롬프트 비디오에서 학습한 세그먼트 레벨 티처가 블록 레벨 인과 학습자 모델을 분포 일치 교사법(distillation)으로 감독.
저비용 실시간 상호작용: 4단계 생성과 컨텍스트 유지 스트리밍을 통해 480p 해상도에서 24 FPS, 스트림당 약 $0.009의 서버 비용으로 작동.

핵심 아이디어

Zing-0.5는 사용자가 생성된 세계를 탐색하고, 이벤트를 영향시키며, 피드백을 바탕으로 행동을 조정할 수 있도록 설계되었다. 이는 기존의 키보드 제어와 텍스트 조건화를 결합한 방식을 넘어, **동일 시퀀스 내에서 행동과 텍스트가 일관된 결과를 유도하도록 학습**하는 새로운 접근이다. 특히, **jointly annotated videos**를 사용하여 키보드 입력과 텍스트 지시가 시각적 결과와 정렬되도록 학습하며, 이는 탐색과 이벤트 제어를 동일한 프레임워크 내에서 가능하게 한다.

또한, **이벤트 규모의 감독**을 위해 다중 프롬프트 비디오에서 학습한 **segment-level teacher**가 **block-level causal student**를 감독하는 방식을 도입했다. 이는 이벤트 학습이 여러 블록에 걸쳐 지속되도록 하며, 생성 과정은 여전히 블록 단위로 진행된다. 이는 **distribution-matching distillation**을 통해 이뤄지며, 학습 효율성을 높인다.

기술적 접근법

**Unified action and text conditioning**: 키보드 입력(continuous strengths), 시간적으로 정렬된 텍스트 지시, jointly annotated videos를 결합.
**Event-scale supervision**: multi-prompt videos를 기반으로 segment-level teacher를 학습하고, block-level causal student를 distribution-matching distillation으로 감독.
**Low-cost real-time interaction**: 4-step generation + context-preserving streaming을 통해 832 x 480 해상도에서 24 FPS, 스트림당 약 $0.009의 비용으로 작동.
**Rollout and replay**, long-sequence adaptation, history perturbation을 통해 장기 상호작용을 학습.

주요 결과

**WBench Navigation 데이터셋**에서 158개의 이미지 조건 사례에 대해 **종합 점수 81.0**, **일관성 점수 88.5** 달성.
실시간 텍스트 제어 시연에서, **이동 중 텍스트 지시로 이벤트 변경**이 가능함을 보여주며, 생성 재시작 없이 이어진다.
**480p 해상도에서 24 FPS**, 스트림당 약 **$0.009**의 서버 렌탈 비용으로 실시간 작동.

의의 및 한계

Zing-0.5는 생성 세계에서 **실시간 탐색과 텍스트 기반 이벤트 제어를 결합**한 첫 사례로, 사용자 경험의 유연성과 몰입도를 높인다. 특히, **segment-level teacher와 block-level student의 협업 학습**은 이벤트 학습과 생성 과정을 일관되게 연결하는 데 기여하며, **distribution-matching distillation**은 학습 효율성을 높인다.

그러나, **상태와 규칙의 일관성**(state and rule persistence)은 여전히 미해결 과제로, 사용자의 이전 행동과 생성 결과가 일관되지 않을 수 있다. 이는 장기적인 플레이 경험에서 신뢰성을 떨어뜨릴 수 있으며, 향후 연구 주제로 제시된다.

실용적 활용

Zing-0.5는 **가상 현실(VR)**, **게임 개발**, **AI 기반 콘텐츠 생성** 분야에서 활용 가능하다. 사용자가 생성된 환경을 탐색하면서 실시간으로 텍스트로 이벤트를 조정할 수 있어, **동적 스토리텔링** 및 **사용자 맞춤형 시뮬레이션** 개발에 기여할 수 있다. 또한, 저비용 실시간 스트리밍 기술은 **클라우드 기반 게임 플랫폼**에 적합하다.