ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow

We present ShadowDancer, a novel approach to any-action, frame-level control of interactive video world models. The obstacle is representational: existing interfaces either encode an action loosely, leaving how it unfolds for the model to improvise, or encode it exactly through structured signals that serve one family and are hard to acquire, so precise control across diverse dynamics remains impractical. Demonstration videos are the natural remedy, specifying any dynamics frame by frame; yet a video shows its dynamics only through one particular appearance, a single shadow of the underlying dynamics, so actions learned from demonstrations transfer poorly to new scenes. ShadowDancer addresses this with two key innovations: (1) shadow pairs, video pairs that replay the same dynamics under independently resampled appearance, constructed at scale by our Shadow Library, so that a dynamics family becomes controllable exactly when such pairs can be constructed for it; and (2) cross-shadow prediction, which learns actions by predicting one shadow from the other, so that whatever the pairing resamples is discarded by construction and whatever it preserves becomes the action, yielding a unified dynamics representation that drives a block-causal world model. Any demonstrated clip thus becomes a reusable action asset, replayed in new environments without action labels, motion estimators, or fine-tuning. Experiments demonstrate improved action transfer and long action rollout over strong latent-action and interactive world model baselines across diverse dynamics families, with an average blinded win rate of 86% in rollout comparisons. We show video results at https://ShadowDancer-1.github.io

한 줄 요약

ShadowDancer는 동영상과 그림자 쌍을 통해 동작을 학습하여 다양한 동역학에 대한 프레임 수준의 정밀 제어를 가능하게 하는 새로운 인터페이스를 제시한다.

핵심 기여도

**Shadow Library**를 통해 동일한 동역학을 다른 외형으로 재생성한 **Shadow Pairs**를 대규모로 생성.
**Cross-shadow prediction**을 통해 외형 변화를 배제하고 동역학만 추출하는 **통합 동역학 표현**을 학습.
**86%의 평균 블라인드 승률**을 기록하며, 기존 latent-action 및 interactive world model 기반 모델 대비 **동작 전이 및 롤아웃 성능 향상**.
**레이블, 추정기, 미세조정 없이** 새로운 환경에서 동작 재생 가능.

핵심 아이디어

기존 인터페이스는 동작을 **완화된 심볼**(예: 키 입력)로 표현하거나 **특정 동역학에만 적용 가능한 구조화된 신호**(예: 3D 인간 동작)로 표현하는 데 제한되어 있었다. 이는 **정밀성과 일반성 사이의 트레이드오프**를 초래했다. ShadowDancer는 이 문제를 해결하기 위해 동일한 동역학을 **다른 외형**(shadow)으로 재생성한 **Shadow Pairs**를 사용한다. 이는 동일한 동작이 다른 환경에서 어떻게 표현되는지를 학습하는 데 핵심이 된다.

**Cross-shadow prediction** 알고리즘은 한 동영상의 **latent action**을 추출한 후, 다른 외형으로 재생성된 동영상(그림자)을 예측하도록 훈련한다. 이 과정에서 외형 변화는 **자동적으로 배제**되고, 공통된 동역학만 남게 되어 **통합된 동역학 표현**을 학습하게 된다. 이는 기존 latent-action 모델에서 발생하는 **외형과 동작의 혼합**(entanglement) 문제를 극복한다.

기술적 접근법

**Shadow Library**: 동일한 동역학을 재생성하면서 **주체, 장면, 재질, 조명**을 독립적으로 재샘플링하여 **Shadow Pairs**를 생성.
**Cross-shadow prediction**: 하나의 동영상에서 **latent action**을 추출한 후, 다른 외형으로 재생성된 동영상(그림자)을 예측.
**Block-causal autoregressive generator**: 미리 훈련된 **video diffusion backbone**을 변형하여 **인터랙티브 롤아웃**에 활용.
**Frozen-encoder**: 동영상에서 추출된 **latent action**은 추후 재사용 가능한 **variable-length action asset**으로 저장.

주요 결과

**86%의 평균 블라인드 승률**을 기록하며, 기존 latent-action 및 interactive world model 기반 모델 대비 **동작 전이 및 롤아웃 성능 향상**.
**Human motion, camera control, gameplay, robot manipulation** 등 다양한 동역학 가족에서 실험 성능 개선.
**레이블, 추정기, 미세조정 없이** 새로운 환경에서 동작 재생 가능.

의의 및 한계

ShadowDancer는 **동영상 기반의 정밀 동작 제어**를 가능하게 하며, **인터랙티브 월드 모델의 활용 범위를 확장**한다. 특히, **사용자가 보여주는 방식**(showing)으로 모델을 조종할 수 있어, **엔터테인먼트, 시뮬레이션 기반 에이전트 훈련** 등에 활용 가능하다.

그러나, **Shadow Pairs 생성에 필요한 외형 재샘플링 프로토콜**은 특정 환경에서만 가능하며, **모든 동역학에 대해 적용 가능한 일반화된 프로토콜**이 아직 명시되지 않았다. 또한, **복잡한 외형 변화가 포함된 동영상**에서는 성능 저하가 발생할 수 있다.

실용적 활용

ShadowDancer는 **게임 개발, VR/AR, 로봇 시뮬레이션** 등에서 사용자 정의 동작을 쉽게 재사용할 수 있는 **인터랙티브 월드 모델 인터페이스**로 활용 가능하다. 특히, **레이블 없이 동작을 학습하고 재생**할 수 있어, **대규모 데이터셋이 부족한 상황**에서도 유용하다.