ReWorld: An Interactive World Model with Long-Horizon Memory

An interactive world model must follow the user's actions, remember the places it has shown, and stream in real time. The tension is structural: control wants a short horizon, memory wants an unbounded one. ReWorld separates the two during training and bounds them at inference. Mixed per-head attention windows confine most heads to the recent past while a small set of global heads attends over the entire history, and random head routing keeps either capability from binding to particular heads; random chunk dropping makes sparse histories in-distribution. At inference the whole past lives under a fixed budget: a bounded KV cache backed by a pose-indexed landmark bank, from which the model retrieves the landmarks nearest the current pose. A metric-scale-aligned data engine places eight sources -- Unreal-rendered fly-throughs, game roaming, and real-world footage -- on one physical action scale, so the same key press moves the camera the same distance in every source, and palindrome trajectories supply the revisit evidence that memory training needs. Distribution-matching distillation confined to a LoRA adapter then compresses sampling to four steps: one backbone serves both a high-fidelity multi-step mode and a real-time interactive one, streaming 704x1280 video across photorealistic, game-style, and stylized worlds. Under a three-axis protocol covering action following, long-horizon recall, and video quality, against six recent interactive world models it attains the best control fidelity (11.95^circ rotation error and the best camera-motion consistency) and the best generation quality; and on minute-long out-and-back rollouts (64\,s, 384 latents), its fixed 12-chunk cache still regenerates the starting view -- at rollout lengths where a sliding window has long evicted the evidence and full-KV attention runs out of memory.

한 줄 요약

ReWorld는 장기 기억과 실시간 제어를 결합한 인터랙티브 월드 모델로, 704×1280 해상도 영상 스트리밍과 11.95° 회전 오차를 기록했다.

핵심 기여도

**Mixed per-head attention windows**를 사용해 제어는 짧은 시간 창, 기억은 긴 시간 창에서 학습.
**Random head routing**으로 헤드별 창 길이 고정 없이 유동적으로 학습.
**Chunk-drop training**으로 훈련 시 희소한 KV 캐시를 생성, 추론 시에도 맞춤형.
**Pose-indexed landmark bank**로 고정된 KV 예산 내에서 장기 기억 유지.

핵심 아이디어

ReWorld는 제어와 기억이 서로 다른 시간 창을 필요로 한다는 점에서 출발한다. 제어는 짧은 창에서 학습되어야 실시간 반응이 가능하며, 기억은 긴 창에서 학습되어야 장기적인 장면 복원이 가능하다. 이를 위해 **Mixed per-head attention windows**를 도입하여 대부분의 헤드는 최근 과거만 참조하고, 일부 **global heads**는 전체 과거를 참조하도록 했다. **Random head routing**을 통해 헤드가 매 스텝마다 창 길이를 바꿔가며 학습함으로써 특정 창에 의존하지 않도록 했다. 이는 추론 시 고정된 KV 캐시에서도 모든 헤드가 유연하게 작동할 수 있도록 보장한다.

기술적 접근법

**Mixed per-head attention windows**: 대부분의 헤드는 짧은 창, 일부 헤드는 전체 과거를 참조.
**Random head routing**: 매 스텝마다 헤드가 창 길이를 바꿔가며 학습.
**Chunk-drop training**: 훈련 시 랜덤하게 과거 청크를 제거, 희소한 캐시를 학습.
**Pose-indexed landmark bank**: 고정된 KV 예산 내에서 장기 기억 유지.
**Metric-scale-aligned data engine**: Unreal, 게임, 실제 영상 통합, 동일 물리적 스케일 적용.
**LoRA adapter**: 4단계 샘플링으로 실시간 및 고해상도 모드 지원.

주요 결과

**Camera controllability**: 11.95° 회전 오차, 최고의 카메라 동작 일관성.
**Long-horizon memory**: 64초, 384 레이턴트의 out-and-back rollout에서 시작 뷰 재생성 성공.
**Video quality**: 704×1280 해상도, 7개 VBench 지표에서 최고 성능.
**Comparison**: 6개 최근 모델 대비 최고의 제어 정확도와 생성 품질.

의의 및 한계

ReWorld는 제어와 기억의 시간 창 간 긴장 관계를 해결하는 첫 번째 시도로, 실시간 인터랙티브 시스템에서 장기 기억을 유지하는 데 기여한다. 특히, **LoRA adapter**를 활용한 샘플링 최적화와 **metric-scale-aligned data engine**은 다양한 데이터 소스 통합을 가능하게 한다. 그러나 현재는 카메라 포즈만을 기반으로 기억을 관리하며, 동적 장면이나 비탐색적 상호작용을 지원하지 못하는 점이 한계이다.

실용적 활용

ReWorld는 게임, VR, AR 등 실시간 환경에서 사용자 행동에 따라 장면을 생성하고, 이전 장면을 정확히 기억해야 하는 시스템에 적용 가능하다. 특히, **704×1280 해상도**의 실시간 스트리밍이 필요한 인터랙티브 콘텐츠 제작에 유용하다.