ForgeWM: Progressive Causal Training for Few-Step Action-Conditioned Video World Models

Action-conditioned video world models require low-latency causal generation and reliable responses to game-native controls. Although causal distillation enables one- or few-step video synthesis, extending it to interactive world models remains challenging, as discrete keyboard states and continuous mouse motion must remain aligned with temporally compressed latent chunks during causal training and autoregressive rollout. We introduce ForgeWM, a progressive framework that transforms a bidirectional action-conditioned video generator into efficient few-step world models through domain adaptation, teacher-forced causal training, causal consistency distillation, and on-policy distribution matching with a bidirectional teacher. The resulting budget-specialized students operate at steady-state denoising budgets of 1, 2, and 4 steps. ForgeWM further supports a dual-path deployment protocol combining latency-critical interaction with optional replay-time refinement, where the one-step student re-noises and refines its saved draft. On paired Minecraft trajectories, ForgeWM leads the evaluated systems in Imaging Quality, reference-aligned motion-profile agreement, action-sign accuracy, and mouse-control accuracy, while achieving the lowest reference LPIPS; the same four-stage recipe transfers to gamepad-controlled FPS gameplay. Replay-time refinement matches four-step reference quality while remaining roughly three times closer to the experienced trajectory than regeneration from noise. These results demonstrate ForgeWM's effectiveness for controllable few-step video generation.

한 줄 요약

ForgeWM은 게임 네이티브 컨트롤을 유지하면서 1~4단계의 저지연 동작 조건 비디오 월드 모델을 생성하는 프로그레시브 인과 학습 프레임워크이다.

핵심 기여도

4단계 프레임워크로, 양방향 생성기를 1, 2, 4단계의 예산 전용 인과 월드 모델로 전환.
키보드와 마우스 컨트롤이 프레임 정렬된 상태로 인과 학습 및 자동회귀 롤아웃을 거쳐 유지.
1단계 학습 모델이 재노이즈 및 재정제를 통해 4단계 참조 품질과 동일한 품질 달성.
Minecraft와 CrossFPS에서 Imaging Quality, action-sign 정확도, 마우스 정확도, LPIPS 등에서 기존 시스템 대비 우수한 성능.

핵심 아이디어

ForgeWM은 기존의 양방향 생성 모델을 인과 월드 모델로 전환하는 4단계 프레임워크를 제안한다. 이는 인과 학습과 자동회귀 롤아웃 중 키보드와 마우스 컨트롤의 정렬을 유지하기 위해 설계되었다. 핵심 아이디어는 **teacher-forced causal training**, **causal consistency distillation**, **on-policy distribution matching**을 통해 생성된 히스토리와 실제 입력 간 일관성을 보장하는 것이다. 또한, **dual-path deployment protocol**을 통해 실시간 상호작용과 오프라인 재정제를 분리하여, 1단계 학습 모델이 4단계 품질을 재현할 수 있도록 한다.

기술적 접근법

**Domain adaptation**: 양방향 생성기와 인과 학습 모델 간의 도메인 차이를 줄이기 위한 초기 조정.
**Teacher-forced causal training**: 참조 히스토리 기반으로 인과 학습 모델을 강제 훈련.
**Causal consistency distillation**: 생성된 히스토리와 참조 간 일관성을 보장하는 지도 학습.
**On-policy distribution matching**: 학습 모델의 자동회귀 롤아웃과 양방향 선생 모델의 분포 일치.
**Budget-specialized students**: 1, 2, 4단계의 예산 전용 학습 모델을 별도로 훈련.
**Dual-path deployment**: 1단계 모델이 재노이즈 및 재정제를 통해 4단계 품질 달성.

주요 결과

**Minecraft 데이터셋**에서 ForgeWM은 Imaging Quality, reference-aligned motion-profile agreement, action-sign 정확도, 마우스 정확도에서 기존 시스템 대비 우수한 성능.
**Reference LPIPS**는 ForgeWM이 가장 낮은 값을 기록.
**Replay-time refinement**는 4단계 참조 품질과 동일하면서도, 노이즈 재생성 대비 약 3배 가까운 경험 트레 jury에 가까움.
**CrossFPS**에서 동일한 4단계 레시피가 게임패드 제어 환경으로 전이 가능.

의의 및 한계

ForgeWM은 인과 생성과 실시간 컨트롤 반응성을 동시에 달성하는 데 기여하며, 1~4단계의 운영 포인트를 통해 지연-품질 트레이드오프를 유연하게 조절할 수 있다. 특히, **dual-path deployment**는 실시간 상호작용과 오프라인 품질 향상을 분리하여 실용성을 높인다. 그러나 본 연구는 **Minecraft**와 **CrossFPS**에만 적용되었으며, **out-of-distribution generalization**은 평가 범위에서 제외되었다. 또한, **HY-WorldPlay**와 같은 다른 시스템은 제어 파라미터화가 달라 정확한 비교가 어려운 한계가 있다.

실용적 활용

ForgeWM은 게임 개발, VR/AR 환경 시뮬레이션, 실시간 인터랙티브 영상 생성 등에서 활용 가능하다. 특히, **1~4단계 운영 포인트**와 **dual-path deployment**는 다양한 지연-품질 요구사항을 가진 시스템에 적합하며, **게임 네이티브 컨트롤 유지**는 게임 엔진과의 통합을 용이하게 한다.