PROWL: Prioritized Regret-Driven Optimization for World Model Learning

Modern action-conditioned video world models achieve strong short-horizon visual realism, yet remain unreliable on rare, interaction-critical transitions that dominate downstream planning and policy performance. Because passive demonstration data systematically under-samples these high-impact regimes, improving robustness requires actively eliciting model failures rather than relying on their natural occurrence. We introduce a KL-constrained adversarial curriculum in which a policy is trained to expose high-error trajectories of a diffusion-based world model while remaining close to the behavior distribution. The world model is continuously fine-tuned on these adversarially discovered trajectories, yielding an adversarial training loop that converts rare failures into a stable, near-distribution training signal without drifting into out-of-distribution exploitation. To maintain pressure on unresolved weaknesses as the model improves, we propose a Prioritized Adversarial Trajectory (PAT) buffer that re-ranks trajectories based on prediction error, action fidelity, and learning progress, focusing training on unresolved failure modes rather than repeatedly revisiting solved cases. We implement our approach in the MineRL framework and evaluate it on held-out out-of-distribution trajectories; PROWL improves robustness over models trained on passive data alone, reveals reward-hacking behaviors under weak behavioral constraints, and demonstrates that effective adversarial world-model training critically depends on balancing exploratory failure discovery with explicit behavioral regularization. Our results suggest that scalable world models benefit not only from larger datasets, but also from selectively generating informative training data.

📋 한 줄 요약

**[월드 모델 / 적대적 커리큘럼]** KL 제약 적대 정책으로 희귀 실패를 능동적으로 유도해 비디오 월드 모델의 견고성을 끌어올리는 PROWL 제안.

🎯 핵심 기여도

행동 조건부 비디오 월드 모델이 짧은 지평선의 시각 사실성은 강하지만, 다운스트림 계획·정책 성능을 좌우하는 희귀·상호작용 결정 전이에서 불안정하다는 문제 정의.
수동 시연 데이터가 이런 high-impact 영역을 체계적으로 과소표집한다는 점을 지적, 견고성을 위해 실패를 능동적으로 유도해야 함을 주장.
KL 제약 적대 커리큘럼 도입: 정책은 행동 분포에 가까이 머무르면서 확산 기반 월드 모델의 고오차 궤적을 노출, 월드 모델은 그 궤적으로 지속 미세조정.
Prioritized Adversarial Trajectory(PAT) 버퍼 제안: 예측 오차·행동 충실도·학습 진보를 기준으로 궤적 재순위, 해결된 케이스 반복 대신 미해결 실패 모드에 학습 집중.

💡 핵심 아이디어

월드 모델의 견고성은 데이터를 더 모으는 문제가 아니라 "어떤 실패를 능동적으로 찾아낼 것인가"의 문제이며, 적대 정책은 행동 분포 근처에 묶여야 OOD 익스플로잇 없이 의미 있는 학습 신호가 된다.

🔬 기술적 접근법

**모델/방법론**: 확산 기반 비디오 월드 모델 + KL 제약 적대 정책 + Prioritized Adversarial Trajectory 버퍼, MineRL 프레임워크에서 구현.
**핵심 기법**: KL constraint로 정책을 행동 분포 근방에 고정, 고오차 궤적 발굴 후 월드 모델 미세조정, PAT 버퍼로 예측 오차·행동 충실도·학습 진보 기반 재순위.

📊 주요 결과

MineRL에서 held-out OOD 궤적 평가 시 수동 데이터만으로 학습한 모델 대비 PROWL의 견고성 향상.
약한 행동 제약 하에서 reward-hacking 행동이 나타남을 발견, 행동 정규화의 필요성을 정량 입증.
효과적인 적대 학습이 탐색적 실패 발견과 명시적 행동 정규화의 균형에 결정적으로 의존함을 실증.

💭 의의 및 한계

**의의**: 확장 가능한 월드 모델 학습이 데이터 규모뿐 아니라 정보가 풍부한 학습 데이터의 선택적 생성에서도 이득을 본다는 메시지를 제시. **한계**: MineRL 도메인 위주 평가, 더 복잡한 실세계 환경(자율주행·로보틱스)으로의 확장은 후속 과제.

🚀 실용적 활용

로봇·게임 AI의 월드 모델 학습 파이프라인 강화.
시뮬레이션 기반 강화학습에서 희귀 실패 발굴.
행동 정규화와 익스플로잇 발견의 균형 분석 도구.