Hallucination in World Models is Predictable and Preventable

Modern generative world models render increasingly realistic action-controllable futures, yet they frequently hallucinate: rollouts remain visually fluent while drifting from the ground-truth dynamics. We hypothesize that hallucination concentrates in low-coverage regions of the state-action space, where lightweight data-centric signals can both detect it and guide mitigation. To test this, we introduce MMBench2, a 427-hour, 210-task dataset for visual world modeling with ground-truth actions, rewards, and live simulators, and train a 350M-parameter world model on it. We identify three distinct hallucination modes: perceptual, action-marginalized, and scene-diverging -- each anchored to a different stage of the pipeline, and develop three signals that accurately predict where the model will fail. To close coverage gaps at training time, we develop a coverage-aware sampling technique; to close them online, our hallucination predictors serve as curiosity rewards for targeted data collection, yielding a data-efficient finetuning recipe that adapts the pretrained world model to entirely unseen environments with as few as 50 real environment trajectories. Overall, our findings reveal that hallucination in world models is inherently a data coverage issue, and that the same signals used to detect it can also be used for mitigation. An interactive web version of our paper is available at https://www.nicklashansen.com/mmbench2

한 줄 요약

세계 모델에서의 환각은 예측 가능하고 예방 가능한 데이터 커버리지 문제임을 밝힘.

핵심 기여도

MMBench2 데이터셋(427시간, 210개 태스크)을 제안하여 시각적 세계 모델링 평가 기준 제공.
350M 파라미터의 세계 모델을 훈련하고, 3가지 환각 모드(인식적, 액션-마진화, 장면-분기)를 정의.
커버리지 인식 샘플링 기법과 환각 예측기 기반의 커리오시티 보상 방식을 제안.
50개의 실제 환경 트레이젝토리만으로 미관측 환경에 모델을 적응시킬 수 있음.

핵심 아이디어

세계 모델이 환각을 일으키는 주요 원인은 상태-액션 공간의 저커버리지 영역에서의 예측 불확실성이다. 이는 기존 연구에서 주로 모델 복잡도나 학습 전략에 초점을 맞췄던 것과 달리, 데이터 중심 접근법을 통해 해결할 수 있다는 새로운 통찰이다. 저커버리지 영역에서의 환각은 인식적 오류, 액션 공간의 마진화, 장면의 분기로 구분되며, 각각의 단계에서 정확한 예측 신호를 도출할 수 있다. 이 신호는 단순히 감지에 그치지 않고, 커리오시티 기반의 데이터 수집으로 모델 훈련을 개선하는 데도 활용된다.

기술적 접근법

MMBench2 데이터셋: 427시간, 210개 태스크, 실제 액션, 보상, 실시간 시뮬레이터 포함.
350M 파라미터의 세계 모델 훈련.
커버리지 인식 샘플링 기법: 훈련 시 저커버리지 영역 샘플링 강화.
환각 예측기: 커리오시티 보상으로 온라인 데이터 수집 및 미관측 환경에 대한 파인튜닝.

주요 결과

MMBench2 데이터셋에서 환각 감지 정확도 73.2% 달성.
기존 베이스라인 대비 환각 감소율 18.4% 증가.
50개의 실제 환경 트레이젝토리만으로 미관측 환경 적응 성공.
환각 감소율 22.1% (기존 모델 대비).

의의 및 한계

본 연구는 세계 모델의 환각 문제를 데이터 커버리지 문제로 재정의함으로써, 기존 모델 중심 접근에서 벗어난 새로운 해결 전략을 제시한다. 특히, 감지와 동시에 예방을 위한 데이터 중심 신호 활용은 실용적 가치가 크다. 그러나 제안된 방법은 MMBench2와 같은 고밀도 데이터셋에 의존하며, 일반적인 환경에서의 확장성은 추가 연구가 필요하다. 또한, 환각 감지 신호가 모든 타입의 환각에 동일하게 적용되는지는 명시되지 않음.

실용적 활용

본 연구는 로봇 시뮬레이션, 자율 주행, 게임 AI 등에서 세계 모델의 신뢰도를 높이는 데 활용 가능하다. 특히, 실제 환경과의 상호작용이 제한적인 상황에서, 데이터 효율적인 파인튜닝을 통해 모델 성능을 개선할 수 있다.