Current World Models Lack a Persistent State Core

World models are increasingly regarded as a decisive step toward artificial general intelligence, yet modeling the physical world demands more than rendering convincing frames on demand: it requires an internal world state that keeps evolving over time, decoupled from observation, so that objects endure and events run to their conclusions whether or not a camera is watching, much as the moon holds to its orbit when no one is looking. This requirement is a blind spot of existing benchmarks, which reward surface properties such as fidelity, motion, and camera controllability while never asking whether a generated world keeps evolving once it is unobserved. We introduce WRBench, the first systematic diagnostic benchmark that treats camera motion as an intervention on observability and resolves evaluation into a human-calibrated chain that asks whether the camera executes the requested interaction, whether the scene stays continuous and identifiable while in view, and whether a returning target remains consistent with the event that was set in motion. Across 9{,}600 videos from 23 models spanning four control paradigms, one finding proves stubborn: current systems maintain the observed world as a tracking shot, resuming a returning target in the state at which it was abandoned rather than advancing the event while it went unseen. Because this failure recurs across control paradigms, model families, and increments of scale, robust world-state evolution does not follow from cleaner imagery, tighter control, richer geometric priors, or sheer parameter count We therefore argue that the stability of the physical state kernel and the consistency of worldlines under viewpoint intervention should become first-class objectives of world-model design, so that a world model captures how the world will unfold rather than how the next frame appears.

한 줄 요약

WRBench는 카메라 관찰 중단 후 세계 상태가 지속되는지 평가하는 첫 진단 벤치마크로, 23개 모델을 9,600개 영상으로 평가하여 현재 시스템의 세계 상태 지속성 부족을 밝힘.

핵심 기여도

WRBench: 카메라 관찰 조건 변화에 따른 세계 상태 지속성을 평가하는 첫 진단 벤치마크 도입.
WRBenchLib: 다양한 제어 패러다임 간 공정 비교를 위한 카메라 조건 기록 도구 개발.
2,547개의 중복 제거된 인간 어노테이터 평가 데이터를 공개하여 자동 평가와 일치도 검증.
23개 모델을 9,600개 영상으로 평가하여 세계 상태 지속성과 시각적 품질 간의 분리된 능력을 밝힘.

핵심 아이디어

기존 비디오 생성 모델은 카메라가 관찰하지 않는 동안 세계 상태가 진화하는지 평가받지 않았다. WRBench는 카메라 이동을 관찰 가능성의 간섭으로 간주하고, 카메라가 돌아오면 대상이 이전 이벤트의 종결 상태를 유지하는지 평가한다. 이는 "world-state persistence under viewpoint intervention"으로 정의되며, 기존 평가 체계가 이 문제를 구분하지 못한다는 점에서 차별화된다. WRBench는 카메라 이동이 단순 렌더링 명령이 아닌 세계 상태 진화의 간섭이라는 통찰을 바탕으로 설계되었다.

기술적 접근법

WRBench는 6차원 진단 체계를 사용:
1. 요청 카메라 정밀도 (requested-camera precision)
2. 프롬프트-카메라 일치도 (prompt-camera alignment)
3. 시각적 무결성 (visual integrity)
4. 가시 영역 내 공간 및 상태 일관성 (visible spatial and state consistency)
5. 재관찰 가능성 (re-observation support)
6. 재관찰 후 공간 및 상태 일관성 (re-observed spatial and state consistency)

WRBenchLib은 각 모델이 어떤 카메라 조건을 받았는지 기록하여, 소스-비디오, 기하학 캐시, 모델 추론, 프롬프트 전용 등 4가지 제어 패러다임 간 비교 가능하게 만든다. 평가 데이터는 2,547개의 중복 제거된 인간 어노테이터 평가로 자동 평가와 일치도를 보장한다.

주요 결과

WRBench 평가 결과, 23개 모델이 9,600개 영상에서 세계 상태 지속성을 일관되게 유지하지 못함. 재관찰 후 상태 일관성 (re-observed-state consistency)은 시각적 품질, 재관찰 가능성과 독립적인 능력임. 모델 규모가 커져도 이 능력은 개선되지 않음. 실패는 이동보다는 "in-place state change" 상황에서 집중됨. 이는 "what-memory"와 "endpoint persistence" 감독 목적의 필요성을 시사함.

의의 및 한계

WRBench는 세계 모델이 단순히 다음 프레임을 생성하는 것이 아니라, 카메라가 관찰하지 않는 동안 세계가 진화하는지를 평가하는 첫 진단 체계로, AGI 개발의 핵심 목표 설정에 기여한다. 그러나 WRBench는 특정 이벤트 디자인(Natural-25)에 기반하므로, 더 다양한 상황에서의 일반화 가능성은 추가 연구가 필요하다. 또한, 재관찰 후 상태 일관성은 모델이 이벤트 종결점을 내부적으로 유지하는 능력이 부족함을 드러내며, 이는 기존 훈련 목적과 데이터셋이 이를 반영하지 못함을 시사한다.

실용적 활용

WRBench는 비디오 생성 모델이 진정한 세계 모델로 작동하는지를 평가하는 데 활용될 수 있으며, 특히 물리 시뮬레이션, 인공 지능 플랫폼, 4D 인식 시스템 등에서 세계 상태 지속성을 요구하는 분야에 적용 가능하다. 또한, 모델 개발자들이 "what-memory"와 "endpoint persistence"를 훈련 목적에 포함시킬 수 있도록 방향성을 제시한다.