Quantitative Video World Model Evaluation for Geometric-Consistency

Generative video models are increasingly studied as implicit world models, yet evaluating whether they produce physically plausible 3D structure and motion remains challenging. Most existing video evaluation pipelines rely heavily on human judgment or learned graders, which can be subjective and weakly diagnostic for geometric failures. We introduce PDI-Bench (Perspective Distortion Index), a quantitative framework for auditing geometric coherence in generated videos. Given a generated clip, we obtain object-centric observations via segmentation and point tracking (e.g., SAM 2, MegaSaM, and CoTracker3), lift them to 3D world-space coordinates via monocular reconstruction, and compute a set of projective-geometry residuals capturing three failure dimensions: scale-depth alignment, 3D motion consistency, and 3D structural rigidity. To support systematic evaluation, we build PDI-Dataset, covering diverse scenarios designed to stress these geometric constraints. Across state-of-the-art video generators, PDI reveals consistent geometry-specific failure modes that are not captured by common perceptual metrics, and provides a diagnostic signal for progress toward physically grounded video generation and physical world model. Our code and dataset can be found at https://pdi-bench.github.io/.

📋 한 줄 요약

**[월드 모델 평가 / 기하 일관성]** 생성 비디오의 3D 구조·운동 타당성을 객체 중심 점 추적과 단안 재구성으로 자동 감사하는 정량 프레임워크 PDI-Bench 제안.

🎯 핵심 기여도

사람 평가·학습 기반 grader 의존성이 컸던 생성 비디오 기하 일관성 평가 문제를 정량 프레임워크로 전환.
SAM 2 + MegaSaM + CoTracker3로 객체 중심 관측을 얻고, 단안 재구성으로 3D 좌표를 lifting한 뒤 사영기하 잔차를 계산하는 PDI(Perspective Distortion Index) 정의.
scale-depth alignment, 3D motion consistency, 3D structural rigidity 세 실패 차원을 분리해 진단하는 평가 체계 구축.
기하 제약을 스트레스 테스트할 다양한 시나리오로 구성된 PDI-Dataset 공개.

💡 핵심 아이디어

생성 비디오의 "보기 좋음"과 "물리적으로 타당함"은 다른 차원이다. 객체 중심 점 추적과 단안 3D 재구성을 결합하면, 시각 품질 metric이 잡지 못하는 기하학적 실패를 사영기하 잔차로 직접 측정할 수 있다.

🔬 기술적 접근법

**모델/방법론**: 분할(SAM 2)·점 추적(CoTracker3)·단안 reconstruction(MegaSaM)로 객체 중심 관측을 추출 후 3D world-space 좌표로 lifting.
**핵심 기법**: 세 가지 사영기하 잔차 — scale-depth alignment, 3D motion consistency, 3D structural rigidity — 를 계산해 PDI 지표 산출, 다양한 SOTA 비디오 생성기에 적용.

📊 주요 결과

다수 SOTA 비디오 생성기에서 일관된 geometry-specific 실패 모드 노출.
기존 perceptual metric으로는 잡히지 않는 결함을 PDI가 진단.
PDI-Bench를 통해 물리 기반 생성 비디오 진보를 측정할 신호 제공.
코드/데이터셋 공개: https://pdi-bench.github.io/.

💭 의의 및 한계

**의의**: 비디오 생성 평가의 표준을 시각 품질 단일 축에서 기하 일관성을 포함한 다축 평가로 확장. **한계**: 단안 재구성·점 추적의 오차가 PDI에 전파될 수 있으며, 매우 비강체·유체 장면에는 rigidity 잔차의 해석이 제한적.

🚀 실용적 활용

비디오 생성 모델 학습 시 보조 평가 metric.
월드 모델 기반 로봇 시뮬레이터의 물리적 충실도 점검.
생성 비디오 콘텐츠의 후처리 단계에서 기하 일관성 QA.