VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement

Visual fluency in generated video does not imply physical reliability, and a scalar quality score alone is incapable of indicating the obligation a clip violates or the moment it fails. We present VeriPhy, an auditable physical-verification system in which a text-only planner compiles the prompt into typed physical obligations and a statically validated execution plan before any frame is observed. During execution, observations gate and scope only declared calls to frozen low-level experts (e.g., segmentation and tracking, counting, eleven typed physical measurements over the resulting tracks, depth, OCR, and audio-event detection). Each action returns a provenance-carrying evidence record whose payload, when usable, is either a typed measurement or an explicitly tagged learned state. Typed resolvers and fixed composition map usable records to a three-valued state (supported, contradicted, or unknown, surfaced as plausible, implausible, or abstain) with full provenance, so that every verdict is traceable to the evidence that produced it. We anchor evaluation in a 1,500-clip corpus of human-annotated flaw records that localize real generation failures in prompt reference, space, and time. On a 149-clip core carrying 304 such records, VeriPhy accounts for 228, against 164 for a published question-decomposition evaluator given the same clips and the same claims. Recall alone does not separate it from prompting the same backbone monolithically, which reaches 222; what separates them is that each decision retains its evidence record and provenance, making the traces auditable one verdict at a time and usable as the interface through which a critic verdict could be written back into generation.

한 줄 요약

VeriPhy는 생성된 동영상의 물리적 일관성을 체계적으로 검증하는 시스템으로, 149개 클립에서 304개 결함 중 228개를 감지했다.

핵심 기여도

텍스트 기반 플래너가 프롬프트를 타입화된 물리적 의무와 실행 계획으로 컴파일함.
실행 중에는 선언된 전용 전문가(예: 세그멘테이션, 트래킹, 11가지 물리적 측정)만 호출하며, 각 액션은 증거 기록을 반환함.
149개 클립에서 304개 결함 중 228개를 감지해, 기존 평가기 대비 64개 더 높은 성능을 보임.
감지된 결함은 각각의 증거와 추적 정보를 포함해, 결과가 철저히 감사 가능함.

핵심 아이디어

기존 시각 생성 모델은 시각적 유창성만 평가하지만, 물리적 일관성은 따로 평가되지 않는다. VeriPhy는 이 문제를 해결하기 위해 프롬프트를 해석해 물리적 의무를 명시하고, 실행 전에 정적 검증된 실행 계획을 생성한다. 실행 중에는 프롬프트에 선언된 의무에 따라 전용 전문가만 호출하며, 각 의무는 시간, 공간, 객체 트랙을 기반으로 정확히 제한된다. 이는 단순한 질문 분해 방식과 달리, 물리적 측정과 추적 정보를 기반으로 결함을 감지하고, 각 결과에 대한 증거를 체계적으로 기록한다.

핵심 아이디어는 "모든 결정이 증거와 추적 정보를 포함해야 한다"는 것이다. 이는 단순히 정답 여부를 판단하는 것이 아니라, 어떤 측정, 어떤 시간, 어떤 규칙이 결론을 이끌었는지를 명확히 보여준다. 예를 들어, 물체의 충돌이 시각적으로 보이지만 소리가 없을 경우, 트래킹 정보와 오디오 이벤트 감지 정보를 비교해 물리적 일관성을 평가한다.

기술적 접근법

**텍스트 기반 플래너**: 프롬프트를 타입화된 물리적 의무와 실행 계획으로 컴파일.
**정적 검증**: 실행 전에 실행 계획이 정적 검증됨.
**전용 전문가**: 실행 중에는 선언된 전용 전문가만 호출됨 (예: 세그멘테이션, 트래킹, 11가지 물리적 측정, OCR, 오디오 이벤트 감지).
**증거 기록**: 각 액션은 측정값 또는 명시된 학습 상태를 포함한 증거 기록을 반환.
**3가지 상태 매핑**: 타입화된 리졸버와 고정된 조합이 증거 기록을 '지원됨', '반박됨', '알 수 없음'으로 매핑.
**트래킹 정보**: 각 결정은 시간 창, 도구 출력, 값, 규칙, 증거의 추적 정보를 포함.

주요 결과

**149개 클립 코어 평가**: 304개 결함 중 VeriPhy는 228개를 감지 (기존 평가기: 164개, 단일 프롬프트 방식: 222개).
**정확도 향상**: 25개 클립에서 학습한 경험을 기반으로 502개 결함 중 375개를 감지 (정확도 67.7% → 74.7%, +35개).
**감사 가능성**: 각 결정은 증거와 추적 정보를 포함해, 결과가 철저히 감사 가능함.

의의 및 한계

VeriPhy는 생성된 동영상의 물리적 일관성을 체계적으로 평가하며, 각 결함에 대한 증거를 기록해 결과의 신뢰도를 높인다. 이는 단순한 시각적 평가를 넘어, 시간, 공간, 객체 트랙을 기반으로 물리적 규칙을 체계적으로 검증할 수 있는 기반을 제공한다. 또한, 학습된 경험을 텍스트 형태로 기록해 모델 재학습 없이도 평가 성능을 향상시킬 수 있다.

하지만, 외부 채널(결정을 생성에 다시 피드백하는 기능)은 아직 개발 초기 단계이며, 증거가 분산되어 있을 경우 정확도가 떨어질 수 있다. 또한, 모든 물리적 규칙을 프롬프트에서 명시해야 하므로, 개방형 프롬프트에 대한 처리 능력은 제한적일 수 있다.

실용적 활용

VeriPhy는 로봇 학습 및 평가, 시뮬레이션-실제 간 격차 축소, 생성 모델의 물리적 일관성 검증 등에 활용 가능하다. 특히, 생성된 동영상이 실제 세계 시스템에 적용될 때, 물리적 규칙을 체계적으로 검증할 수 있어 안전성과 신뢰도를 높일 수 있다.