Physics Question Scene Graph: Fine-grained Evaluation of Physical Plausibility in Text-to-Video Generation

Video generation models are increasingly capable of producing realistic videos, but they still struggle to generate videos that follow basic physical laws. Compounding this is a lack of reliable granular evaluation methods for localizing and specifying physical law violations in videos. We address this by introducing Physics Question Scene Graph (PQSG), a hierarchical question-based evaluation pipeline. PQSG evaluates generated videos by checking their faithfulness to a prompt across objects, actions, and adherence to physical laws using a graph-based hierarchy of questions generated by a vision-language model (VLM), guided by high-quality in-context examples. By representing questions as a graph, PQSG introduces logical dependencies within questions, ensuring that each query is contextually valid. Moreover, PQSG provides granular assessments of which qualities of the video violate physical plausibility constraints. We validate PQSG by creating FinePhyEval, a dataset with physics-based prompts and corresponding generated videos from diverse state-of-the-art video generation models (Sora 2, Veo 3, and Wan 2.1), with each video annotated across multiple categories by humans. Using FinePhyEval, we measure the correlation between PQSG's fine-grained scores and human judgments, showing higher overall correlations than prior work. We also find that PQSG ranks closed-source models higher than Wan 2.1 on physical realism. Lastly, we show that the annotations we provide in FinePhyEval can also be used for subtask evaluation: we benchmark two strong VLMs on generating and answering questions, finding that while models can create human-like questions, they still fall short of human performance in answering them.

한 줄 요약

PQSG는 물리적 타당성을 세부적으로 평가하기 위한 질문 기반 그래프 평가 프레임워크로, FinePhyEval 데이터셋을 통해 모델 간 성능 차이를 정량적으로 분석한다.

핵심 기여도

PQSG: 물리적 타당성을 세부 평가하기 위한 질문 기반 그래프 평가 프레임워크 도입.
FinePhyEval: 195개의 인간 주석이 포함된 데이터셋 생성, Sora 2, Veo 3, Wan 2.1 모델 포함.
PQSG는 물리적 평가에서 기존 방법 대비 더 높은 인간 판단과의 상관관계 (Pearson’s r) 보임.
PQSG는 물리적 질문 답변에서 VLM 정확도 64.6% 기록, 인간은 80% 달성.

핵심 아이디어

PQSG는 물리적 타당성을 평가하기 위해 질문을 그래프 구조로 표현하여, 물리적 법칙을 구성하는 객체, 행동, 물리적 상호작용을 계층적으로 분해한다. 예를 들어, 물체가 존재하는지 (객체 수준), 이동하는지 (행동 수준), 그리고 그 움직임이 물리적으로 타당한지 (물리 수준)를 각 단계에서 평가한다. 이는 단일 점수 평가 방식과 달리, 오류가 발생한 구체적 영역을 식별할 수 있게 한다. PQSG는 VLM을 사용하여 질문 생성(QG)과 질문 답변(QA)의 두 단계로 구성되며, 질문 간 의존성을 그래프로 표현함으로써 문맥적 일관성을 유지한다.

기술적 접근법

**PQSG**: 질문 생성(QG)과 질문 답변(QA)의 두 단계로 구성.
**QG**: VLM을 사용하여 텍스트 프롬프트로부터 물리적 질문 그래프 생성.
**QA**: 생성된 질문 그래프를 VLM에 입력하여 각 질문에 대한 답변을 생성.
**FinePhyEval**: 195개의 인간 주석이 포함된 데이터셋. 4개의 Likert-scale 카테고리 (객체, 행동, 물리, 전체 품질)로 평가.
**VLM 활용**: Gemini-2.5-Pro, GPT-5.5 사용. QA 정확도 64.6%, 인간은 80% 달성.
**의존성 그래프 제거 실험**: 상관관계 감소를 통해 의존성 구조의 중요성 확인.

주요 결과

**PQSG vs. 기존 방법**: PQSG는 전체 인간 평가와의 상관관계가 기존 방법 대비 더 높음.
**모델 비교**: Sora 2, Veo 3 (비공개 모델)가 Wan 2.1 (공개 모델)보다 물리적 현실성에서 높은 점수.
**QA 성능**: VLM 기반 QA 정확도는 64.6%, 인간은 80% 달성.
**QG 성능**: 모델은 인간과 유사한 질문 생성 가능, 하지만 QA에서는 여전히 부족.

의의 및 한계

PQSG는 물리적 타당성을 세부적으로 평가할 수 있는 구조화된 프레임워크로, 기존의 단일 점수 평가 방식의 한계를 극복한다. FinePhyEval 데이터셋은 다양한 모델 간 성능 비교와 평가 방법 개선에 기여할 수 있다. 그러나 PQSG의 성능은 기저 VLM의 QA 능력에 의존하며, 현재 VLM은 물리적 질문에 대해 64.6%의 정확도만 달성한다. 또한, PQSG는 프롬프트에 명시되지 않은 영역의 물리적 타당성은 평가하지 못하는 한계가 있다.

실용적 활용

PQSG는 로봇 학습, 시뮬레이션 데이터 생성, 영상 생성 모델 개선 등에서 물리적 타당성을 정량적으로 평가하는 데 활용될 수 있다. 특히, FinePhyEval 데이터셋은 평가 메트릭 개발 및 모델 비교 연구에 중요한 자원이 될 수 있다.