PhysBench: Benchmarking and Enhancing Vision-Language Models for Physical World Understanding

Understanding the physical world is a fundamental challenge in embodied AI, critical for enabling agents to perform complex tasks and operate safely in real-world environments. While Vision-Language Models (VLMs) have shown great promise in reasoning and task planning for embodied agents, their ability to comprehend physical phenomena remains extremely limited. To close this gap, we introduce PhysBench, a comprehensive benchmark designed to evaluate VLMs' physical world understanding capability across a diverse set of tasks. PhysBench contains 10,002 entries of interleaved video-image-text data, categorized into four major domains: physical object properties, physical object relationships, physical scene understanding, and physics-based dynamics, further divided into 19 subclasses and 8 distinct capability dimensions. Our extensive experiments, conducted on 75 representative VLMs, reveal that while these models excel in common-sense reasoning, they struggle with understanding the physical world -- likely due to the absence of physical knowledge in their training data and the lack of embedded physical priors. To tackle the shortfall, we introduce PhysAgent, a novel framework that combines the generalization strengths of VLMs with the specialized expertise of vision models, significantly enhancing VLMs' physical understanding across a variety of tasks, including an 18.4\% improvement on GPT-4o. Furthermore, our results demonstrate that enhancing VLMs' physical world understanding capabilities can help embodied agents such as MOKA. We believe that PhysBench and PhysAgent offer valuable insights and contribute to bridging the gap between VLMs and physical world understanding.

한 줄 요약

PhysBench 벤치마크와 PhysAgent 프레임워크를 제안하여 VLM의 물리 세계 이해 능력을 평가 및 향상시킨다.

핵심 기여도

**PhysBench**: 10,002개의 영상-이미지-텍스트 데이터를 포함한 4개 주요 도메인, 19개 하위 태스크, 8개 능력 차원의 물리 세계 이해 평가 벤치마크 제안.
**PhysAgent**: 시각 기초 모델과 물리 지식 메모리 모듈을 결합한 프레임워크로, GPT-4o에서 18.4%의 물리 세계 이해 능력 향상.
**75개 VLM 실험**: 물리 세계 이해 능력이 부족하며, 특히 물리 장면 이해와 역학 분야에서 폐쇄형 모델이 개방형 모델보다 우수함을 밝힘.
**MOKA 실험**: VLM의 물리 세계 이해 능력 향상이 실제 로봇 조작 성능에 긍정적 영향을 미침을 입증.

핵심 아이디어

기존 VLM은 일반 지식 추론 능력은 뛰어나지만, 물리 세계 이해 능력은 제한적이다. 이는 훈련 데이터에 물리 지식이 결여되어 있고, 물리적 사전지식이 내재화되지 않았기 때문으로 분석된다. 이를 해결하기 위해, **PhysAgent**는 VLM의 일반화 능력과 **시각 기초 모델**(vision foundation models)의 전문 지식을 결합하는 새로운 프레임워크를 제안한다. 또한, **물리 지식 메모리**(physics knowledge memory) 모듈을 통해 필요한 물리 지식을 선택적으로 호출할 수 있도록 설계되어, **깊이 추정**(depth estimation), **수치 거리 계산**(numerical distance calculation) 등 VLM이 취약한 작업을 보완한다. 이는 기존의 물리 추론 방법과 달리, **수작업된 처리 로직**(manually predefined processing logic) 없이도 개방형 문제 해결 능력을 유지한다.

기술적 접근법

**PhysBench**: 10,002개의 영상-이미지-텍스트 데이터를 포함하며, 4개 도메인(물리 객체 속성, 관계, 장면 이해, 역학), 19개 하위 태스크, 8개 능력 차원으로 구성.
**실험 대상**: 75개 대표 VLM 모델로, 폐쇄형 모델이 개방형 모델보다 물리 세계 이해 능력이 우수함을 확인.
**PhysAgent**:
**시각 기초 모델**(vision foundation models)을 통한 **감지 능력 향상**
**물리 지식 메모리**(physics knowledge memory) 모듈을 통한 **필요 시 물리 지식 호출**
**GPT-4o**에서 18.4%의 물리 세계 이해 능력 향상
**MOKA 실험**: PhysBench로 미세 조정(VLM fine-tuning)하거나 PhysAgent를 활용한 **제로샷 추론**(zero-shot inference)을 통해 5개 대표 조작 작업에서 성능 향상.

주요 결과

**PhysBench 평가**: 75개 VLM 중 대부분이 **물리 장면 이해**(physical scene understanding)와 **역학**(physics-based dynamics) 분야에서 성능 저조.
**GPT-4o 개선**: PhysAgent를 통해 **18.4%**의 물리 세계 이해 능력 향상.
**MOKA 실험**: PhysBench로 미세 조정하거나 PhysAgent를 사용한 **제로샷 추론**이 실제 로봇 조작 작업에서 유의미한 성능 향상을 보임.
**폐쇄형 vs. 개방형 모델**: 폐쇄형 모델이 개방형 모델보다 **물리 세계 이해 능력**이 더 높음.

의의 및 한계

**의의**:

**PhysBench**는 VLM의 물리 세계 이해 능력을 체계적으로 평가할 수 있는 첫 번째 대규모 벤치마크로, 향후 연구에 중요한 기준이 될 수 있다.
**PhysAgent**는 VLM의 일반화 능력과 전문 모델의 정확도를 결합한 새로운 접근법으로, **제로샷 추론** 환경에서도 효과적임을 입증.
**MOKA 실험**을 통해 이론적 개선이 실제 로봇 조작 성능 향상으로 이어질 수 있음을 보여줌.

**한계**:

**데이터 수집 시간**: 4,000시간이 소요된 **복잡한 데이터 라벨링 과정**은 확장성에 한계를 줌.
**VLM 훈련 데이터의 한계**: 물리 지식이 결여된 훈련 데이터가 VLM의 성능 저하 주요 원인으로, 이는 단기간 내 해결이 어려움.
**복잡한 물리 시뮬레이션**: 일부 물리 현상은 VLM이 완전히 이해하기 어려울 수 있음.

실용적 활용

**로봇 조작**(robotic manipulation) 분야에서 VLM의 물리 세계 이해 능력 향상은 **안전한 작업 수행**과 **복잡한 환경 대응**에 기여할 수 있다.
**서비스 로봇**, **자율 주행 시스템**, **산업 자동화** 등에서 **물리적 상황 예측 및 계획 수립**에 활용 가능.
**교육용 AI**, **VR/AR 환경** 등에서 **자연스러운 물리적 상호작용**을 구현하는 데 활용될 수 있음.