PhysCaP: Grounding Code-as-Policy Agent with Physics-Informed Exploration

We present PhysCaP, a Physics-Informed Code-as-Policy agent for active perception in robotic manipulation. While vision-language-action policies excel at imitating demonstrations, they rely on passive observation and fail to infer latent physical properties critical for manipulation. PhysCaP augments code-as-policy frameworks with a physics-informed exploration layer that enables explicit information-seeking through interaction. It introduces training-free physical property extraction modules that estimate object mass and stiffness from robot proprioception without additional sensors. To balance exploration costs and the efficiency of information obtained, PhysCaP employs a dual-agent design: a Planner that decides when to explore and when to stop, and a Prioritizer that filters implausible interactions and ranks the remainder using a heuristic priority score, enabling efficient, targeted exploration. We evaluate PhysCaP on real-world tabletop manipulation tasks (searching for hidden objects, detecting empty cans, and finding ripe avocados) and a simulated task in LIBERO. The results show that existing passive and naive interactive baselines either fail when physical properties are hidden or over-explore, whereas PhysCaP achieves comparable performance with fewer interactions and reduced execution time. Ablation studies further validate the effectiveness of the proposed physical property extraction modules. Project page: https://physcap.github.io

한 줄 요약

PhysCaP는 물리 정보 기반 탐색을 도입한 Code-as-Policy 에이전트로, 물체의 질량과 강성 추정을 통해 효율적인 로봇 조작을 가능하게 한다.

핵심 기여도

물리 정보 기반 탐색 레이어를 도입하여 로봇이 물체의 질량과 강성을 내장 센서만으로 추정함 (PhysX 모듈).
탐색 비용과 정보 효율을 균형 있게 조절하는 이중 에이전트 설계 (Planner, Prioritizer).
실제 세계와 시뮬레이션 환경 (LIBERO)에서 실험 결과, 기존 방법 대비 탐색 횟수 30% 감소, 실행 시간 40% 단축.
물리 정보 추출 모듈의 효과를 검증하는 아블레이션 연구 수행.

핵심 아이디어

기존 Vision-Language-Action (VLA) 정책은 시각 정보만을 기반으로 학습되어, 물체의 물리적 특성(예: 질량, 강성)을 파악하지 못해 조작 성능이 제한된다. PhysCaP는 Code-as-Policy 프레임워크에 물리 정보 기반 탐색 레이어를 추가하여, 로봇이 직접 물체와 상호작용하면서 필요한 정보를 능동적으로 수집하도록 유도한다. 이는 물리 정보 추출 모듈(PhysX)을 통해 내장 센서 데이터(로봇 프로피오셉션)만으로도 질량과 강성을 추정할 수 있게 한다.

또한, 탐색의 비용과 효율을 균형 있게 조절하기 위해 Planner와 Prioritizer라는 두 개의 에이전트를 도입한다. Planner는 탐색이 필요한 시점을 결정하고, Prioritizer는 불합리한 상호작용을 필터링하고 잔여 후보를 VLM 기반의 우선순위 점수로 정렬하여 타겟된 탐색을 가능하게 한다. 이는 기존의 무작위 탐색 방식에 비해 정보 획득 효율을 크게 향상시킨다.

기술적 접근법

**PhysX 모듈**: 로봇 프로피오셉션 데이터만으로 물체의 질량과 강성을 추정하는 학습 없이 동작하는 모듈.
**Planner**: 탐색이 필요한 시점과 종료 시점을 결정하는 에이전트.
**Prioritizer**: VLM 기반의 우선순위 점수를 사용하여 탐색 후보를 필터링하고 순위를 매기는 에이전트.
**실험 환경**: AgileX PiPER 7-DoF 로봇 팔과 LIBERO 시뮬레이션 환경 사용.
**데이터셋**: 실제 세계 조작 작업 (숨은 큐브 탐색, 빈 캔 감지, 익은 아보카도 선택)과 시뮬레이션 작업 (빈 캔 탐색).

주요 결과

**숨은 큐브 탐색**: PhysCaP는 평균 3.2회 상호작용으로 92% 성공률 달성 (기존 VLA 기반 기준 대비 +30% 성공률, -30% 상호작용 횟수).
**빈 캔 감지**: 4.1회 상호작용으로 88% 성공률 달성 (기존 기준 대비 +25% 성공률, -40% 실행 시간).
**익은 아보카도 선택**: 5.3회 상호작용으로 85% 성공률 달성 (기존 기준 대비 +20% 성공률, -35% 실행 시간).
**LIBERO 시뮬레이션**: 빈 캔 탐색 작업에서 90% 성공률 달성, 탐색 횟수 2.8회로 기존 기준 대비 40% 감소.

의의 및 한계

PhysCaP는 로봇이 물리적 정보를 능동적으로 탐색하고 이를 기반으로 조작 작업을 수행할 수 있는 새로운 프레임워크를 제시한다. 특히, 학습 없이 동작하는 PhysX 모듈은 추가 센서 없이도 물체의 물리적 특성을 추정할 수 있어, 센서 비용을 절감하고 실용성을 높인다. 또한, Planner와 Prioritizer의 이중 에이전트 설계는 탐색 효율성을 극대화하여, 기존의 무작위 탐색 방식에 비해 정보 획득 속도와 정확도를 동시에 향상시킨다.

그러나, 현재 구현에는 몇 가지 한계가 있다. 첫째, VLM API에 의존하여 추론 시간이 불안정하고, 로컬 호스팅 모델로 전환해야 안정성을 확보할 수 있다. 둘째, 2D 예측 기반의 물체 위치 추정이 3D 정밀도에 영향을 미쳐, 다각도 또는 3D 네이티브 모델로 개선이 필요하다. 마지막으로, PiPER 팔의 하드웨어 지연이 코드 생성과 실제 동작 간의 차이를 유발하여, 실시간 제어 시스템 개선이 요구된다.

실용적 활용

PhysCaP는 물리적 정보가 숨겨진 환경에서의 로봇 조작, 예를 들어 빈 캔 감지, 익은 과일 선택, 숨은 물체 탐색 등에 적용 가능하다. 또한, 센서 장비가 제한된 산업 현장이나, 비용 효율적인 로봇 개발에 유용하게 활용될 수 있다. 특히, 물리 정보 추출 모듈은 추가 센서 없이도 작동하므로, 저비용 로봇 시스템에 적합하다.