HumanCLAW: Can Vision-Language Models Act Through a Body?

Evaluating whether a vision-language model (VLM) can act through a physical body is challenging. The outcome of an action couples the VLM's decision with motor control. When a task fails, it is hard to tell whether the VLM made a bad choice or the motor controller simply failed to execute it, e.g., losing balance and falling. In this work, we introduce HumanCLAW, an evaluation framework that decouples action decision-making from low-level execution. At every step, a harnessed, off-the-shelf VLM issues an atomic skill command, and the command is translated into a sub-second chunk of continuous full-body motion with real physical consequences, including gravity and collisions. The body can therefore act freely in the physical world, while execution-side disturbances, balance and motor errors, are factored out. What remains measurable is the model's action intelligence: its moment-to-moment choice of what the body should execute next. Based on this framework, we build HumanCLAW-Bench: 1,218 long-horizon, egocentric find-navigate-interact episodes across 41 indoor scenes. We test nine state-of-the-art VLMs and find that none solves the benchmark; the best model reaches only a 16.8% success rate. Recognizing the target is not the bottleneck. What current VLMs lack is embodied self-awareness: they lose track of their own body, failing to tell where it is, whether it has reached the goal, or whether it has hit an obstacle.

한 줄 요약

HumanCLAW는 VLM이 신체를 통해 행동하는 능력을 평가하는 프레임워크로, 16.8%의 성공률을 기록하며 현재 VLM이 신체 인식 부족으로 실패함을 밝힘.

핵심 기여도

HumanCLAW 프레임워크를 제안하여 VLM의 행동 결정과 모터 실행을 분리함.
HumanCLAW-Bench라는 41개 실내 환경에서 1,218개의 find-navigate-interact 에피소드를 포함한 벤치마크를 구축함.
9개의 최신 VLM을 테스트한 결과, 최고 성능 모델도 16.8%의 성공률에 그침.
실패 원인은 인식이 아닌 'embodied self-awareness' 부족임을 밝힘.

핵심 아이디어

HumanCLAW는 VLM이 신체를 통해 행동하는 능력을 평가하기 위해, 행동 결정과 모터 실행을 분리하는 프레임워크를 제안한다. 기존 연구는 실행 오류(예: 균형 상실)로 인해 결정 오류를 구분하기 어려웠으나, HumanCLAW는 실행 측의 오류를 제거하고, VLM이 어떤 행동을 선택하는지 'action intelligence'를 측정한다. 이는 매 스텝에서 VLM이 'atomic skill'을 선택하고, 이는 1초 미만의 연속적인 전체 신체 동작으로 변환되며, 실제 물리적 영향(중력, 충돌)을 반영한다. 이 프레임워크는 VLM이 단순히 환경을 인식하는 것이 아니라, 자신의 신체 상태와 공간적 관계를 이해하는 'embodied self-awareness'를 필요로 함을 밝힘.

기술적 접근법

**HumanCLAW 프레임워크**: VLM은 매 스텝에서 'atomic skill'을 선택(예: 특정 각도로 회전, 특정 높이에 앉기)하고, 이는 skill-conditioned motion generator를 통해 100개 이상의 자유도를 가진 인간 동작으로 변환됨.
**Half-physics 시뮬레이터**: 중력, 충돌, 물체 이동을 반영하지만 균형 및 모터 추적 오류는 제거함.
**HumanCLAW-Bench**: 41개 실내 환경에서 1,218개의 find-navigate-interact 에피소드를 포함.
**평가 지표**: Task Success Rate (FindSR, NavSR, InteractSR), Action Quality (motion jerk), Body Awareness (Colls, #Dtb, dDtb), Computational Cost (token 수).

주요 결과

9개의 최신 VLM 중 최고 성능 모델도 HumanCLAW-Bench에서 16.8%의 성공률에 그침.
인식률은 대상이 시야에 나타나면 5% 이내로 실제 가시성과 유사함.
실패는 인식 이후 단계(도착 여부 판단, 신체 위치 인식, 충돌 감지)에서 집중됨.
VLM은 'embodied self-awareness'가 부족하여 자신의 신체 상태와 환경의 관계를 정확히 파악하지 못함.

의의 및 한계

HumanCLAW는 VLM이 신체를 통해 행동하는 능력을 평가하는 새로운 접근법을 제시하며, 기존 연구가 실행 오류와 결정 오류를 구분하지 못한 문제를 해결함. 이 연구는 VLM이 단순히 환경을 인식하는 것이 아니라, 신체와 공간의 관계를 이해하는 능력이 필요하다는 점을 강조함. 그러나 이 연구는 풍부한 조작 능력을 요구하는 상호작용 단계가 제한적이고, 감각 채널(예: 촉각)을 시뮬레이션하지 않아 신체 인식의 한계를 완전히 평가하지 못함. 또한, 실행 측 오류를 제거함으로써 실패 원인을 결정 단계에만 집중시켰다는 점도 한계로 지적됨.

실용적 활용

HumanCLAW는 서비스 로봇, 가상 인간, 게임 캐릭터 등 신체를 통해 환경과 상호작용해야 하는 시스템에서 VLM의 행동 능력을 평가하는 데 활용될 수 있음. 특히, VLM이 신체 인식과 공간 이해를 결합한 'action intelligence'를 개선하는 데 기초 자료로 활용 가능하며, 신체와 환경의 물리적 상호작용을 고려한 AI 개발에 기여할 수 있음.