EmbodiedLab: Benchmarking Embodied Agents That Act to Know

Embodied agents are expected to accomplish real-world goals by deciding for themselves how and when to interact with their surroundings. For many such goals, changing the physical state of the world is the means rather than the end: the agent changes the state of a system through interaction, observes the feedback, and explores until it either achieves the goal itself (e.g., discovering physical laws) or learns what the goal requires; it acts to know. Manipulation benchmarks stop at acting to change, with the target state given; scientific discovery benchmarks evaluate knowing but replace physical experimentation with symbolic actions or numerical queries. We introduce EmbodiedLab, a benchmark in which a robot must act to know. Quantitative science experiments make this setting controllable: the parameters of the system are resampled for every instance, so the result cannot be known in advance, yet it can be scored exactly. Across 30 experiments in five disciplines on 14 apparatus platforms, the agent receives an objective and the apparatus, chooses its own procedure, and operates a physics-based simulated laboratory, reading the instruments through its cameras. Evaluation checks what the agent came to know, grounded in readings recorded during the episode, as well as the physical state the task requires; every experiment is verified to be solvable. We evaluate six frontier models in their developers' coding agents with native observation and control, with added perception and motion planning, and with manipulation skills distilled from the strongest agents. With native control, even the strongest agent succeeds less than half the time; for every agent, most failures arise in interacting with the apparatus, and manipulation skills help weaker agents more than perception and planning. The benchmark and its evaluation code are available at https://github.com/HexaFuture/EmbodiedLab.

한 줄 요약

EmbodiedLab은 로봇이 물리적 상호작용을 통해 정보를 탐색하는 능력을 평가하는 벤치마크로, 30개 과학 실험에서 실패 원인을 조사하고 조작 기술의 중요성을 밝힘.

핵심 기여도

**EmbodiedLab 벤치마크 제안**: 5개 학문 분야, 14개 장치 플랫폼, 30개 과학 실험으로 구성된 시뮬레이션 실험실.
**실험 평가 체계**: 결과, 기록, 장비 상태를 종합적으로 평가하며, 실험의 해결 가능성 검증.
**실패 원인 분석**: 실패의 75~100%가 장치 조작, 관찰, 복원 과정에서 발생.
**조작 기술의 효과**: 조작 기술이 약한 에이전트 성능을 10~27% 향상시키지만, 강력한 에이전트는 T1에서도 43.3% 성공률에 그침.

핵심 아이디어

기존 로봇 벤치마크는 목표 상태를 주어 조작만 평가하지만, EmbodiedLab은 로봇이 **"acting to know"**, 즉 물리적 상호작용을 통해 정보를 탐색하는 능력을 평가한다. 이는 과학 실험과 유사한 상황에서, 로봇이 장치를 조작하고 측정값을 기반으로 판단을 내리는 과정을 시뮬레이션한다.

예를 들어, 전기 회로 실험에서는 전압 측정을 위해 스위치를 조작하고, 온도 측정에서는 열원을 조절해야 한다. 로봇은 실험 목적에 따라 장치를 선택하고, 실험 절차를 스스로 결정해야 하며, 실험 결과는 측정값의 정확도와 장비 복원 여부를 기준으로 평가된다.

이러한 접근은 기존의 "acting to change" 중심의 벤치마크와 달리, **"acting to know"**의 핵심 과정을 모의하며, 특히 실험 과정에서 발생하는 작은 오류(예: 장치 조작 실패, 숫자 오독)가 전체 실패에 큰 영향을 미친다는 점을 강조한다.

기술적 접근법

**실험 환경**: 14개 장치 플랫폼, 30개 과학 실험, 5개 학문 분야(역학, 전기, 광학, 열역학, 화학)로 구성된 시뮬레이션 실험실.
**로봇 제어**: 로봇 팔, 2개 손가락 그립, 3개 카메라로 장치 조작 및 측정값 읽기.
**평가 단계**: 6단계 마일스톤(L1~L6)으로 실험 진행 상황을 추적.
**인터페이스 레벨**: T0(원시 제어), T1(추가 인식 및 경로 계획), T2(강력한 에이전트의 조작 기술 이식)로 실험 조건을 조절.
**성능 평가**: 실험 결과의 정확도, 기록 기반 판단, 장비 복원 여부를 종합적으로 평가.

주요 결과

**성능**: T0에서 Claude Opus 5.5(43.3%)와 GPT-6 Astra(40.0%)가 가장 높은 성공률을 기록. 나머지 에이전트는 최대 28.3%.
**실패 원인**: 실패의 75~100%가 장치 조작, 관찰, 복원 과정에서 발생.
**기술 영향**: T0에서 T1로 이동 시 성능 변화는 최대 10%에 불과. T2(조작 기술 추가)에서 약한 에이전트는 10~27% 향상.
**복원 조건**: 실험 성공 조건 중 하나는 장비 복원 여부이며, 실패 시 실험 전체가 실패로 기록됨.

의의 및 한계

EmbodiedLab은 로봇이 물리적 상호작용을 통해 정보를 탐색하는 능력을 체계적으로 평가하는 첫 번째 벤치마크로, **"acting to know"**의 핵심 과정을 모의하며, 실험 과정에서 발생하는 작은 오류의 영향을 정량적으로 평가할 수 있다. 이는 기존 로봇 벤치마크가 조작 능력만 평가하는 한계를 극복하고, **지식 탐색**과 **물리적 상호작용**의 통합 평가를 가능하게 한다.

그러나 EmbodiedLab은 시뮬레이션 환경에서만 평가되며, 실제 실험실 환경으로의 이식 가능성은 아직 검증되지 않았다. 또한, 실험의 복잡성과 실패 원인 분석은 수작업이 필요한 경우가 많아, 자동화된 분석 도구 개발이 필요하다.

실용적 활용

EmbodiedLab은 로봇이 물리적 장치를 조작하고 과학 실험을 수행하는 능력을 평가하는 데 활용될 수 있으며, **로봇 실험실 자동화**, **교육용 로봇 개발**, **자율 실험 시스템 설계** 등에서 유용하게 사용될 수 있다. 특히, 실험 과정에서 발생하는 오류를 분석해 로봇의 조작 정확도를 향상시키는 데 기여할 수 있다.