OpenRUA: Robot-Use Agents Are Zero-Shot Visuomotor Policies

Coding agents are extending their reach into the physical world by writing and executing robot control programs. One might expect the agents to use the existing mature software stack that engineers have developed over decades to access sensors and control motion. Yet prior work primarily engineers complex custom harnesses to orchestrate agents for robot use, particularly by prescribing specialized workflows and providing bespoke interfaces. This raises the question: "Is such additional harness engineering necessary?" We introduce OpenRUA, a zero-abstraction harness that bypasses bespoke abstraction layers by providing off-the-shelf coding agents with only terminal access to the robot's native software interface ROS 2. OpenRUA employs a minimalist workspace-as-harness design, only offering ROS 2 documentation and basic tools while leaving the coding agent to organize its own work without orchestrating any agentic workflow. Within this workspace, OpenRUA recasts perception as file I/O and manipulation as coding. With Claude Code powered by Claude Opus 5, OpenRUA achieves success rates of 99.0% on CaP-Bench and 87.0% on LIBERO-PRO, demonstrating that an off-the-shelf coding agent can serve as a zero-shot visuomotor policy through the robot's native interface, without bespoke primitives or task-specific training. Under this minimalist design, further analysis reveals striking emergent behaviors of coding agents: (1) For perception, the agent spontaneously writes programs that process raw sensory inputs and derive metric measurements in 96.80% of episodes. (2) For manipulation, the agent spontaneously builds motion-control clients (e.g., gripper control) in 95.87% of episodes and closed-loop control programs (e.g., adjusting motion based on sensor feedback) in 50.13% of episodes. Our code is available at https://github.com/terminalworld/OpenRUA.

한 줄 요약

OpenRUA는 ROS 2 인터페이스를 통해 코드 작성 에이전트가 제로샷으로 로봇 제어를 수행할 수 있음을 보여주는 제로-추상화 허네스 시스템이다.

핵심 기여도

ROS 2 네이티브 인터페이스만 제공하는 제로-추상화 허네스 설계를 제안.
기존 RUA 시스템에서 사용하는 커스텀 툴이나 프리미티브 없이, Claude Code가 CaP-Bench에서 99.0%, LIBERO-PRO에서 87.0% 성공률 달성.
96.80% 에피소드에서 감지 데이터 처리 및 95.87% 에피소드에서 움직임 제어 클라이언트를 자율적으로 작성함.
RoboCasa365에서 28.1% 성공률을 기록하며, 학습된 정책 없이도 복합 작업에 대한 일반화 가능성을 보여줌.

핵심 아이디어

OpenRUA는 기존 RUA 시스템에서 복잡한 커스텀 허네스를 설계하는 대신, 로봇의 네이티브 인터페이스인 ROS 2에 단순한 터미널 접근만 제공함으로써, 코드 작성 에이전트가 스스로 작업을 조직하도록 하는 최소한의 허네스를 제안한다. 이 접근법은 감지를 파일 입출력(file I/O), 조작을 코드 작성으로 재구성함으로써, 기존의 복잡한 추상화 계층을 우회한다.

이러한 설계는 코드 작성 에이전트가 ROS 2 문서와 기본 도구만을 사용해, 로봇 제어를 위한 툴을 실행 시점에 자율적으로 생성할 수 있음을 보여준다. 예를 들어, 감지 데이터를 처리하고, 카테시안 좌표를 계산하는 프로그램을 96.80%의 에피소드에서 작성하며, 움직임 제어 클라이언트를 95.87%의 에피소드에서 생성한다. 이는 기존 시스템에서 인간 엔지니어가 직접 설계해야 했던 기능이, 코드 작성 에이전트가 자율적으로 생성할 수 있음을 입증한다.

기술적 접근법

**허네스 설계**: OpenRUA는 "workspace-as-harness" 방식을 채택하여, ROS 2 문서와 기본 도구만 제공하고, 에이전트가 자체적으로 작업을 조직하도록 한다.
**인터페이스**: ROS 2의 네이티브 인터페이스에 터미널 접근만 허용하며, 별도의 추상화 계층 없이 직접 제어.
**에이전트**: Claude Code (Claude Opus 5 기반)를 사용.
**실험 환경**: CaP-Bench, LIBERO-PRO, RoboCasa365에서 제로샷 환경에서 평가.
**제약 조건**: 시뮬레이터 상태, 성공 조건, 목표 객체 위치 등은 에이전트에게 노출되지 않음.

주요 결과

**CaP-Bench**: 99.0% 성공률 (기존 ASPIRE 대비 +18.0%, Harness VLA 대비 +4.6%)
**LIBERO-PRO**: 87.0% 성공률 (Harness VLA 대비 +13.1%)
**RoboCasa365**: 28.1% 성공률 (RLDX-1 대비 +23.1%, Harness VLA 대비 +14.3%)
**감지**: 96.80% 에피소드에서 원시 감지 데이터 처리 및 카테시안 좌표 계산 프로그램 작성
**조작**: 95.87% 에피소드에서 움직임 제어 클라이언트 작성, 50.13% 에피소드에서 피드백 기반 제어 프로그램 작성

의의 및 한계

OpenRUA는 기존 RUA 시스템에서 복잡한 커스텀 허네스를 필요로 하는 문제를 해결하고, 로봇의 네이티브 인터페이스만으로도 코드 작성 에이전트가 제로샷으로 로봇 제어를 수행할 수 있음을 입증한다. 이는 로봇 제어 분야에서 LLM 기반 에이전트의 활용 가능성을 확장하며, 기존의 인간 엔지니어 의존도를 줄이는 데 기여한다.

그러나, 일부 복잡한 작업에서는 성공률이 낮아지며 (예: RoboCasa365에서 28.1%), 코드 작성 에이전트의 추론 능력 한계가 드러난다. 또한, 테스트 시 계산량 증가가 성능 향상에 도움이 되지만, 일정 수준 이상에서는 성능이 포화 상태에 도달한다. 이는 에이전트의 학습 능력과 제한된 추론 자원의 균형을 고려해야 함을 시사한다.

실용적 활용

OpenRUA는 로봇 제어 시스템 개발, 산업 자동화, 연구 실험 등에서 코드 작성 에이전트를 직접적으로 활용할 수 있는 기반을 제공한다. 특히, 별도의 커스텀 툴 없이도 ROS 2 기반 로봇을 제어할 수 있어, 개발 비용과 시간을 절감할 수 있다. 또한, 제로샷 환경에서의 성능은 다양한 작업 환경에서의 유연한 적용 가능성을 제시한다.