RobotUse: Allocating Computation, Context, and Decisions

Robot agents must connect their intended actions to observed outcomes while retaining the context needed to revise their choices over repeated attempts. Existing interfaces often leave these choices inside predefined tools or require agents to manage detailed execution code and its growing history. We introduce RobotUse, a robot agent harness that organizes computation, context, and decisions around specifying and revising physical actions. Agents visually select targets and poses, while the backend handles geometry, motion planning, and control. Subagents retain detailed interactions within each subgoal and return the information needed for subsequent decisions. Continual harnessing lets agents learn from execution by updating a persistent playbook. On RoboLab, RobotUse achieves 45% task success, outperforming CaP-X by 6.7 percentage points while maintaining compact decision contexts and reducing reliance on predefined action abstractions. Furthermore, we show that RobotUse learns from real-world execution despite imperfect feedback and transfers what it learns to subsequent tasks. Project page is available at https://robotuse-team.github.io/.

한 줄 요약

RobotUse는 물리적 행동을 지정하고 수정하는 데 초점을 맞춘 로봇 에이전트 허네스를 제시하며, RoboLab에서 45%의 작업 성공률을 달성한다.

핵심 기여도

RobotUse는 **subgoal-local context**를 통해 실행에 필요한 세부 정보를 보존하고, **playbook**을 통해 경험을 누적하여 후속 결정에 반영한다.
**RoboLab** 데이터셋에서 **45%**의 작업 성공률을 달성하며, **CaP-X** 대비 **6.7% 포인트** 높은 성능을 보인다.
**시각적 행동 표현**을 통해 로봇의 행동을 표현하고 수정할 수 있으며, **grasp tool 제거 시에도 조작을 지원**한다.
**token usage 감소**를 통해 효율적인 추론을 달성한다.

핵심 아이디어

RobotUse는 로봇 에이전트가 물리적 행동을 지정하고 수정할 수 있도록 **intent-based** 허네스를 설계한 것이 핵심이다. 주 에이전트는 언어로 작업 의도를 유지하고, **subagent**가 시각적 관찰을 기반으로 작업 관련 대상, 위치, 방향을 선택하고 정제한다. 이는 **geometry, motion planning, control**을 포함한 백엔드가 실행 가능한 동작으로 변환한다.

**Playbook**은 작업 분해와 위임을 안내하며, 어떤 조건에서 무엇이 효과적이었는지, 무엇을 다르게 시도해야 하는지를 경험적으로 기록한다. 이는 **continual harnessing**을 통해 백엔드는 고정된 상태에서 경험을 업데이트하고, 후속 결정을 개선한다. 이 접근법은 **predefined action abstraction에 대한 의존도를 줄이며**, 로봇의 내부 결정과 물리적 결과 간의 연결을 명확히 유지한다.

기술적 접근법

**Main agent**는 작업 의도를 언어로 유지하고, **subagent**가 **subgoal과 제약 조건**을 처리한다.
**Subagent**는 시각적 관찰을 기반으로 **task-relevant targets, positions, orientations**를 선택 및 정제한다.
**Backend**는 **perception, geometry, motion planning, control**을 통해 시각적 선택을 실행 가능한 동작으로 변환한다.
**Playbook**은 경험을 기반으로 **what worked, under which conditions, what to try differently**를 기록하며, **continual harnessing**을 통해 업데이트된다.
**Token usage**는 **subgoal delegation**을 통해 감소하며, **execution backend는 고정**된다.

주요 결과

**RoboLab** 데이터셋에서 **45%**의 작업 성공률을 달성하며, **CaP-X** 대비 **+6.7% 포인트** 높은 성능을 보인다.
**Grasp tool 제거 시에도 조작 성공률 유지**를 통해 **tool abstraction에 대한 의존도 감소**를 입증한다.
**Token usage**는 **subgoal delegation**을 통해 감소하며, **context study**에서 효율성을 입증한다.
**Simulation 및 실제 로봇 실험**을 통해 **playbook refinement**가 후속 결정에 긍정적 영향을 미친다.

의의 및 한계

RobotUse는 로봇 에이전트의 **geometric computation과 control을 위임**하면서도, **물리적 선택을 수정할 수 있는 context를 유지**하는 새로운 허네스 설계를 제시한다. 이는 **long-horizon, multi-step 작업**을 지원하며, **실행 경험을 기반으로 지속적으로 개선**할 수 있는 구조를 제공한다.

그러나, **imperfect feedback** 상황에서도 학습이 가능하다는 점은 한계이자 강점이다. 즉, **정확한 피드백 없이도 학습이 가능하지만**, 이는 **정확도 향상에 한계가 있을 수 있다**. 또한, **playbook의 초기 구성이 성능에 큰 영향을 미칠 수 있다**는 점도 한계로 지적된다.

실용적 활용

RobotUse는 **로봇 조작 시스템**, 특히 **복잡한 물리적 작업을 반복적으로 수행해야 하는 산업 현장**에 적용 가능하다. 예를 들어, **로봇 팔이 물체를 정확히 조작하거나 장애물을 회피하는 작업**에서 유용하며, **자율 주행 차량의 경로 계획 및 실행**에도 활용될 수 있다.