ENPIRE: Agentic Robot Policy Self-Improvement in the Real World

Achieving dexterous robotic manipulation in the real world heavily relies on human supervision and algorithm engineering, which becomes a central bottleneck in the pursuit of general physical intelligence. Although emerging coding agents can generate code to automate algorithm search, their successes remain largely confined in digital environments. We conjecture that the missing abstraction to automate robotics research is a repeatable feedback loop for real-world policy improvement: reset the scene, execute a policy, verify the outcome, and refine the next iteration. To bridge this gap, we introduce ENPIRE, a harness framework for coding agents that instantiates this physical feedback routine with four core modules: an Environment module (EN) for automatic reset and verification, a Policy Improvement module (PI) that launches policy refinement, a Rollout module (R) to evaluate policies with one or multiple physical robots operating in parallel, and an Evolution module (E) in which coding agents analyze logs, consult literature, improve training infrastructure and algorithm code to address failure modes. This closed-loop system transforms real-world manipulation learning into a controllable optimization procedure, minimizing human effort while allowing fair ablations across training recipe and agent variants. Powered by ENPIRE, frontier coding agents can autonomously train a policy to achieve a 99% success rate on challenging, dexterous manipulation tasks, such as organizing a pin box, fastening a zip tie, and tool use, a process that further accelerates when we dispatch an agent team on a robot fleet. Our results suggest a practical and scalable path toward deploying coding agents to autonomously advancing robotics in the physical world.

한 줄 요약

ENPIRE는 실물 환경에서 로봇 정책을 자동 개선하는 프레임워크로, 99% 성공률 달성 가능.

핵심 기여도

ENPIRE 프레임워크를 제안: EN, PI, R, E 4개 핵심 모듈로 구성된 실물 피드백 루프 구현.
PushT, Pin insertion, Ziptie-cutting 등 복잡한 실물 조작 작업에서 99% 성공률 달성.
병렬 로봇 페트 활용 시 Mean Robot Utilization (MRU), Mean Token Utilization (MTU) 지표로 효율성 측정.
인간 개입 없이 정책 개선을 자동화하여 학습 속도 향상 (예: 핀 삽입 작업에서 100% 성공률 빠르게 달성).

핵심 아이디어

ENPIRE는 로봇 정책 개선을 반복적 피드백 루프로 구조화하여 자동화한다. 이 루프는 환경 초기화(EN), 정책 실행(R), 결과 검증, 정책 개선(PI)을 포함하며, 실패 원인을 분석하고 알고리즘을 수정하는 Evolution 모듈(E)을 통해 지속적 개선이 가능하다. 이는 기존 연구에서 주로 디지털 환경에 제한되었던 코딩 에이전트의 활용을 실물 환경으로 확장하는 핵심 아이디어이다. ENPIRE는 인간의 지속적인 개입 없이도 정책 학습을 최적화할 수 있는 닫힌 루프 시스템을 구축하며, 다양한 학습 방법(예: 행동 복제, 강화 학습, 휴리스틱 학습)을 지원한다.

기술적 접근법

ENPIRE는 4개의 핵심 모듈로 구성된다:

**EN (Environment)**: 자동 초기화 및 검증을 위한 환경 인터페이스 구축.
**PI (Policy Improvement)**: 정책 개선 알고리즘 실행 (예: 강화 학습, 행동 복제).
**R (Rollout)**: 단일 또는 병렬 로봇을 사용한 정책 평가.
**E (Evolution)**: 실패 로그 분석, 알고리즘 코드 개선, 학습 인프라 최적화.

코딩 에이전트는 GPT-5.5 xhigh, Opus 4.7 High, Kimi K2.6 등 다양한 모델을 활용하며, 학습 방법으로는 Behavior Cloning (BC), Real-world Reinforcement Learning (RL), Heuristic Learning 등이 사용된다. 실험 환경은 6-DoF YAM 로봇 플랫폼이며, 병렬 처리를 위한 로봇 페트(8개의 이족형 YAM 로봇)가 사용된다.

주요 결과

**Pin insertion** 작업에서 ENPIRE는 100% 성공률을 빠르게 달성함.
**PushT, Ziptie-cutting, GPU-insertion** 작업에서 99% 성공률 달성.
병렬 로봇 페트를 활용한 실험에서 Mean Robot Utilization (MRU)과 Mean Token Utilization (MTU) 지표를 통해 효율성 증가 관찰.
인간 참여 없이도 정책 개선이 가능하며, 학습 속도가 기존 인간 참여 방식 대비 향상됨.

의의 및 한계

ENPIRE는 실물 환경에서 로봇 정책 개선을 자동화하는 첫 번째 프레임워크로, 인간 감독 의존도를 줄이고 연구 효율성을 높인다. 특히, 병렬 로봇 페트를 활용한 자동 연구는 실물 로봇 학습의 확장성을 높이는 데 기여한다. 그러나 현재는 특정 작업에만 적용되었으며, 일반적인 물리적 지능 개발로 확장하는 데 한계가 있다. 또한, 실패 원인 분석 및 알고리즘 수정 과정에서 코딩 에이전트의 능력에 따라 결과가 달라질 수 있다.

실용적 활용

ENPIRE는 제조, 물류, 서비스 로봇 분야에서 인간 감독 없이 정책을 자동 개선하는 데 활용 가능하다. 특히, 병렬 로봇 페트를 사용한 대규모 자동 연구는 산업 현장에서의 로봇 배치 및 유지보수 효율성을 높일 수 있다. 또한, 연구실 환경에서 로봇 학습 연구의 반복 작업을 자동화하여 연구 생산성을 향상시킬 수 있다.