AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics

Agentic robotics systems combine planners with robot harnesses to perform complex manipulation tasks. Recent work improves these systems through better harnesses and external memory, but relies on powerful closed-source models as planners and does not improve the planners' own capabilities. In contrast, coding agents have improved substantially by post-training the model itself. We therefore investigate whether post-training can also improve robot planners. However, applying it across robot harnesses requires accommodating different execution mechanisms, including VLA skill invocation and control-code generation. To this end, we introduce AgenticRoboRL, a framework for post-training robot planners across different harnesses. The training recipe combines supervised fine-tuning with multi-turn reinforcement learning. To accommodate different execution mechanisms, harness-specific adapters connect recorded planner interactions with task outcomes, enabling a common RL training pipeline while keeping execution components fixed. On LIBERO-PRO, AgenticRoboRL raises the success rate of a 9B-parameter planner from 18.1% to 71.0% without external memory, approaching the 72.1% achieved by Codex (GPT-5.5) with external memory. These results demonstrate post-training as an effective approach for improving robot planners. We will release the framework and trained planner checkpoints.

한 줄 요약

AgenticRoboRL은 로봇 플래너를 다양한 허네스에서 후-트레이닝하는 프레임워크로, LIBERO-PRO에서 성공률을 18.1%에서 71.0%까지 향상시킨다.

핵심 기여도

AgenticRoboRL은 로봇 플래너를 후-트레이닝하는 최초의 일반적 프레임워크이다.
SFT와 multi-turn RL을 결합한 학습 레시피를 제시하며, 허네스별 어댑터를 통해 실행 메커니즘을 고정시키며 학습 파이프라인을 공유한다.
9B 파라미터 플래너에서 LIBERO-PRO 성공률을 18.1%에서 71.0%로 향상시켜, Codex(GPT-5.5)의 72.1%에 근접한다.
프레임워크와 학습된 체크포인트를 공개한다.

핵심 아이디어

기존 연구는 로봇 허네스와 외부 메모리를 개선함으로써 시스템 성능을 향상시켰지만, 플래너 자체의 능력은 개선하지 못했다. 반면, 코드 생성 에이전트는 모델 자체를 후-트레이닝함으로써 성능을 크게 향상시켰다. 본 연구는 이러한 후-트레이닝이 로봇 플래너에도 적용될 수 있는지 탐구한다.

AgenticRoboRL은 다양한 허네스(예: VLA 스킬 호출, 컨트롤 코드 생성)를 지원하는 후-트레이닝 프레임워크이다. 핵심 아이디어는 허네스별 어댑터를 통해 기록된 플래너 상호작용을 에피소드 결과와 연결함으로써, 실행 구성 요소를 고정시키면서도 공통 RL 파이프라인을 사용할 수 있도록 하는 것이다. 이는 기존 연구에서 요구되었던 공통 행동 표현 없이도 가능하다는 점에서 혁신적이다.

기술적 접근법

AgenticRoboRL은 다음과 같은 기술적 요소를 포함한다:

**SFT (Supervised Fine-Tuning)**: 성공적인 데모 데이터로 플래너를 초기 학습.
**Multi-turn RL**: 기록된 플래너 요청과 응답을 기반으로 RL 학습.
**Harness-specific Adapters**: 각 허네스의 실행 결과를 RL 파이프라인에 연결.
**Execution Components Fixation**: VLA 정책, 모션 컨트롤러 등 실행 구성 요소는 학습하지 않음.
**Dataset**: LIBERO-PRO, LIBERO-Plus 사용.
**Model Size**: 9B 파라미터 모델 사용.

주요 결과

**LIBERO-PRO 성공률**: 9B 플래너의 성공률이 SFT로 18.1% → 65.1%, RL로 71.0% 향상.
**Codex(GPT-5.5) 대비**: 외부 메모리 없이 71.0% vs. 외부 메모리 사용 시 72.1%.
**CaP-X 허네스**: 성공률 2.7% → 28.5% 향상.
**LIBERO-Plus**: 추가 학습 없이 72.2% 성공률 달성.

의의 및 한계

AgenticRoboRL은 로봇 플래너의 자체 능력을 향상시키는 새로운 방식을 제시한다. 기존 연구는 외부 메모리나 허네스 개선에 의존했지만, 본 연구는 모델 자체를 학습함으로써 더 넓은 범용성을 확보한다. 특히, 실행 구성 요소를 고정시키면서도 다양한 허네스를 지원하는 방식은 기존 접근과 차별화된다.

그러나, 학습 데이터는 외부 메모리가 있는 교사 모델의 트래젝토리에 의존하며, 학습 중 외부 메모리를 사용하지 않는다는 점에서 한계가 있다. 또한, 허네스 간 실행 메커니즘의 차이를 완전히 통합하는 것은 여전히 어려운 문제이다.

실용적 활용

AgenticRoboRL은 다양한 로봇 허네스를 지원하는 플래너 개발에 활용될 수 있다. 특히, VLA 기반 스킬 실행 및 컨트롤 코드 생성을 포함하는 복잡한 조작 작업에서 유용하다. 연구자들이 다양한 로봇 플랫폼에서 모델 학습을 효율적으로 수행할 수 있도록 도와줄 수 있다.