Playful Agentic Robot Learning

Current agentic robot systems can write executable Code-as-Policy programs, observe feedback, and revise behavior across multiple attempts, but they remain largely task-driven: reusable skills are acquired only after explicit instructions. We study Playful Agentic Robot Learning, where an embodied coding agent uses self-directed play as a continual skill-learning stage before downstream tasks arrive. We introduce RATs, Robotics Agent Teams designed for play-time skill acquisition. During play, RATs proposes novel yet learnable exploratory tasks, plans and executes robot-code policies, verifies intermediate progress, diagnoses failures, retries with dense, step-level feedback, and distills successful executions into a persistent code skill library. At test time, the agent reuses relevant skills from this frozen library to help solve new tasks. Experiments in LIBERO-PRO and MolmoSpaces show that play-learned skills improve held-out downstream tasks over no-play and random-play baselines, with 20.6 and 17.0 percentage-point gains over CaP-Agent0 on LIBERO-PRO and MolmoSpaces, respectively. Moreover, the learned skills can be plugged into other inference-time Code-as-Policy agents by simply retrieving them into the context, improving RoboSuite and real-world transfer by 8.9 and 8.8 points, respectively, without finetuning the underlying model.

한 줄 요약

로봇이 미션 전에 스스로 놀이를 통해 재사용 가능한 코드 기반 스킬을 학습하는 RATs 프레임워크를 제안한다.

핵심 기여도

**RATs (Robotics Agent Teams)**: 놀이 시간에 스킬을 학습하는 구조화된 에이전트 팀을 제안.
**LIBERO-PRO와 MolmoSpaces에서 20.6%와 17.0% 성능 향상**: CaP-Agent0 대비.
**플러그-앤-플레이 기능**: 학습된 스킬을 다른 Code-as-Policy 에이전트에 적용하여 RoboSuite와 실제 환경에서 각각 8.9%와 8.8% 성능 향상.
**실행 없이 모델 학습 없이도 성능 개선**: 학습된 스킬 라이브러리만 적용.

핵심 아이디어

기존 로봇 에이전트는 외부 명령이 주어진 후에야 스킬을 학습하지만, 인간의 놀이 학습 방식을 모방하여, **미션 전에 스스로 놀이를 통해 스킬을 학습**하는 새로운 접근법을 제안한다. 이는 **Code-as-Policy 프레임워크**를 기반으로, 로봇이 언어로 탐색 목표를 생성하고, 이를 코드로 실행한 후, **실행 과정에서 중간 피드백을 통해 실패를 진단하고, 성공한 행동은 코드 형태로 저장**하여 재사용 가능한 스킬 라이브러리에 추가한다.

RATs는 단순한 탐색이 아닌, **명확한 스킬 학습 과정**으로 설계되어, 탐색 과제를 제안하고, **실행-검증-진단-재시도-기억**의 구조화된 단계를 거친다. 이는 **Dense feedback**을 통해 스킬 학습을 촉진하며, **Task Proposer**와 **Memory Curator** 모듈을 통해 탐색의 **novelty–learnability**를 균형 있게 유지한다.

기술적 접근법

**RATs (Robotics Agent Teams)**: 탐색 과제 제안, 실행, 검증, 진단, 재시도, 기록을 수행하는 구조화된 에이전트 팀.
**Code-as-Policy 프로그램**: 로봇 행동을 코드로 표현하고 실행.
**Per-step verification**: 실행 중 각 단계를 검증하여 실패 원인을 정확히 파악.
**Memory update**: 성공한 실행을 코드 형태로 저장하여 재사용 가능한 스킬 라이브러리에 추가.
**Gemini-3.1pro-preview 모델**: 50회 반복 실행으로 놀이 환경에서 스킬 학습.
**LIBERO-PRO, MolmoSpaces**: 놀이 환경 및 평가 벤치마크.
**RoboSuite**: 교차 환경 전이 실험에 사용.

주요 결과

**LIBERO-PRO**: RATs는 CaP-Agent0 대비 20.6% 성능 향상.
**MolmoSpaces**: RATs는 CaP-Agent0 대비 17.0% 성능 향상.
**RoboSuite**: 플러그-앤-플레이 방식으로 CaP-Agent0 성능을 8.9% 향상.
**실제 환경**: 8.8% 성능 향상.
**랜덤 놀이 대비**: 동일 예산 하에 훨씬 낮은 성능 향상 (비교 실험 참조).

의의 및 한계

RATs는 **Code-as-Policy 기반 로봇 에이전트의 스킬 학습을 사전적, 자율적으로 가능하게** 함으로써, 기존의 반응형 학습 방식을 극복한다. 특히, **플러그-앤-플레이 기능**을 통해 다른 시스템에도 쉽게 통합 가능하며, **재학습 없이도 성능 향상**을 달성하는 점이 학술적·실용적으로 의미가 크다.

하지만, **놀이 환경과 실제 환경 간의 차이**가 존재하며, **놀이에서 학습된 스킬이 모든 상황에 일반화되는지**는 추가 연구가 필요하다. 또한, **Task Proposer의 탐색 전략**이 더 복잡한 환경에서는 제한될 수 있다.

실용적 활용

RATs는 **로봇 제조, 물류, 서비스 산업**에서 사전 학습된 스킬을 기반으로 빠르게 새로운 작업을 수행하는 데 활용 가능하다. 또한, **로봇 교육 및 연구**에서 자율 학습을 촉진하는 프레임워크로도 유용하며, **Code-as-Policy 기반 시스템의 성능 향상**을 위한 보조 모듈로 사용될 수 있다.