Encore: Few-Shot Agentic Discovery of Manipulation Strategies

Coding agents can now write, run, and debug programs with little human help. Robot tasks, however, are usually specified by a sentence that leaves out how to grasp, in what order to make contact, and what the result should look like, and an agent given only the sentence must find these details by trial and error. We introduce ENCORE, which gives the agent a few demonstrations as evidence to read rather than as training data. A deterministic builder distills each demonstration into a pack of multi-view keyframes, gripper events, frame strips, and the full trajectory. A coding agent studies the pack, writes a policy program against a fixed perception and action API, refines it iteratively over a few development rollouts, and freezes it before a sealed evaluation that never reveals the success signal. On LIBERO-PRO, the agent's first program already succeeds in half of the perturbed tasks with demonstrations and in one task without them, and the frozen programs outperform the strongest prior agentic system run with the same language model (96.3% against 89.3%). On RoboDojo tasks whose instructions leave the goal unstated, no program succeeds without demonstrations. ENCORE also runs on a real bimanual robot, learning cube handover and cup inversion from five demonstrations each.

한 줄 요약

ENCORE는 소수의 시연을 바탕으로 로봇 조작 정책을 생성하는 에이전트 프레임워크로, LIBERO-PRO에서 96.3% 성공률을 달성한다.

핵심 기여도

**Distiller 모듈**을 통해 텔레오퍼레이션 시연을 멀티뷰 키프레임, 그립퍼 이벤트, 프레임 스트립 등으로 압축.
**Policy 프로그램**을 성공 신호 없이 개발하고 동결하는 **Harness** 구조를 제안.
**LIBERO-PRO**에서 96.3% 성공률 달성 (기존 시스템 대비 89.3% 대비 +7.0%).
실제 이족 로봇에서 큐브 전달, 컵 뒤집기 작업 학습 성공.

핵심 아이디어

기존 시연은 텍스트 요약이나 토큰 시퀀스로 압축되며, 핵심 조작 전략이 유실되거나 불필요한 정보로 혼동된다. ENCORE는 이 문제를 해결하기 위해 **Deterministic Builder**를 사용해 시연을 구조화된 **evidence pack**으로 변환한다. 이 패키지는 그립퍼 이벤트, 키프레임, 프레임 스트립 등을 포함하며, 에이전트가 직접 분석 코드를 작성해 전략을 추출할 수 있도록 한다. 이는 시연이 단순 학습 데이터가 아닌, **정책 생성을 위한 탐색 힌트**로 활용되도록 한다. 특히, **API 고정**과 **성공 신호 접근 금지**를 통해 실제 배포 환경과 유사한 조건에서 정책을 검증한다.

기술적 접근법

**Distiller 모듈**: 시연을 멀티뷰 키프레임, 그립퍼 이벤트, 프레임 스트립, 전체 트레젝토리로 압축.
**Coding Agent**: 분석 코드를 작성해 evidence pack을 연구하고, 고정된 감지 및 동작 API를 기반으로 정책 프로그램을 작성.
**Policy 개발**: 몇 번의 개발 롤아웃을 통해 정책을 반복적으로 개선.
**Policy 동결**: 성공 신호 없이 평가를 진행하며, 최종 정책은 에이전트 없이 실행.
**비교 실험**: K=3 (시연 3개) vs. K=0 (시연 없음) 조건에서 동일 모델, API, 평가 프로토콜로 비교.

주요 결과

**LIBERO-PRO**: 시연을 사용한 첫 번째 프로그램이 50% 성공률 달성 (시연 없음 시 근처 성공 없음).
**동결 정책 성능**: 96.3% 성공률 (기존 최고 시스템 대비 +7.0%).
**RoboDojo**: 시연 없이 작성된 프로그램은 성공 없음.
**실제 로봇**: 큐브 전달, 컵 뒤집기 작업에서 각각 5개 시연으로 학습 성공.

의의 및 한계

ENCORE는 시연을 단순 학습 데이터가 아닌, **정책 생성의 탐색 힌트**로 활용하는 새로운 패러다임을 제시한다. 특히, 정책 프로그램은 성공 신호 없이 개발되며, 이는 실제 배포 환경과 유사한 조건을 반영한다. 그러나 시연이 제공되지 않은 경우, 에이전트는 탐색을 통해 동일한 성능을 달성할 수 있지만, 이 과정은 더 많은 시도와 시간이 필요하다. 또한, 시연이 제공되지 않은 경우 일부 작업에서는 성공이 불가능하다는 한계도 존재한다.

실용적 활용

ENCORE는 로봇 작업 지시가 불완전하거나, 시연이 제한된 상황에서 유용하게 사용될 수 있다. 특히, **제조, 물류, 서비스 로봇** 분야에서 소수의 시연만으로 정책을 생성할 수 있어, 빠른 배포와 적응이 필요한 환경에 적합하다.