한 줄 요약
Agent as Policy (AGP)는 일반적인 에이전트를 로봇 정책으로 활용하여, 실물 조작에서 100% 성공률을 달성하는 시스템이다.
핵심 기여도
- AGP는 특정 작업 또는 환경에 대한 학습 없이 물리적 로봇을 직접 제어함.
- 작업 수행 중 시각 정보 해석, 실행 가능한 프로그램 작성, 운동 명령 발행, 물리적 결과에 따른 행동 수정을 에이전트가 수행함.
- 블록 조립 작업에서 3가지 구성 모두 100%, 80% 성공률을 기록함.
- 저장된 절차와 프로그램을 재사용함으로써 반복 시험의 실행 시간이 단축됨.
핵심 아이디어
기존 로봇 조작 시스템은 에이전트가 사전에 생성한 프로그램을 실행하거나, 학습된 정책을 순차적으로 실행하는 방식을 따랐다. 그러나 이러한 접근법은 실행 중 발생하는 불확실성이나 예상치 못한 결과에 대응하기 어려웠다. AGP는 이러한 한계를 극복하기 위해, **에이전트 자체를 정책으로 삼아**, 실행 중에 시각 정보를 해석하고, 운동 명령을 생성하며, 물리적 피드백을 바탕으로 행동을 수정하도록 설계되었다. 이는 **런타임 프로그래밍**, **동적 결정**, **물리적 세계와의 상호작용**이라는 세 가지 핵심 원칙을 기반으로 한다. 에이전트는 **고정된 모델 파라미터**를 유지하면서, **새로운 관측 데이터**를 바탕으로 실행 전략을 조정한다.
기술적 접근법
AGP는 **일반 목적의 코드 작성 에이전트**를 로봇 인터페이스에 연결한 구조를 채택한다. 이 인터페이스는 **캘리브레이션된 관측**, **기하학적 쿼리**, **운동 명령**을 제공하며, **로봇 좌표계**와 **카메라 캘리브레이션**을 기반으로 계산을 접지한다. 에이전트는 **스크립트 작성**, **데이터 검토**, **실행 증거 저장**을 위한 지속적인 작업 공간을 활용한다. **조화된 조인트와 그립퍼 운동**을 지원하며, **에이전트 추론과 운동 실행이 병렬로 작동**하도록 설계되어 있다. **motion execution과 monitoring**은 에이전트 추론과 독립적으로 실행된다.
주요 결과
- **블록 조립** 작업에서 3가지 구성 모두 100%, 100%, 80% 성공률 달성.
- **주사위 뒤집기** 작업에서 10/10 성공.
- **실행 경험 누적**을 통해 **실행 시간이 단축**됨.
- **강력한 에이전트의 기록 전달**을 통해 **약한 에이전트의 성공률 향상** 및 **평균 실행 시간 감소** 관찰됨.
의의 및 한계
AGP는 **일반 목적의 MLLM**이 **로봇 팔 제어 정책**으로 활용될 수 있음을 입증하며, **시각 인식**, **운동 생성**, **물리적 피드백 대응**을 통합한 시스템을 제시한다. 그러나 **실행 시간**, **추론 비용**, **변형 가능한 물체 조작의 신뢰성**은 여전히 실용적 배포의 장애물이다. 이 연구는 **기초 MLLM의 강력한 능력**을 활용한 **더 능력 있고 효율적인 로봇 조작** 연구에 기여할 수 있다.
실용적 활용
AGP는 **로봇 조립**, **물체 재배치**, **복잡한 조작 작업** 등에 적용 가능하며, **사전 학습 없이 다양한 작업 환경에 적응**할 수 있는 **로봇 시스템 설계**에 활용될 수 있다. 특히 **시각 및 언어 입력을 기반으로 한 작업 수행**이 필요한 산업 현장에서 유용할 것으로 기대된다.