GaP: A Graph-as-Policy Multi-Agent Self-Learning Harness For Variational Automation Tasks

For robots to work reliably in commercial and industrial applications, can recent advances in agentic coding systems combine interpretable robot programming with the open-world adaptability of model-free policies? We focus on "Variational Automation" (VA), a class of tasks that have larger variations in object geometry and pose than fixed automation. Model-free policies often struggle to close the reliability gap for VA tasks, which must be executed persistently and reliably in commercial and industrial applications. Motivated by prior work on Task and Motion Planning (TAMP) and the Robot Operating System (ROS), we introduce Graph-as-Policy (GaP), a multi-agent coding harness that generates directed computation graphs with perception, planning, and control nodes from a Modular Open Robot Skill Library (MORSL). GaP then generates an internal simulation environment to rehearse task instances with different graphs in parallel to iteratively refine the graph structure and parameters to improve success rates and throughput. Evaluation with 8 new open VA task benchmarks, 4 in-simulation and 4 in real-world, suggests that GaP can achieve success rates that significantly outperform baselines. Details, code, and data can be found online: https://graph-robots.github.io/gap

한 줄 요약

GaP는 Variational Automation(VA) 작업에서 성능을 향상시키기 위해 그래프 구조를 기반으로 다중 에이전트 시스템이 자율 학습하는 새로운 로봇 프로그래밍 허네스이다.

핵심 기여도

8개의 새로운 VA 작업 벤치마크(4개 시뮬레이션, 4개 실제 환경)를 제시.
Modular Open Robot Skill Library(MORSL)를 구축하여 재사용 가능한 로봇 기술 노드를 제공.
GaP 허네스를 통해 그래프 기반 정책 생성 및 시뮬레이션 학습을 통해 성공률 0.93–0.99 달성.
단일 LLM 기반 시스템 대비 다중 에이전트 구조로 인한 구조적 안정성과 성능 향상 입증.

핵심 아이디어

GaP는 Task and Motion Planning(TAMP)과 Robot Operating System(ROS)의 계산 그래프 구조를 결합하여, 로봇 작업을 모듈화된 그래프 노드로 표현하고, 이 노드들을 다중 에이전트가 협력적으로 생성 및 학습하는 방식을 제안한다. 이는 기존의 단일 에이전트 기반 Code-as-Policy(CaP) 시스템에서 발생하는 hallucination, 제약 위반, 컨텍스트 윈도우 제한 등의 문제를 해결한다. GaP는 Orchestrator Agent가 작업을 분할하고, 각 Skill Agent가 해당 작업에 맞는 기술 노드를 생성한 후, 이를 통합하여 실행 가능한 계산 그래프를 만든다. 이후, 이 그래프는 시뮬레이션 환경에서 반복적으로 학습되어 성공률과 처리량을 동시에 최적화한다.

기술적 접근법

**Graph-as-Policy (GaP)**: 계산 그래프를 기반으로 로봇 정책을 표현.
**Modular Open Robot Skill Library (MORSL)**: 51개 이상의 재사용 가능한 기술 노드를 포함.
**Orchestrator Agent**: VA 작업을 기능적 세그먼트로 분할하고, 각 Skill Agent에게 하위 그래프 생성을 지시.
**Multi-Agent Self-Learning Harness**: LLM과 VLM 에이전트가 그래프를 생성, 시뮬레이션, 평가, 반복 학습.
**Graph Validation**: 정적 타입/엣지 체크를 통해 그래프 연결성을 보장.
**Edge-Based Graph Interpreter**: 최종 그래프를 로봇에 반복 실행.

주요 결과

Fulfill Grocery Orders, Pack Grocery Items, Make Popcorn 등 8개 VA 작업에서 GaP는 0.93–0.99의 성공률 달성.
단일 LLM 기반 시스템에서는 0% 성공률로 실패.
π0.5, MolmoAct2 등 기존 베이스라인 대비 GaP가 0.2 이상의 성공률 개선.
그래프 검증을 통해 1차 시도 실패율을 줄이고, 정적 타입/엣지 체크를 통한 실행 시 오류 감소.

의의 및 한계

GaP는 해석 가능한 로봇 프로그래밍과 모델-프리 정책의 유연성을 결합하여, Variational Automation 작업에서 신뢰성과 처리량을 동시에 향상시키는 새로운 접근법을 제시한다. 특히, 다중 에이전트 구조와 그래프 기반 허네스는 기존 단일 에이전트 시스템의 한계를 극복하고, 모듈화 및 재사용성을 높인다. 그러나 GaP는 아직 산업 수준의 실행 신뢰도(500 units/hour)에 도달하지 못하며, VLM 추론 요청과 IK 계획 시간을 줄이는 추가 연구가 필요하다. 또한, 변형 가능한 물체나 동적 환경 작업에 대한 적용 가능성도 제한적이다.

실용적 활용

GaP는 물류, 서비스, 제조 등에서 반복적이지만 객체의 형태와 자세가 변하는 작업(예: 포장, 조리, 정렬)에 적용 가능하다. 특히, MORSL을 기반으로 한 모듈화된 기술 노드는 다양한 로봇 플랫폼에 재사용 가능하며, 산업 현장에서 신속한 정책 생성과 학습을 지원할 수 있다.