From VLM Planners to Robotic Agents: Self-Evolving Harnesses for History-Dependent Manipulation

Vision-language-action (VLA) models achieve strong performance across embodied manipulation tasks by unifying visual understanding, language conditioning, and action generation. However, long-horizon tasks can involve non-Markovian dependencies: successful decisions may require retaining task progress and past interaction outcomes, while partial observability and execution errors compound over time. Existing work has begun to address these challenges by augmenting foundation-model policies with memory and by introducing hierarchical architectures that separate high-level planning from low-level execution. We organize the high-level VLM as a robotic agent through an editable harness to maintain task context and improve planning through execution experience. We instantiate this approach as SERA (Self-Evolving Robotic Agent), with a fixed VLA executor providing low-level control. The harness maintains and updates task context using observations and execution feedback to guide subsequent planning. Self-evolution uses environment rollouts to propose and evaluate harness revisions, with the selected configuration fixed before held-out testing. On RoboMME, SERA achieves 51.38% overall success with autonomous selection, compared with 44.38% without self-evolution. Our exploration suggests that agentic planning is a promising direction for history-dependent robotic manipulation.

한 줄 요약

SERA는 실행 경험을 기반으로 자기 진화하는 헤이브스를 통해 장기적 조작 작업 성능을 향상시키는 로봇 에이전트이다.

핵심 기여도

SERA는 고정된 VLA 실행기와 헤이브스를 결합한 에이전트 구조를 제안하며, 헤이브스가 작업 맥락을 유지하고 실행 피드백을 기반으로 계획을 개선한다.
자기 진화 절차는 추가적인 SFT 데이터셋 없이 실행 롤아웃을 통해 헤이브스의 계획 지침, 평가 기준, 제어 규칙을 자동으로 제안하고 평가한다.
RoboMME 데이터셋에서 SERA는 자기 진화를 적용한 경우 51.38% 성공률을 달성하며, 적용하지 않은 경우 대비 7.00% 포인트 개선된다.

핵심 아이디어

기존 VLA 모델은 단일 관찰에 의존하지만, 장기적 작업에서는 과거 상호작용과 작업 진행을 추적하는 것이 필요하다. SERA는 고정된 VLA 실행기와 별도로 헤이브스라는 편집 가능한 구조를 도입하여 작업 맥락을 유지하고 실행 경험을 기반으로 계획을 반복적으로 개선한다. 헤이브스는 입력 조합, 작업 맥락 유지, 명령 검증, 실행 피드백 활용 방식을 정의하며, 이는 SERA의 핵심적인 실행-계획 루프를 구성한다.

자기 진화는 헤이브스의 한계를 진단하고 수정하는 과정으로, 실패한 실행 트레이스를 분석하여 계획 지침, 평가 기준, 제어 규칙의 후보 수정안을 제안한다. 이 후보는 환경 롤아웃을 통해 검증되며, 최종적으로 선택된 헤이브스는 테스트 전에 고정된다. 이는 추가적인 라벨 데이터 없이도 헤이브스를 개선하는 새로운 접근법이다.

기술적 접근법

**SERA 구조**: 고정된 VLA 실행기와 헤이브스(H)로 구성. 헤이브스는 입력 조합, 작업 맥락 유지, 명령 검증, 실행 피드백 활용 방식을 정의.
**헤이브스 자기 진화**: 실행 롤아웃을 통해 실패 분석 → 후보 수정안 제안 → 검증 → 선택 및 고정.
**실행-계획 루프**: 헤이브스가 작업 맥락을 유지하며 실행 피드백을 기반으로 VLM의 다음 계획을 안내.
**데이터셋**: RoboMME에서 평가.
**성능 지표**: 전체 성공률 (51.38%).

주요 결과

RoboMME 데이터셋에서 SERA는 자기 진화를 적용한 경우 51.38%의 전체 성공률을 달성.
자기 진화 없이 실행한 경우 성공률은 44.38%로, 7.00% 포인트 개선됨.
헤이브스 자기 진화는 추가적인 SFT 데이터셋 없이도 성능 향상 가능.

의의 및 한계

SERA는 장기적 작업에서 작업 맥락을 유지하고 실행 경험을 기반으로 계획을 반복적으로 개선하는 새로운 에이전트 구조를 제시한다. 특히, 자기 진화 절차는 라벨 데이터 없이도 헤이브스를 개선하는 데 기여하며, VLA 기반 로봇 제어의 장기적 실행에 대한 연구를 촉진할 수 있다.

한편, SERA는 헤이브스가 고정된 VLA 실행기와 결합된 구조를 가진다. 따라서 VLA 실행기 자체의 개선 없이도 성능 한계가 존재할 수 있다. 또한, 실험은 RoboMME라는 특정 벤치마크에 제한되며, 다른 작업 환경에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

SERA는 반복적 작업, 장기적 실행이 필요한 산업 로봇, 서비스 로봇 등에서 유용하게 활용될 수 있다. 특히, 라벨 데이터 생성이 어려운 상황에서 실행 경험을 기반으로 헤이브스를 자동으로 개선하는 기능이 실용적이다. 연구적으로는 VLA 기반 로봇 제어의 장기적 실행 문제 해결에 기여할 수 있다.