Self-Evolving Embodied Agents via Skill-Harness Evolution

Embodied agents are increasingly built as systems around foundation models, where performance depends not only on model weights but also on the skills, context, action interfaces, and execution harness surrounding the model. While supervised fine-tuning and reinforcement learning can adapt agents to new environments, they require additional data, rewards, and training runs; meanwhile, many train-free code-centric approaches rely on programmable robot APIs that may be unavailable in fixed-interface settings. We propose SHAPER, a self-evolving framework for train-free embodied adaptation that keeps model parameters frozen and improves the non-parametric agent system by evolving reusable skills and a context-code harness through target-environment rollouts. In SHAPER, the same frozen model can serve as both planner and optimizer, refining its external skills and context-code harness without parameter updates. We evaluate SHAPER on VLABench and ESI-Bench, covering embodied agents with different low-level action interfaces, and compare against pure execution, supervised fine-tuning, and test-time-scaling baselines such as verifier-free selection and voting. Our results suggest that skill-and-harness optimization is a practical route to self-evolving embodied agents when model training is expensive, unavailable, or undesirable.

한 줄 요약

SHAPER는 모델 파라미터를 고정한 채, 재사용 가능한 스킬과 컨텍스트-코드 헤이버스를 진화시켜 자율적으로 적응하는 임베디드 에이전트를 구현하는 프레임워크이다.

핵심 기여도

모델 파라미터를 고정한 채, 외부 스킬과 컨텍스트-코드 헤이버스를 진화시켜 임베디드 에이전트를 개선하는 SHAPER 프레임워크 제안.
VLABench와 ESI-Bench에서 27B 규모의 상위 VLM 플래너를 사용해 스킬-헤이버스 최적화의 효과 검증.
기존의 파인튜닝 및 테스트-타임 스케일링 대비 경쟁력 있는 성능을 보여줌.

핵심 아이디어

SHAPER는 기존의 파라미터 업데이트 기반 접근과 달리, 모델 외부의 비파라미트릭 요소인 스킬과 헤이버스를 진화시켜 에이전트를 적응시키는 새로운 아이디어를 제시한다. 이는 모델 파라미터가 고정된 상태에서도, 상황에 따라 변화하는 실행 환경에 대응할 수 있도록 한다. 스킬은 자연어, 행동 레시피, 실패 복구 규칙 등으로 표현되며, 컨텍스트-코드 헤이버스는 관측, 이전 행동, 실행 결과 등을 플래너에 어떻게 제공할지를 결정한다. 이 두 요소는 타겟 환경에서의 실행 결과를 기반으로 VLM 모델이 자체적으로 최적화한다.

기술적 접근법

**SHAPER 프레임워크**: 모델 파라미터는 고정되며, 외부 스킬과 컨텍스트-코드 헤이버스만 진화.
**VLM 역할 분리**: 동일한 VLM 체크포인트가 상위 플래너와 아티팩트 최적화자로 사용됨.
**진화 단계**: 타겟 환경에서의 실행 결과를 요약한 피드백을 바탕으로 스킬과 헤이버스가 수정됨.
**실험 환경**: VLABench와 ESI-Bench에서 27B VLM 플래너와 VLA 실행자, 고정 액션 API를 사용.

주요 결과

**VLABench**: 동일한 27B 상위 VLM 플래너가 VLA 실행자와 함께 스킬-헤이버스 최적화를 통해 성능 향상.
**ESI-Bench**: 고정 액션 API 환경에서도 스킬-헤이버스 최적화가 성능 개선에 기여.
**비교 대상**: 순수 실행, 파인튜닝, 테스트-타임 스케일링 대비 경쟁력 있는 성능.
**정확도 개선**: 명시되지 않으나, 테스트-타임 스케일링 대비 상대적 개선이 관찰됨.

의의 및 한계

SHAPER는 모델 파라미터 업데이트 없이도 에이전트를 적응시킬 수 있는 실용적인 접근법을 제시한다. 특히, 모델 학습이 비용적, 기술적으로 어려운 상황에서 유용하다. 또한, 실행 환경의 제약이 있는 경우에도, 코드 중심 접근법 대신 자연어 스킬과 컨텍스트-코드 헤이버스를 활용해 유연하게 대응할 수 있다. 그러나 실제 로봇 환경에서의 검증은 아직 이루어지지 않았으며, 다양한 임베디드 설정 간의 전이성도 추가 연구가 필요하다.

실용적 활용

SHAPER는 모델 파라미터 업데이트가 어려운 산업 현장, 특히 고정 액션 인터페이스가 있는 로봇 시스템에서 유용하게 활용될 수 있다. 또한, 훈련 데이터가 제한적인 환경에서, 스킬과 헤이버스를 진화시켜 에이전트를 적응시키는 방식으로 연구 및 개발 효율성을 높일 수 있다.