EMHO: EMbodied Agent Harness Optimization via Experience Traces

Improving embodied agents often focuses on optimizing the underlying model through training, while the surrounding agent harness that controls planning, context, and tool use is typically engineered. We ask whether this harness can instead improve itself directly from experience traces under sparse environmental feedback. We propose EMbodied Agent Harness Optimization (EMHO), a self-evolving framework that keeps the embodied model frozen and iteratively revises its harness by analyzing execution trajectories and prior harness history. EMHO optimizes beyond skills or recovery prompts, modifying how the agent monitors progress, uses vision tools, grounds observations, and responds to failures. To support multiple subtasks with a single harness, we introduce EMHO-Merge, which addresses trade-offs in jointly optimizing a single shared harness across subtasks by using episode-level gains and losses to guide evidence-supported refinement of when and how revised behaviors are applied. We evaluate EMHO on EmbodiedBench across navigation and manipulation tasks, and EMHO consistently improves task success for both Qwen 9B and 27B models. Qualitative analysis shows that EMHO goes beyond recovering from failures and unproductive actions to reshape how the embodied agent interprets and interacts with its environment.

한 줄 요약

EMHO는 경험 추적을 통해 동결된 모델 주변의 하이퍼 시스템을 스스로 진화시키는 프레임워크로, 탐색 및 조작 작업에서 성능을 23.3%~33.3% 개선한다.

핵심 기여도

EMHO는 Qwen 9B 및 27B 모델에서 탐색 작업에서 23.3%, 조작 작업에서 33.3%의 성공률 향상을 달성.
EMHO-Merge는 여러 하위 작업에서 단일 공유 하이퍼를 최적화하여 성능 저하를 최소화.
경험 추적과 희소 환경 피드백을 기반으로 하이퍼를 스스로 진화시키는 프레임워크 제안.
실패 복구를 넘어, 진행 상황 모니터링, 시각 도구 사용, 관찰 해석 방식까지 재구성.

핵심 아이디어

기존 연구는 주로 모델 학습을 통해 에이전트를 개선하는 데 집중했으나, EMHO는 모델을 동결한 채 주변 하이퍼 시스템을 스스로 진화시키는 새로운 접근법을 제시한다. 이는 희소한 환경 피드백과 실행 추적을 분석하여, 계획, 맥락 구성, 도구 사용 등 복합적인 메커니즘을 최적화한다. EMHO는 단순히 실패 복구나 스킬 개선에 머물지 않고, 에이전트가 환경을 해석하고 행동하는 방식 자체를 재구성한다. 특히, EMHO-Merge는 여러 하위 작업에서 단일 공유 하이퍼를 최적화할 때 발생하는 성능 저하를 줄이기 위해 에피소드 수준의 이득과 손실을 비교하여 행동 적용 조건을 조정한다.

기술적 접근법

**EMHO**: 동결된 모델 주변의 하이퍼를 반복적으로 수정. 실행 추적(관찰, 계획, 행동, 도구 사용, 피드백, 최종 결과)을 분석하고, 이전 하이퍼 수정 이력을 함께 고려해 약점을 식별하고 수정.
**EMHO-Merge**: 단일 공유 하이퍼를 여러 하위 작업에 걸쳐 최적화. 수정 후 성공/실패 에피소드를 비교하여, 수정된 행동이 도움이 되는 조건과 해로운 조건을 구분.
**하이퍼 최적화 루프**: 내부 루프에서 작업 실행 및 추적 기록, 외부 루프에서 추적 분석 및 하이퍼 수정.
**데이터셋**: EmbodiedBench에서 탐색 및 조작 작업 평가.

주요 결과

**EmbodiedBench 탐색 작업**: EMHO는 초기 하이퍼 대비 23.3% 성공률 향상.
**EmbodiedBench 조작 작업**: EMHO는 초기 하이퍼 대비 33.3% 성공률 향상.
**EMHO-Merge**: 단일 공유 하이퍼 최적화 시, Qwen 9B 및 27B 모델 모두에서 평균 탐색/조작 작업 성공률이 EMHO 단일 최적화 대비 향상됨.
**성능 저하 최소화**: EMHO-Merge는 여러 하위 작업에서 단일 하이퍼 최적화 시 발생하는 성능 저하를 줄임.

의의 및 한계

EMHO는 기존 연구에서 주로 모델 학습에 의존했던 에이전트 개선 방식을 벗어나, 하이퍼 시스템 자체를 경험 추적을 통해 스스로 진화시키는 새로운 패러다임을 제시한다. 특히, 실패 복구를 넘어 에이전트의 환경 해석 및 행동 방식을 재구성함으로써, 모델의 잠재력을 더 효과적으로 발휘할 수 있다. 그러나 EMHO는 희소한 환경 피드백만을 기반으로 하기 때문에, 피드백이 풍부한 환경에서는 다른 접근법과 결합하는 것이 필요할 수 있다. 또한, EMHO-Merge는 여러 작업 간 성능 저하를 줄이는 데 효과적이지만, 모든 작업에 걸쳐 최적의 하이퍼를 찾는 것은 여전히 어려운 문제로 남는다.

실용적 활용

EMHO는 로봇, 가상 에이전트, 자율 시스템 등에서 복잡한 환경에서 스스로 개선하는 하이퍼 시스템을 구축하는 데 활용 가능하다. 특히, 모델 학습이 어려운 상황에서, 경험 추적을 통해 시스템을 스스로 최적화하는 방식이 유용할 수 있다. EMHO-Merge는 여러 작업을 수행하는 단일 에이전트 시스템 개발에도 적용 가능하며, 산업 현장에서 다양한 작업을 처리하는 자율 로봇 개발에 기여할 수 있다.