EnvHarness: Awakening Static Worlds for Agent Learning

LLM agents learn by interacting with environments, yet these environments are hand-built and static: blind to an agent's weaknesses, and quickly left behind as it improves. While recent environment generation methods attempt to address this, they require domain-specific pipelines, rely on expensive or unreliable verifiers, and still produce static environments. To alleviate the engineering burden of rebuilding environments from scratch, we propose Environment Harness (EnvHarness), a programmable layer of plug-in components that wraps a static environment to reshape its behavior without modifying the underlying logic. Operating through standard interfaces, EnvHarness applies across diverse domains while ensuring every reshaped environment retains its original verifier. To automate this process, we introduce EnvRigger, which treats the target policy as a black box, observing its execution trajectories to synthesize EnvHarness components targeting diagnosed flaws, and validating them via fresh rollouts. Across five benchmarks in four domains, EnvHarness outperforms both original environments and domain-specific environment generation pipelines, achieving up to a 9.0-point improvement on held-out instances with 9.8% fewer execution steps. Furthermore, EnvHarness provides a superior optimization signal for reinforcement learning, enabling continuous, targeted co-evolution of the policy and its environment.

한 줄 요약

EnvHarness는 정적 환경을 프로그래밍 가능한 레이어로 변환하여 에이전트 학습을 개선하는 시스템이다.

핵심 기여도

EnvHarness는 Stage, Contract, Chain 세 가지 플러그인 컴포넌트를 통해 정적 환경을 재구성하며, 기존 검증기와 인터페이스를 유지한다.
EnvRigger는 정책의 실행 경로를 분석하여 EnvHarness 구성요소를 자동 생성하고, 신선한 실행을 통해 검증한다.
4개 도메인 5개 벤치마크에서 기존 환경 대비 최대 9.0점 개선과 9.8% 적은 실행 단계를 달성했다.
강화 학습에서 EnvHarness는 정책과 환경의 지속적인 공진화를 가능하게 하였다.

핵심 아이디어

기존 환경은 에이전트의 약점을 인식하지 못하며, 개선이 어려운 정적 구조를 가진다. EnvHarness는 기존 환경의 내부 로직을 수정하지 않고도, 표준 인터페이스를 통해 동작을 재구성하는 프로그래밍 가능한 레이어를 도입한다. 이는 Stage(에피소드 시작점 설정), Contract(허용된 행동 및 관찰 제어), Chain(다중 환경 연결)의 세 가지 컴포넌트를 통해 구현된다. EnvRigger는 정책을 블랙박스로 간주하고, 실행 경로를 관찰하여 약점을 진단하고, 이를 바탕으로 EnvHarness 구성요소를 생성 및 검증한다. 이는 환경 생성을 "작성"에서 "랩핑"으로 전환하는 새로운 접근법이다.

기술적 접근법

**EnvHarness**: 기존 환경을 감싸는 프로그래밍 레이어로, Stage, Contract, Chain 세 가지 플러그인 컴포넌트로 구성된다.
**EnvRigger**: 정책을 블랙박스로 간주하고, 실행 경로를 분석하여 약점을 진단하고, EnvHarness 구성요소를 생성 및 검증한다.
**인터페이스 활용**: reset/step 인터페이스를 통해 기존 환경의 로직을 유지하면서 동작을 재구성한다.
**도메인 비특이성**: 인터페이스 기반 접근으로 인해 도메인에 관계없이 적용 가능하다.
**실험 환경**: ALFWorld, WebArena, SWE-bench Verified, OfficeQA, SpreadsheetBench 등 4개 도메인 5개 벤치마크에서 평가.

주요 결과

**SL(스킬 기반 학습)**: 기존 환경 대비 최대 9.0점 개선 (Table 2), 9.8% 적은 실행 단계 (Table 3).
**RL(강화 학습)**: 최대 6.5점 개선 (Table 4).
**EnvRigger 반복 실행**: 정책과 환경의 지속적인 공진화를 통해 성능이 지속적으로 향상됨.
**도메인 간 전이성**: 기존 환경과 검증기를 유지하면서 다양한 도메인에 적용 가능.

의의 및 한계

EnvHarness는 정적 환경의 한계를 극복하고, 에이전트 학습의 타겟성을 높이는 새로운 프레임워크를 제시한다. 기존 환경 생성 방식과 달리 도메인 비특이적이고, 기존 검증기를 유지하면서도 환경을 재구성할 수 있어 실용적 가치가 크다. 또한, EnvRigger를 통해 정책에 맞춘 환경 생성을 자동화함으로써, 학습 효율성과 정확도를 동시에 개선한다. 그러나 EnvRigger의 진단 정확도나 생성된 환경의 다양성에 대한 한계는 추가 연구가 필요하다. 또한, 사용자 정의 제약 조건을 처리하는 능력은 아직 제한적이다.

실용적 활용

EnvHarness는 웹 탐색, 코드 작성, 오피스 작업, 임베디드 플랫폼 제어 등 다양한 도메인에서 에이전트 학습을 개선할 수 있다. 특히, 기존 환경을 재사용하면서도 정책에 맞춘 맞춤형 학습 환경을 제공하므로, 산업 현장에서의 에이전트 배포 및 학습 효율성 향상에 유용하게 활용될 수 있다.