EvoPolicyGym: Evaluating Autonomous Policy Evolution in Interactive Environments

Autonomous agents are increasingly expected to improve executable policies through feedback, yet existing evaluations often collapse this process into a final score or confound it with open-ended software-engineering progress. We introduce Autonomous Policy Evolution, a controlled evaluation setting in which a harness-model agent repeatedly edits an executable policy system under a fixed interaction budget. We instantiate this setting in EvoPolicyGym, a benchmark built from compact interactive RL environments that evaluates how agents iteratively improve explored policies. On the EvoPolicyGym suite, GPT-5.5 achieves the strongest aggregate rank score and top-two performance on all 16 environments. Beyond leaderboard results, EvoPolicyGym also provides trajectory-level diagnostics that distinguish how agents allocate budget, convert feedback into parametric tuning. These analyses show that strong autonomous policy evolution depends not only on isolated task wins, but on discovering task-appropriate mechanisms and refining policies under bounded feedback.

한 줄 요약

EvoPolicyGym은 제한된 상호작용 예산 하에서 자율 에이전트가 정책을 반복적으로 개선하는 능력을 평가하는 벤치마크이다.

핵심 기여도

Autonomous Policy Evolution이라는 새로운 평가 설정을 제안하여, GPT-5.5가 16개 환경에서 최고 순위 점수를 달성함.
EvoPolicyGym이라는 벤치마크를 구축하여, 정책 개선 과정을 추적하고 예산 조건 하에서의 정책 진화를 분석함.
트레이젝토리 수준 진단을 도입하여, 에이전트가 피드백을 어떻게 파라미터 조정 및 코드 변경으로 전환하는지 비교함.

핵심 아이디어

기존 평가 방식은 자율 에이전트의 정책 개선 과정을 단일 최종 점수로 축소하거나, 개방형 소프트웨어 개발과 혼동시켜 정확한 평가가 어려웠다. 본 연구는 **Autonomous Policy Evolution**이라는 새로운 평가 설정을 제안하며, 이는 **제한된 상호작용 예산** 하에서 에이전트가 반복적으로 정책을 수정하고 개선하는 과정을 평가하는 프레임워크이다.
EvoPolicyGym은 **Gym/Box2D, MuJoCo, MiniGrid, 로봇/주행** 등 다양한 환경을 포함한 16개의 **Core16 환경**을 기반으로 구성되며, **128-episode 상호작용 예산** 하에서 정책 수정-피드백-재시도의 **트레이젝토리**를 기록한다.
이를 통해, 단순한 최종 성능 뿐 아니라 **정책 구조 변화**, **예산 할당 전략**, **피드백 해석 방식** 등도 평가 가능하다.

기술적 접근법

**Autonomous Policy Evolution** 문제는 에이전트가 **제출한 정책 시스템**과 **트레이닝 피드백 기록**의 시퀀스를 관찰하고, **숨겨진 검증 세트에서의 성능**을 최대화하는 것을 목표로 한다.
**EvoPolicyGym**은 **128-episode 상호작용 예산** 하에서 **서버-제한된 환경**에서 정책을 반복적으로 수정하고 피드백을 받는 방식으로 구성된다.
**GPT-5.5**, **Claude Opus 4.7**, **기타 2개의 허네스-모델 에이전트**가 **Core16 환경**에서 평가되며, **트레이젝토리 수준 진단**이 제공된다.
**CarRacing**, **BipedalWalker** 등 특정 환경의 **트레이스 분석**을 통해, 에이전트가 피드백을 어떻게 수정으로 전환하는지 비교한다.

주요 결과

GPT-5.5는 **Core16 환경**에서 **최고 순위 점수**를 달성하며, **16개 환경 중 상위 2위 성적**을 기록함.
Claude Opus 4.7은 **MiniGrid 환경**에서 우수한 성능을 보임.
**EvoPolicyGym**은 **최종 점수 뿐 아니라 정책 수정 과정**을 분석하여, **구조적 합성**과 **파라미터 튜닝** 간의 차이를 드러냄.
**CarRacing**, **BipedalWalker**의 **트레이스 분석**을 통해, 에이전트가 **피드백을 코드 수정으로 전환하는 방식**을 비교함.

의의 및 한계

EvoPolicyGym은 **자율 정책 진화**를 평가하는 체계적인 프로토콜을 제공하며, **제한된 피드백** 하에서 **정책 개선 능력**을 측정하는 데 기여한다.
또한, **트레이젝토리 수준 진단**을 통해, 단순한 최종 성능 뿐 아니라 **정책 진화 과정**을 이해할 수 있어, **자율 에이전트 연구**에 중요한 도구가 될 수 있다.
그러나, **개방형 엔지니어링 작업**과의 차이점은 명시되지 않았으며, **더 복잡한 실제 시스템**에 대한 적용 가능성은 추가 연구가 필요하다.

실용적 활용

EvoPolicyGym은 **로봇, 자율 주행, 게임 AI** 등에서 **자율 정책 개선**을 연구하는 데 활용 가능하며, **소프트웨어 엔지니어링 자동화**, **AI 기반 시스템 디버깅**에도 적용 가능하다.
또한, **AI 에이전트의 반복적 개선 능력**을 평가하는 데 사용되어, **자율 시스템 개발**의 신뢰성을 높이는 데 기여할 수 있다.