Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent Competition

Adversarial games have driven advances from heuristic search to reinforcement learning, yet learning and adapting strategies from limited samples remain challenging. AI agents offer an alternative by turning game experience into revisions of executable policies. Building on heuristic learning (HL), we formalize Adversarial Heuristic Learning (AHL), a paradigm that uses AI agents as learning engines to refine game policies and supporting software while keeping model weights fixed. We introduce AAArena, a benchmark comprising 12 authentic adversarial games and 1,920 archived human programs, with an evaluation protocol modeled on real-world game competitions. Agents interpret rules, choose opponents, analyze replays, and revise game agents to achieve their highest ranking within fixed match and evaluation budgets. We evaluate completedmodels model and harness configurations: Opus5.5 with Claude Code earns 6 gold medals, while no evaluated configuration tops the remaining 6 human ladders. Performance is generally weaker in games with more complex rule specifications. Further experiments show that opponent selection and dense feedback support policy improvement, and that agents learn from both on-policy replays of their own matches and off-policy replays of other players' matches. These results highlight HL's potential in adversarial games and identify persistent challenges in game understanding, strategy implementation, and long-horizon policy development.

한 줄 요약

AHL을 통해 AI 에이전트가 12개 게임에서 6개 랭킹 1위 달성, 1,920개 인간 프로그램과 비교.

핵심 기여도

Adversarial Heuristic Learning (AHL)을 정식화하여, 고정된 모델 가중치 하에서 실행 가능한 정책을 반복적으로 개선.
AAArena 벤치마크를 제시: 12개 실제 대결 게임, 1,920개 아카이브된 인간 프로그램, 2가지 예산(Bs=128, Bℓ=16) 기반 평가 프로토콜.
Opus5.5 + Claude Code 구성이 12개 게임 중 6개에서 1위 달성, 나머지 6개 게임은 복잡한 규칙로 인해 개선 실패.
상대 선택과 밀집 피드백, on-policy/off-policy 레플레이가 정책 개선에 기여함을 실험적으로 입증.

핵심 아이디어

AHL은 AI 에이전트가 대결 게임에서 경험을 기반으로 실행 가능한 정책과 소프트웨어를 반복적으로 수정하는 학습 패러다임이다. 기존 강화 학습과 달리 AHL은 모델 가중치를 고정하고, 정책 수정을 코드 수준에서 수행한다. 이는 인간 프로그래머처럼 규칙 해석, 상대 선택, 레플레이 분석, 정책 수정을 수행하는 과정을 시뮬레이션한다.

AHL의 핵심은 "실행 가능한 정책"이라는 개념이다. AI 에이전트는 실패 로그와 레플레이를 읽어내어, 정책 코드를 직접 수정함으로써 정책을 개선한다. 이는 기존의 경사도 기반 학습과는 다른, "코드 기반 정책 개선"이라는 새로운 접근법이다.

기술적 접근법

**AHL 패러다임**: AI 에이전트가 고정된 모델 가중치 하에서 실행 가능한 정책을 반복적으로 수정.
**AAArena 벤치마크**: 12개 실제 대결 게임, 1,920개 인간 프로그램, 2가지 예산 (Bs=128, Bℓ=16) 기반 평가.
**실험 구성**: 7개 모델-하버네스 구성 평가. Opus5.5 + Claude Code가 6개 게임에서 1위 달성.
**피드백 메커니즘**: 밀집 피드백과 on-policy, off-policy 레플레이를 사용.
**예산 관리**: Bs는 소규모 매치, Bℓ은 전체 풀 평가에 할당.

주요 결과

**AAArena**: 12개 게임, 1,920개 인간 프로그램 기반 평가.
**Opus5.5 + Claude Code**: 12개 게임 중 6개에서 1위 (Gold Medal), 나머지 6개는 개선 실패.
**복잡한 규칙**: 규칙이 복잡할수록 성능 저하.
**피드백 실험**: 밀집 피드백이 정책 개선에 기여 (Ablation Study).
**레플레이 학습**: on-policy와 off-policy 레플레이 모두 정책 개선에 기여.

의의 및 한계

AHL은 AI 에이전트가 코드 수준에서 정책을 수정하는 새로운 학습 패러다임으로, 기존 강화 학습과는 다른 접근법을 제시한다. AAArena는 대결 게임에서 AI 에이전트의 정책 개선 능력을 측정할 수 있는 체계적인 평가 프레임워크를 제공하며, 학술적으로는 휴리스틱 학습과 자기 진화 에이전트 연구의 기초가 될 수 있다.

하지만, 복잡한 규칙을 해석하고, 장기적 정책을 개발하는 데 어려움이 있으며, 인간 프로그램을 능가하는 데 한계가 있다. 또한, 레플레이 분석과 코드 수정 능력이 여전히 제한적이다.

실용적 활용

AHL은 게임 AI 개발, 자동화된 코드 리팩토링, 경쟁 환경에서의 전략적 정책 개선 등에 활용될 수 있다. AAArena는 AI 에이전트의 자기 진화 능력을 평가하는 표준 테스트베드로 산업 및 연구 분야에서 사용될 수 있다.