LoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering

Loop Engineering is emerging as a practice for organizing development work around coding agents. Instead of writing each prompt by hand, practitioners design loops that monitor progress, assign work, run checks, and decide what the agent should do next. Even with a capable coding agent, a loop may trust a stale progress note, skip needed verification, spend its budget in the wrong direction, or stop before the task is safe to submit. Yet the final outcome of one end-to-end run cannot tell whether success or failure reflects the loop's guidance or the coding agent's ability to carry out the task. We introduce LoopArena, a benchmark for evaluating how well one model can guide a separate coding agent through a long-running task. The model under evaluation is the Controller: after each coding round, it receives a structured summary of the run and instructs a separate, fixed coding agent, the Worker, on what to do or verify next, or decides whether to stop. LoopArena evaluates this ability in three complementary settings that differ in execution scope and cost. Type I scores next-step Loop Contract selection through execution-validated questions without running the Worker at evaluation time. Type II executes repeated control over a selected slice of a full task, while Type III evaluates the paired full task from its original state. On full tasks, the best observed Strict Success Rate is 24.69\%, leaving substantial room for improvement in long-horizon loop control. Across Controllers, the paired reduction in estimated inference cost averages 64.4\%, and Type II produces a similar ordering under the main Core criterion (Spearman's \(ρ=0.9747\)). We release the benchmark data and evaluation code at https://github.com/AMAP-ML/LoopArena .

한 줄 요약

LoopArena는 코드 작성 에이전트를 장기 과제에서 효과적으로 제어하는 모델의 능력을 평가하는 벤치마크이다.

핵심 기여도

LoopArena는 Controller 모델이 Worker 에이전트를 지속적으로 지도하는 능력을 평가하는 새로운 벤치마크 프레임워크를 제시.
Controller와 Worker를 분리하여, 모델의 런타임 제어 능력을 독립적으로 평가 가능하게 함.
Type I, II, III 세 가지 평가 설정을 통해 실행 범위와 비용에 따라 유연한 평가 가능.
Type III에서 최고 24.69%의 Strict Success Rate를 기록하며, 장기적 루프 제어의 개선 여지가 있음을 보여줌.

핵심 아이디어

Loop Engineering은 개발자가 코드 작성 에이전트와 상호작용하는 방식을 바꾸는 접근법이다. 개발자는 더 이상 매번 프롬프트를 작성하지 않고, 목표와 진행 기준을 정의한 후 루프가 상호작용 라운드를 관리하도록 위임한다. LoopArena는 이 루프를 제어하는 모델(Controller)의 능력을 평가하는 데 초점을 맞춘다. Controller는 Worker 에이전트가 작업을 수행한 후, Evidence Packet이라는 구조화된 요약 정보를 기반으로 다음 작업을 지시하거나 작업을 종료하는 Loop Contract를 생성한다. 이는 모델이 런타임에 유연하게 대응하는 능력을 평가하는 핵심 메커즘이다.

기술적 접근법

**Controller**: 평가 대상 모델로, Worker의 작업 결과를 요약한 Evidence Packet을 입력으로 받아 Loop Contract를 생성.
**Worker**: 고정된 코드 작성 에이전트로, Controller의 지시에 따라 작업을 수행.
**Reporter**: Worker의 대화 기록과 작업 공간을 기반으로 Evidence Packet을 생성하는 임시 에이전트.
**Loop Contract**: Controller가 Worker에게 다음 작업을 지시하거나 작업을 종료하는 구조화된 지시문.
**Type I**: 실행 비용을 벤치마크 생성 단계로 이전, 4가지 선택지 중 하나를 선택하는 방식으로 평가.
**Type II**: 선택된 작업 조각에서 반복적 제어를 평가.
**Type III**: 전체 작업에서 Controller의 런타임 제어 능력을 평가.
**Spearman’s ρ = 0.9747**: Type II와 Type III의 평가 순위가 유사함을 보여주는 통계적 지표.

주요 결과

**Type III**: 최고 24.69%의 Strict Success Rate를 기록.
**Type II**: 평균적으로 Controller 모델의 추정 추론 비용을 64.4% 절감.
**Spearman’s ρ = 0.9747**: Type II와 Type III의 평가 순위가 유사함을 보여주는 높은 상관관계.
**no-control baseline**: 고정된 목표를 반복하는 정책은 Type III에서 성능 개선 없음.

의의 및 한계

LoopArena는 코드 작성 에이전트를 둘러싼 루프를 제어하는 모델의 능력을 직접 평가할 수 있는 첫 번째 벤치마크로, Loop Engineering의 학술적 발전을 촉진할 수 있다. 특히, Controller와 Worker를 분리함으로써 모델의 제어 능력을 독립적으로 평가할 수 있는 장점이 있다. 그러나 Type III에서의 최고 성능(24.69%)은 여전히 낮아, 장기적 루프 제어에 대한 연구 필요성이 있다. 또한, 현재는 고정된 Worker를 사용하므로, 다양한 Worker와의 호환성은 향후 연구 주제로 남는다.

실용적 활용

LoopArena는 코드 작성 에이전트를 장기 과제에서 효과적으로 제어하는 모델을 개발하고 평가하는 데 활용될 수 있다. 소프트웨어 개발, 자동화 테스트, 복잡한 시스템 유지보수 등에서 모델 기반 루프 제어 시스템의 성능을 검증하는 데 유용하다.