AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces

LLM agents remain unreliable on long-horizon tasks, where small local failures can compound over extended interactions and lead to overall task failure. Although external harnesses can substantially improve robustness, harness design remains a manual and expensive process that requires searching over a large space of prompts, tool configurations, and control logic. We propose AutoSaddler, an automatic harness optimization framework that formulates harness improvement as an offline learning problem and iteratively updates the harness using failure signals from mini-batches. AutoSaddler combines failure-trace diagnosis, structured patch generation that treats the harness as code, and validation-based update selection. Experiments on GAIA2, SWE-Bench Pro, and Terminal-Bench 2.0 show that AutoSaddler substantially improves agent performance over the corresponding base harnesses, achieving gains of 9.0, 9.6, and 10.0 percentage points, respectively. Ablation studies further suggest that effective harness optimization benefits from three ingredients: deep debugging rather than shallow reflection, targeted modifications rather than unconstrained editing, and generalization-aware selection rather than trajectory-specific repair. Together, these results suggest that automatic harness optimization is a promising path toward more performant and reliable agent systems.

한 줄 요약

AutoSaddler는 LLM 에이전트의 장기적 작업 성능을 자동 개선하는 하네스 최적화 프레임워크로, 실패 트레이스를 기반으로 지속적인 업데이트를 수행한다.

핵심 기여도

AutoSaddler는 하네스 최적화를 오프라인 학습 문제로 정식화하여 GAIA2, SWE-Bench Pro, Terminal-Bench 2.0에서 각각 9.0, 9.6, 10.0% 포인트 개선을 달성함.
실패 트레이스 진단, 구조화된 패치 생성, 검증 기반 업데이트 선택을 결합한 새로운 프레임워크 제안.
실험에서 기존 자동화된 베이스라인 대비 7.4, 4.4, 6.7% 포인트 우수한 성능 보임.
실패 진단, 구조화된 개입, 일반화 선택이라는 세 가지 핵심 요소를 통해 지속 가능한 하네스 업데이트를 가능하게 함.

핵심 아이디어

AutoSaddler는 LLM 에이전트의 장기적 작업에서 발생하는 실패를 자동으로 진단하고, 이를 바탕으로 하네스를 지속적으로 업데이트하는 프레임워크이다. 기존 연구는 주로 수동으로 하네스를 설계하거나 단일 실패 트레이스에 기반한 수정을 제안했으나, AutoSaddler는 실패 트레이스를 기반으로 **in-depth diagnosis**를 수행하고, **structured patch generation**을 통해 하네스를 코드처럼 다루며, **generalization-aware selection**을 통해 일반화 가능한 업데이트를 선택한다. 이는 단순히 특정 트레이스를 고치는 것이 아니라, 전체 작업 분포에서 유용한 하네스를 생성하는 데 기여한다.

기술적 접근법

**Failure-trace diagnosis**: 실패한 작업 트레이스를 분석하여 문제 원인을 식별.
**Structured patch generation**: 하네스를 코드로 간주하고, 구조화된 방식으로 수정.
**Validation-based update selection**: 검증 세트를 사용해 일반화 성능을 평가하며, EvoDAG 기반 진화 알고리즘을 활용.
**Offline learning**: 실패 신호를 기반으로 하네스를 미니배치 단위로 반복적으로 업데이트.
하이퍼파라미터는 명시되지 않음.

주요 결과

GAIA2에서 9.0% 포인트, SWE-Bench Pro에서 9.6% 포인트, Terminal-Bench 2.0에서 10.0% 포인트 개선.
기존 자동화된 베이스라인 대비 각각 7.4, 4.4, 6.7% 포인트 우수한 성능.
실험에서 **deep debugging**, **targeted modifications**, **generalization-aware selection**이 핵심 성공 요인으로 확인됨.

의의 및 한계

AutoSaddler는 LLM 에이전트의 장기적 작업에서 하네스 설계의 수동성과 비용 문제를 해결할 수 있는 자동화된 접근법을 제시한다. 특히, 실패 트레이스를 기반으로 하네스를 지속적으로 개선함으로써, 단일 작업에 국한되지 않고 전체 작업 분포에 걸쳐 일반화된 성능 향상을 달성할 수 있다. 그러나 현재는 특정 작업 벤치마크에만 적용되었으며, 다양한 도메인에서의 확장성은 추가 연구가 필요하다. 또한, 하이퍼파라미터나 알고리즘 세부 사항은 명시되지 않아 재현성 측면에서 한계가 있을 수 있다.

실용적 활용

AutoSaddler는 자율 에이전트가 필요한 산업 분야, 예를 들어 로봇 제어, 자동화된 고객 지원 시스템, 복잡한 시뮬레이션 환경에서 유용하게 활용될 수 있다. 특히, LLM 기반 에이전트의 신뢰성과 장기적 성능을 향상시키는 데 기여할 수 있으며, 개발자들이 수동으로 하네스를 설계하는 시간과 비용을 줄이는 데 도움이 될 수 있다.