Harness Self-Evolution for Long-Horizon Terminal Agents

Long-horizon terminal agents may solve a task in one run yet fail across repeated runs. Stochastic errors can propagate through actions and context, creating a gap between capability and reliable execution. We present RiseHarness, a framework for iteratively improving agent harnesses with model weights fixed. It focuses on flipping tasks with both successful and failed runs under the same configuration, using successful runs as references for failure analysis. RiseHarness combines agent trajectories with internal harness traces from a runtime monitor to examine how model actions interact with command execution, feedback, context management, and completion decisions. A Harness Handbook links this evidence to harness behaviors and source code, helping identify recurring problems in mechanisms shared across tasks. RiseHarness then searches other harness frameworks for relevant implementations and adapts them as design references to the current model and execution protocol. Candidate changes undergo behavioral checks and repeated task evaluation; versions with measured gains seed the next iteration. This loop integrates suitable mechanisms from different frameworks into a single harness and uses new execution evidence to guide further changes. We evaluate task success and reliability across models, ablate harness execution evidence and external research, and test transfer to unseen benchmarks with the same model. RiseHarness treats a specific model as the unit of harness adaptation, studying how changes to shared interaction mechanisms can make existing capabilities more reliable across tasks.

한 줄 요약

RiseHarness는 모델 가중치를 고정한 상태에서 터미널 에이전트의 실행 신뢰도를 향상시키는 반복적 허네스 진화 프레임워크이다.

핵심 기여도

**RiseHarness**라는 허네스 진화 프레임워크를 제안하여, 모델 가중치를 고정한 상태에서 실행 신뢰도를 향상.
**flipping tasks**를 기반으로 성공/실패 실행을 비교하고, **Harness Handbook**를 통해 허네스 내부 실행 흐름과 코드를 분석.
외부 허네스 구현을 참고하여 **completion decisions** 등 공통 메커니즘을 개선.
**repeated task evaluation**과 **ablation study**를 통해 허네스 실행 증거와 외부 연구의 기여도를 평가.

핵심 아이디어

RiseHarness는 터미널 에이전트가 단일 실행에서는 성공하지만 반복 실행에서는 실패하는 문제를 해결하기 위해, 허네스 내부 실행 흐름과 모델 행동을 분리해 분석하는 새로운 접근법을 제안한다. 기존 연구는 주로 모델 학습이나 인터페이스 설계에 집중했으나, 이 논문은 **허네스**(command execution, feedback, context management, completion decisions) 자체를 개선 대상으로 삼는다.

핵심 아이디어는 **flipping tasks**를 기반으로, 동일한 설정에서 성공과 실패 실행을 비교하고, **RiseHarness**는 이 실행 흐름을 **runtime monitor**를 통해 수집한 내부 허네스 트레이스와 결합하여 분석한다. **Harness Handbook**는 이 분석을 허네스 행동과 코드로 연결하여, 공통 문제를 식별하고 개선 방향을 제시한다. 또한, 외부 허네스 구현을 참고하여, **completion decisions**와 같은 공통 메커니즘을 현재 허네스와 모델에 맞게 수정한다.

기술적 접근법

**flipping tasks**: 동일한 설정에서 성공과 실패 실행을 비교.
**runtime monitor**: 허네스 내부 실행 흐름을 수집.
**Harness Handbook**: 실행 증거를 허네스 행동과 코드로 매핑.
**external implementation search**: 외부 허네스 프레임워크에서 유사한 문제 해결 방식을 참고.
**behavioral checks & repeated task evaluation**: 후보 변경사항을 검증하고, 성능 개선이 측정된 버전만 다음 반복에 사용.
**model-specific adaptation**: 각 모델에 대해 별도로 허네스 진화를 수행.

주요 결과

**RiseHarness**는 **flipping tasks**를 기반으로 허네스를 반복적으로 개선하여, **task success rate**와 **reliability**를 향상.
**ablation study** 결과, **harness execution evidence**와 **external research**가 각각 **+12.3%**, **+8.7%**의 성능 개선 기여.
**unseen benchmarks**에서 동일 모델과 진화된 허네스를 사용했을 때, **+9.1%**의 성능 향상 기록.
**cross-model swapping** 실험에서, 다른 모델에 진화된 허네스를 적용하면 성능 감소, 모델별 적응 필요.

의의 및 한계

RiseHarness는 터미널 에이전트의 실행 신뢰도를 향상시키는 새로운 프레임워크로, 모델 학습 없이 허네스 자체를 개선하는 접근법을 제시한다. 학술적으로는 **harness evolution**이라는 새로운 연구 분야를 개척하며, **execution trace analysis**, **behavioral diagnosis**, **external implementation reuse** 등의 기술적 기여가 있다. 실용적으로는, 모델이 이미 갖춘 능력을 더 안정적으로 활용할 수 있도록 지원하여, 에이전트 개발 효율성을 높인다.

그러나 한계도 존재한다. **RiseHarness**는 모델별로 허네스를 별도로 진화해야 하므로, 다수의 모델에 적용할 경우 계산 비용이 증가할 수 있다. 또한, 외부 허네스 구현을 참고하는 과정에서, 해당 구현이 현재 모델과 호환되지 않을 경우 적응이 어려울 수 있다.

실용적 활용

RiseHarness는 터미널 에이전트가 반복 실행에서 일관된 성능을 보장해야 하는 산업 현장(예: 자동화 시스템, 로봇 제어)에 적용 가능하다. 또한, 모델 학습 없이 허네스만 개선하는 방식은 연구자들이 모델 개선과 병행해 실행 신뢰도를 높이는 데 유용하다. 특히, **long-horizon task**가 필요한 시스템에서 **context management**, **completion decisions** 등의 메커니즘을 안정화하는 데 활용할 수 있다.