LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks

Large language model (LLM) agents increasingly undertake long-horizon tasks that require sustained reasoning, tool use, and revision across many interdependent steps. However, existing agent harnesses maintain task execution, task state, and completion assessment within a growing context, making the state difficult to track and allowing incorrect self-assessments to propagate into later decisions. We reformulate long-horizon execution as a task-state management problem and propose LongHorizon-Harness, which maintains the task state explicitly outside execution and updates it only with facts independently verified from the environment. Its Manage-Execute-Audit(MEA) loop uses a manager to maintain the task state and determine the next subtask, a fresh-context executor to perform it, and a read-only auditor to verify the resulting environment state before the next round. A lightweight AgentAdapter supports interchangeable model and harness backends without modifying their native agent loops. LongHorizon-Harness improves Qwen~3.7-Plus from 51.8% to 80.7% on WeaveBench, from 69.7% to 77.2% on Terminal-Bench~2.1, and from 2.8% to 8.3% on OSWorld~2.0. It also raises Claude Opus~4.7 from 20.0% to 34.3% on an OSWorld2.0 subset, demonstrating consistent gains across models, harnesses, and interaction domains.

한 줄 요약

LongHorizon-Harness는 MEA 루프를 통해 장기적 작업의 신뢰성을 향상시키는 새로운 에이전트 프레임워크이다.

핵심 기여도

장기적 작업 실행을 **task-state management 문제**로 재정의하고, 작업 상태를 실행 외부에 명시적으로 유지.
**Manage-Execute-Audit (MEA) 루프**를 도입하여 각 단계에서 독립적인 검증을 수행.
**Qwen 3.7-Plus** 기반에서 WeaveBench 정확도를 51.8% → 80.7%, OSWorld 2.0에서 2.8% → 8.3%로 향상.
**Claude Opus 4.7** 기반에서 OSWorld 2.0 서브셋 정확도를 20.0% → 34.3%로 향상.

핵심 아이디어

기존 에이전트는 작업 실행, 상태 추적, 완료 평가를 동일한 컨텍스트 내에서 수행하여 오류가 누적되고 상태 추적이 어려웠다. LongHorizon-Harness는 이러한 문제를 해결하기 위해 **작업 상태(task state)**를 명시적으로 관리하고, 실행과 분리하여 **독립적으로 검증된 사실**만으로 업데이트하는 방식을 제안한다. 이는 작업의 각 단계가 독립적으로 실행되고 검증되도록 하여 오류 확산을 방지한다.

핵심 아이디어는 **MEA 루프**에 있다.

**Manager**는 현재 작업 상태를 기반으로 다음 서브태스크를 정의.
**Executor**는 새로운 컨텍스트에서 해당 서브태스크를 수행.
**Auditor**는 환경 상태를 독립적으로 검증하여 작업 상태를 업데이트.

이러한 구조는 **context rot**과 **goal drift**를 줄이고, 작업의 신뢰성을 높인다.

기술적 접근법

**MEA 루프 (Manage-Execute-Audit)**:
Manager: 작업 상태를 유지하고 다음 서브태스크를 정의.
Executor: 새로운 컨텍스트에서 단일 서브태스크 수행.
Auditor: 환경 상태를 독립적으로 검증.
**AgentAdapter**: 기존 에이전트 루프를 수정하지 않고도 LongHorizon-Harness와 호환 가능하게 함.
**실행 환경**: WeaveBench, OSWorld 2.0, Terminal-Bench 2.1에서 평가.
**모델**: Qwen 3.7-Plus, Claude Opus 4.7, GPT, Hermes Agent 등 다양한 백엔드 지원.

주요 결과

**WeaveBench**: Qwen 3.7-Plus 기반에서 51.8% → 80.7% (베이스라인 대비 +28.9%).
**Terminal-Bench 2.1**: Qwen 3.7-Plus 기반에서 69.7% → 77.2% (베이스라인 대비 +7.5%).
**OSWorld 2.0**: Qwen 3.7-Plus 기반에서 2.8% → 8.3% (베이스라인 대비 +5.5%).
**OSWorld 2.0 서브셋**: Claude Opus 4.7 기반에서 20.0% → 34.3% (베이스라인 대비 +14.3%).

의의 및 한계

LongHorizon-Harness는 기존 에이전트의 **context rot**, **goal drift**, **task-state loss** 문제를 해결하며, 다양한 모델과 허네스에서 일관된 성능 향상을 보인다. 특히, **MEA 루프**를 통해 작업 상태를 명시적으로 관리하고, 독립적인 검증을 통해 오류 확산을 방지하는 점에서 학술적·실용적 의의가 있다.

하지만, **실행 비용 증가**가 발생할 수 있으며, **Auditor의 검증 능력**이 제한적일 경우 성능 향상이 제한될 수 있다. 또한, 일부 복잡한 작업에서는 **서브태스크 정의의 정확도**가 관건이 될 수 있다.

실용적 활용

LongHorizon-Harness는 **소프트웨어 개발**, **데스크탑 작업 자동화**, **복잡한 CLI 작업** 등 장기적 작업이 필요한 산업에서 활용 가능하다. 특히, **Codex CLI**, **Claude Code**, **OpenClaw** 등 다양한 허네스와 호환되며, **Qwen**, **Claude**, **GPT** 등 다양한 모델 백엔드를 지원하여 유연한 적용이 가능하다.