Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading

AI agents have become capable of autonomously completing short, well-specified tasks. However, existing terminal benchmarks largely focus on simple problems that finish within minutes and are evaluated only by their final outcome. This setup overlooks intermediate progress and partial solutions, yielding sparse reward signals and an incomplete picture of agent capability. We introduce Long-Horizon-Terminal-Bench, a terminal benchmark of 46 long-horizon tasks spanning nine categories, including experiment reproduction, software engineering, multimodal analysis, interactive games, and scientific computing. Each task follows a Terminal-Bench-style setup with a reference solution or simulation engine, but is further decomposed into fine-grained graded subtasks. This design enables dense intermediate rewards and partial credit, allowing evaluation to capture not only whether an agent reaches the final goal, but also how far it progresses on open-ended workflows. Tasks in Long-Horizon-Terminal-Bench typically require hundreds of episodes and minutes to hours of execution, stressing long-horizon planning, long-context management, and iterative debugging rather than one-shot problem solving. We evaluate 15 frontier models and find that agents consume on average 9.9M tokens per task, with roughly 231 episodes and 85.3 minutes of execution time per run, making Long-Horizon-Terminal-Bench more demanding than prior terminal-based benchmarks. Even the strongest tested model achieves 15.2% pass@1 at a partial-reward threshold of 0.95 and 10.9% at a perfect-reward threshold of 1.0, while the mean pass rate across models is 4.3% and 1.7% under the two thresholds, respectively. These results reveal headroom for improvement. We further analyze failure modes and error patterns, and release Long-Horizon-Terminal-Bench to support future progress on long-horizon terminal agents.

한 줄 요약

Long-Horizon-Terminal-Bench는 46개의 장기적 터미널 작업을 포함한 새로운 벤치마크로, 기존보다 훨씬 높은 수준의 계획과 실행 능력을 평가한다.

핵심 기여도

46개의 장기적 터미널 작업을 포함한 새로운 벤치마크(Long-Horizon-Terminal-Bench) 제안.
각 작업은 9개 범주(예: 소프트웨어 엔지니어링, 과학 계산 등)에 걸쳐 세부 점수를 주는 graded subtask로 구성.
평균 231 에피소드, 9.9M 토큰, 85.3분 실행 시간으로 기존 터미널 벤치마크보다 훨씬 높은 요구 사항.
GPT-5.5 모델이 0.95 reward threshold에서 15.2% 성공률을 기록, 평균 모델 성공률은 4.3%로 나타남.

핵심 아이디어

기존 터미널 벤치마크는 대부분 단기적이고 단일 결과에만 집중하여, 중간 진행 상황과 부분적 해결을 간과했다. 이는 희박한 보상 신호를 유발하고, 에이전트의 능력을 왜곡하게 된다. Long-Horizon-Terminal-Bench는 이 문제를 해결하기 위해, 각 작업을 여러 graded subtask로 분해하고, 중간 진행 상황에 따라 부분 점수를 부여하는 방식을 도입했다. 이는 에이전트가 단순히 최종 목표에 도달하는 것뿐만 아니라, 장기적 흐름에서 얼마나 멀리 진전되었는지도 평가할 수 있게 한다. 특히, 이 연구는 터미널 환경에서 실행되는 작업을 기반으로 하며, 실제 작업 흐름과 유사한 조건을 재현한다.

기술적 접근법

**Long-Horizon-Terminal-Bench**는 46개의 터미널 작업으로 구성되며, 각 작업은 **graded subtask**로 분해되어 중간 점수를 부여.
**Reference solution** 또는 **simulation engine**을 사용하여 작업의 정답을 정의.
**Dense intermediate reward** 시스템을 도입하여, 부분적 진행에도 점수를 부여.
평가 환경은 **containerized terminal environment**로, 실제 터미널 명령어 실행과 파일 조작을 시뮬레이션.
평가 모델은 **terminus-2** 에이전트를 공유하며, 15개의 최첨단 모델을 평가.
평균적으로 **231 에피소드**, **9.9M 토큰**, **85.3분**의 실행 시간이 소요됨.

주요 결과

**GPT-5.5** 모델이 **0.95 reward threshold**에서 **15.2% pass@1**, **1.0 reward threshold**에서 **10.9%** 성공률 기록.
**모든 모델 평균 pass@1**은 **0.95 threshold에서 4.3%**, **1.0 threshold에서 1.7%**로 나타남.
**Long-Horizon-Terminal-Bench**는 기존 **Terminal-Bench 2** 대비 **10배 이상 높은 실행 시간**과 **에피소드 수**를 요구.
**실행 시간 평균**: **85.3분**, **토큰 소비 평균**: **9.9M**, **에피소드 수 평균**: **231**.

의의 및 한계

Long-Horizon-Terminal-Bench는 기존 터미널 벤치마크가 간과한 **장기적 실행 능력**과 **중간 진행 평가**를 강조하며, AI 에이전트의 진정한 성능을 측정하는 새로운 기준을 제시한다. 특히, **graded subtask**와 **dense reward** 시스템은 에이전트의 **계획 능력**, **장기 기억 관리**, **반복 디버깅**을 평가하는 데 유용하다. 그러나, 현재 모델들은 **15.2%** 이하의 성공률을 기록하며, **장기적 실행**과 **정확한 종료 판단**에 여전히 한계가 있다. 또한, 일부 작업은 **API 비용**이 **$10.5**에 달하며, 연구자들에게 높은 자원 요구를 강요한다.

실용적 활용

Long-Horizon-Terminal-Bench는 **소프트웨어 엔지니어링**, **실험 재현**, **과학 계산**, **멀티모달 분석** 등에서 AI 에이전트의 **장기적 실행 능력**을 평가하는 데 유용하다. 특히, **복잡한 터미널 작업**을 자동화하거나, **자동 디버깅**, **자동 테스트** 시스템 개발에 활용 가능하다.