Scaling Agentic Data for Long-Horizon Terminal Intelligence

Terminal agents are moving beyond local operations toward completing real-world professional tasks. Short trajectories can demonstrate commands and tool calls, but they do not fully show how agents accumulate evidence through exploration, use it to inform judgments, continually adjust strategies based on feedback, and turn intermediate results into final deliverables. High-quality long-horizon trajectories capture these agentic behavioral patterns and their connections within a single problem-solving process, providing richer experience for sustained autonomous work. However, environment synthesis may complete or simplify the key work underlying these patterns in advance and thus remove the need for exploration, implementation, and verification that the agent was meant to perform. To address this, we introduce TerminalHorizon, a fully automated data synthesis engine for long-horizon terminal agents. Starting from real-world professional work, it uses independent execution to identify key work omitted during construction and uses the resulting evidence to guide environment reconstruction. To extend these patterns across stages, it progressively expands tasks under the same goal, introducing new requirements that build on prior results and call for further exploration and improvement. Using this engine, we construct 1.5K task environments and perform supervised fine-tuning of Qwen3.5-27B on the resulting dataset to obtain TerminalHorizon-27B. We achieve substantial performance gains on all 12 benchmarks spanning coding-agent tasks, agentic tasks in real-world production settings, and general reasoning. Multiple RSI case studies, each with a 12-hour research budget, further demonstrate the model's ability to continue experimenting beyond an initial solution, improve its methods based on feedback, and retain effective improvements in its final deliverables.

한 줄 요약

TerminalHorizon-27B는 1.5K 환경에서 생성된 2.85K 트래젝토리로 학습하여 12개 벤치마크에서 13.85% 이상 성능 향상.

핵심 기여도

TerminalHorizon: 독립 실행을 기반으로 환경 재구성과 단계적 확장을 결합한 자동 데이터 생성 엔진.
TerminalHorizon-3K 데이터셋: 1,535개 환경, 2,852개 트래젝토리, 평균 52.8개 인터랙션 턴.
Qwen3.5-27B 학습 후 TerminalHorizon-27B 모델로, Terminal-Bench 2.1에서 13.85% 성능 향상.
12시간 RSI 케이스 스터디에서 초기 솔루션 이후 지속 실험 및 피드백 기반 개선 보여.

핵심 아이디어

기존 단기 트래젝토리는 탐색, 판단, 전략 조정, 최종 결과 도출 과정을 제대로 반영하지 못한다. TerminalHorizon은 **Challenge-Guided Long-Horizon Synthesis**와 **Progressive Horizon Expansion**이라는 두 단계를 통해, 실제 전문 작업에서 유도된 트래젝토리가 **agentic behavioral patterns**을 포함하도록 보장한다. 독립 실행을 통해 환경 구축 시 누락된 핵심 작업을 식별하고, 이를 기반으로 환경을 재구성함으로써 에이전트가 탐색과 검증을 수행하도록 유도한다. 단계적 확장은 동일 목표 하에 새로운 요구사항을 추가하여, 이전 결과에 기반한 추가 탐색과 개선을 유도한다. 이는 단순히 작업 길이를 늘리는 것이 아니라, **정보 탐색, 진단 및 오류 수정, 작업 진행, 검증, 전략 조정** 등 다단계 행동 패턴을 학습하도록 유도하는 핵심이다.

기술적 접근법

**TerminalHorizon 엔진**:
**Challenge-Guided Long-Horizon Synthesis**: 실제 전문 작업을 기반으로 환경 생성. 독립 실행을 통해 누락된 핵심 작업 식별 및 환경 재구성.
**Progressive Horizon Expansion**: 동일 목표 하에 새로운 요구사항 추가. 이전 결과와 피드백에 기반한 추가 작업을 통해 패턴 확장.
**데이터셋 생성**:
1,535개 환경 생성, 2,852개 트래젝토리 수집.
DeepSeek-V4-Pro-0813 교사 모델, Terminus2 실행 환경 사용.
**모델 학습**:
Qwen3.5-27B에 2,852개 트래젝토리로 **Supervised Fine-tuning** 수행.
TerminalHorizon-27B 모델 생성.

주요 결과

**Terminal-Bench 2.0**: +14.2% 성능 향상.
**Terminal-Bench 2.1**: +13.85% 성능 향상.
**AutomationBench**: Pass Rate +11.7%, Partial Score +23.3%.
**VitaBench**: +11.3% 성능 향상.
**RSI 케이스 스터디**: 12시간 예산 내 지속 실험, 피드백 기반 개선, 최종 결과 반영.
**트래젝토리 길이**: 평균 52.8 인터랙션 턴, 90퍼센타일 98 턴.

의의 및 한계

TerminalHorizon는 단순히 작업 길이를 늘리는 것이 아니라, **agentic behavioral patterns**을 포함한 지속적인 문제 해결 경험을 제공함으로써 에이전트의 자율성을 향상시킨다. 특히, 27개 행동 패턴이 평균 8.6개씩 포함되어 있어, 탐색, 오류 수정, 검증, 전략 조정 등 복합적 작업을 학습할 수 있다. 또한, 25개 전문 분야를 아우르는 **다양한 도메인 커버리지**를 통해 실제 업무 환경에 가까운 학습이 가능하다. 그러나, 생성된 데이터는 여전히 **인공적인 환경**에서 만들어진 것이므로, 실제 현장에서의 복잡성과 불확실성을 완전히 반영하지 못할 수 있다. 또한, **데이터셋 크기**가 3,000개 수준이므로, 더 많은 데이터를 통해 성능 향상 여부를 평가하는 추가 연구가 필요하다.

실용적 활용

TerminalHorizon-27B는 **소프트웨어 개발, 시스템 관리, 과학 컴퓨팅** 등에서 복잡한 단계적 작업이 필요한 상황에 적용 가능하다. 특히, **자동화된 시스템 운영, 연구 개발 프로세스, 프로덕션 환경에서의 에이전트 기반 작업**에서 지속적인 피드백 기반 개선과 최종 결과 도출이 필요한 경우 유용하다. 또한, **교육 및 훈련 시스템**에서 에이전트가 실제 작업 환경을 시뮬레이션하며 학습하는 데 활용될 수 있다.