T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks

Agent usage is shifting toward long-horizon tasks such as coding and scientific discovery, among which terminal tasks are especially important. We introduce T1, a Mixture-of-Experts model of 122B total trained with reinforcement learning, operating a real shell in a cloud sandbox for up to 300+ tool-call turns per task, rewarded by executing each task's own verifier. We provide a comprehensive recipe: First, an aggressively warm-started to stabilize actor-critic training, with a dense process reward scoring trajectories by the absolute number of passing verifiers. Second, stable optimization through TITO construction, training on the exact sampled token identifiers with drift repair at turn boundaries, and rollout routing replay, recording the sampler's per-token expert choices at every MoE layer and replaying them during training. Third, fully out-of-distribution training corpus: isolated seeds and synthesized tasks disjoint from Terminal-Bench 2.1 ensures gains reflect genuine capability transfer over benchmark overfitting. Together, TITO and R3 cut the training-to-inference log-probability difference from 0.021 to 0.013, with exactly aligned zero token drift in the loss region. On Terminal-Bench 2.1, our post-train pipeline raises initial base model from 43.8% to T1 with 64.0% resolved. On Long-Horizon Terminal Bench, T1 reaches 27.9% and surpasses GPT-5.4 and GLM-5.1.

한 줄 요약

T1은 122B Mixture-of-Experts 모델로, 300+ 툴 호출을 처리하며 강화 학습을 통해 터미널 작업 성능을 64.0%까지 향상시킨다.

핵심 기여도

TITO와 R3를 통해 훈련-추론 로그 확률 차이를 0.021 → 0.013로 감소.
Terminal-Bench 2.1에서 기초 모델 43.8% → T1 64.0%로 28.5% 상승.
Long-Horizon Terminal Bench에서 T1 27.9%로 GPT-5.4, GLM-5.1을 초과.
완전히 out-of-distribution 학습 코퍼스를 사용해 벤치마크 과적합 방지.

핵심 아이디어

T1은 터미널 환경에서 장기적 작업을 처리하기 위해 강화 학습을 기반으로 설계된 Mixture-of-Experts 모델이다. 기존의 단일 턴 기반 텍스트 생성에서 벗어나, 터미널 내에서 지속적인 상태 변화와 검증을 요구하는 작업을 수행해야 한다는 점에서 차별화된다. 특히, Linux 터미널은 추상적 계획을 실행 가능한 결과로 전환하는 데 있어 가장 엄격한 환경으로, 이에 따라 T1은 실행 결과 기반의 강화 학습을 핵심으로 삼는다.

T1의 핵심 통찰은 훈련-추론 일관성을 보장하는 TITO와 R3 알고리즘을 통해 모델의 안정적 최적화를 달성한 점이다. 이는 토큰 수준과 전문가 수준에서의 드리프트를 제거함으로써, 실제 실행 환경에서의 성능을 극대화한다.

기술적 접근법

**모델 구조**: 122B 파라미터의 Mixture-of-Experts (MoE) 모델로, 층당 256개의 전문가 중 8개가 토큰당 활성화됨.
**강화 학습**: TITO (Token Identifier Training Optimization)와 R3 (Rollout Routing Replay)를 통해 훈련-추론 일관성을 보장.
**보상 설계**: 각 작업의 검증기 실행 결과를 기반으로, 통과한 검증 수를 기준으로 **dense process reward**를 부여.
**학습 데이터**: Terminal-Bench 2.1과 분리된 **isolated seeds**와 **synthesized tasks**로 구성된 out-of-distribution 학습 코퍼스 사용.
**하이퍼파라미터**: Actor 학습률 대비 30배 높은 학습률로 **warm-started critic**을 사용.

주요 결과

**Terminal-Bench 2.1**: T1은 64.0%의 정확도를 달성, 기초 모델 43.8% 대비 28.5% 상승.
**Long-Horizon Terminal Bench**: T1 27.9%로 GPT-5.4 (54.8%)와 GLM-5.1 (56.9%)을 초과.
**특정 작업**: 디버깅 100.0%, 시스템 관리 88.9%로, 일반 모델보다 높은 성능.
**훈련-추론 일관성**: TITO와 R3로 로그 확률 차이 0.021 → 0.013, 토큰 드리프트 0% 달성.

의의 및 한계

T1은 터미널 환경에서 장기적 작업을 수행하는 대형 언어 모델의 새로운 기준을 제시한다. 특히, 실행 결과 기반의 강화 학습을 통해 실제 시스템에서의 신뢰성을 확보하는 데 기여하며, 훈련-추론 일관성 문제를 해결한 점이 학술적·실용적 가치를 높인다.

그러나, T1은 여전히 Claude Opus 4.7 (66.1%)보다 낮은 성능을 보이며, 최고 수준의 모델과의 격차는 남아 있다. 또한, 학습 데이터가 Terminal-Bench와 완전히 분리되어 있어 과적합 방지는 되지만, 실제 환경과의 유사성은 명시되지 않아 한계로 작용할 수 있다.

실용적 활용

T1은 소프트웨어 개발, 시스템 관리, 자동 디버깅 등 터미널 기반 작업이 필요한 산업에서 활용 가능하다. 특히, 복잡한 작업을 자동화하거나, 개발자 보조 도구로 사용할 수 있으며, 클라우드 환경에서의 자율적 작업 수행에도 적합하다.