Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards

Long-horizon agents have drawn growing attention for their ability to work autonomously -- from hours to days -- on economically valuable tasks, a capability essential to automated discovery and recursive self-improvement (RSI). Yet open-source models still struggle on long-horizon tasks, largely for lack of both training data and a working recipe, and scaling both is hard: long, complex tasks are difficult to curate and verify, and their rewards are sparse. We address both. First, we introduce Tev-Gym, the first long-horizon agent training dataset with verifiable, dense, progressive rewards -- 1,170 verified task environments across 7 domains. It is built on a latent-world-first approach that first constructs a latent world: a complete and correct hidden specification of the task domain, workflow, and expected state after each step. Each task is then progressively rendered from this specification into an agent-facing environment, enabling controllable complexity and a natural progress metric. Second, we turn this metric into a training recipe: via progress-potential reward shaping (PPRS), we convert progress into a dense per-step reward that improves training efficiency and makes otherwise-intractable tasks trainable. Training with this recipe yields Tev-27B, which achieves substantial gains on the Agents' Last Exam computing and math sciences domains (ALE-CM), matching GPT-6 Astra and Claude Opus 5 at Pass@5. Despite training only on ALE-related data, it generalizes to the Terminal-Bench (TB) 3.0 and 4.0 subsets, surpassing GLM 5.2 and Gemini 3.7 Flash, and reaches Claude Opus 4.8-level performance on middle-horizon tasks such as TB 2.1.

한 줄 요약

Tev-27B는 Tev-Gym과 PPRS를 통해 ALE-CM에서 Claude Opus 5 수준의 성능을 달성한 270억 파라미터 에이전트 모델이다.

핵심 기여도

**Tev-Gym**: 7개 도메인에 걸쳐 1,170개의 검증된 장기 에이전트 환경을 포함한 최초의 장기 환경 데이터셋.
**latent-world-first 합성 접근법**: 각 작업은 정확한 latent world에서 생성되어, 정확한 중간 상태와 자연스러운 진행 지표를 제공.
**PPRS (progress-potential reward shaping)**: 진행 상태를 기반으로 한 밀집된 단계별 보상으로, 훈련 효율성을 향상.
**Tev-27B**: ALE-CM에서 Pass@5 0.28 달성, Claude Opus 5와 동등한 수준.

핵심 아이디어

기존 에이전트 훈련 데이터셋은 대부분 짧은 시간에 완료되는 작업에 집중하며, 장기 작업에서는 보상이 희소해 훈련이 어려운 문제를 해결하기 위해, 저자들은 **latent-world-first** 접근법을 제안한다. 이는 작업 도메인, 워크플로우, 각 단계의 예상 상태를 포함한 **latent world**를 먼저 정의한 후, 이를 기반으로 에이전트가 상호작용할 환경을 생성하는 방식이다. 이로 인해 정확한 중간 상태를 유지하면서 **진행 지표(progress metric)**를 자연스럽게 도출할 수 있다.

이 지표는 **progress-potential reward shaping (PPRS)** 알고리즘에 의해 밀집된 단계별 보상으로 변환된다. PPRS는 각 단계의 상태 $ s_t $를 기준으로 $ \Phi(s_t) \in [0,1] $의 진행 가능도를 계산하고, 이를 보상으로 사용하여 훈련 효율성을 높인다. 이는 기존의 단말 보상만을 사용하는 방법과 달리, 초기 단계부터 유의미한 훈련 신호를 제공한다.

기술적 접근법

**Tev-Gym**: 7개 도메인(소프트웨어 공학, 데이터 엔지니어링, AI/CS 연구 등)에 걸쳐 1,170개의 장기 작업 환경 포함.
**latent-world-first 합성**: 작업은 DAG(유한 비순환 그래프)로 표현된 latent world에서 생성되며, 정확한 중간 상태를 유지.
**PPRS**: $ \Phi(s_t) $를 계산하여 단계별 보상으로 사용. $ \gamma = 1 $로 설정하여 이전 행동의 기여도를 유지.
**Tev-27B**: PPRS를 사용해 Tev-Gym 전체 데이터셋으로 훈련된 270억 파라미터 모델.
**하이퍼파라미터**: $ \gamma = 1 $, 단계별 정규화, 턴 인덱스 기반 advantage 정규화.

주요 결과

**ALE-CM**: Tev-27B는 Qwen3.8-27B 대비 Pass@5 65% 개선, 0.28 달성 (GPT-6 Astra, Claude Opus 5와 동등).
**TB 3.0**: Pass@1 56% 개선 (GLM 5.2, Gemini 3.7 Flash 초과).
**TB 4.0**: Pass@1 150% 개선 (GLM 5.2, Gemini 3.7 Flash 초과).
**TB 2.1**: Tev-27B는 Claude Opus 4.8 수준의 Pass@1 0.794 달성.
**Tev-320B**: GLM-5.3-Flash 기반으로 훈련된 3200억 파라미터 모델. TB 3.0, 4.0에서 각각 35%, 28% 개선.

의의 및 한계

Tev-Gym은 장기 작업 환경의 생성과 검증을 자동화하여, 기존에 인간의 수작업에 의존했던 작업을 확장할 수 있는 기반을 제공한다. PPRS는 희소 보상 문제를 해결하고, 훈련 효율성을 높여 장기 작업 학습이 가능하게 한다. 특히, Tev-27B는 ALE-CM에서 Claude Opus 5 수준의 성능을 달성하며, 오픈소스 모델의 경쟁력을 높이는 데 기여한다.

하지만, 현재 연구는 **합성 단말 환경**에만 초점을 맞추고 있으며, 가장 어려운 벤치마크에서는 여전히 최첨단 에이전트와 격차가 존재한다. 또한, 새로운 워크플로우를 지원하기 위해서는 추가적인 환경 구성 요소의 작성과 검증이 필요하다는 한계가 있다.

실용적 활용

Tev-Gym과 PPRS는 자동화된 연구, 소프트웨어 개발, 보안 분석 등 장기 작업이 필요한 산업에 적용 가능하다. 특히, **자동화된 시스템 개선**(RSI) 및 **코드 기반 에이전트 훈련**에 유용하며, 오픈소스 모델의 성능 향상과 재현 가능성을 높이는 데 기여할 수 있다.