Environment Evolution for Terminal Agents

Scaling interactive and verifiable environments is critical for training terminal agents. As frontier models become more capable, environments synthesized from scratch become less challenging and thus provide limited learning signals. Recent co-evolution methods iteratively synthesize environments near the model's learnable frontier based on weaknesses exposed during rollouts. However, their dependence on on-policy rollouts limits generalization and the continuous provision of learning signals as the model becomes stronger. In this paper, we propose environment evolution, which incrementally increases environment difficulty off-policy and schedules the evolved environments generation by generation during training to provide continuous learning signals. We derive three evolution directions that influence environment difficulty from the multi-turn learning objective and then implement evolution along these directions through a loop-engineered multi-agent harness. Quantitative rollout experiments with Hy4 preview, Claude Opus 5, and GPT-5.6 Sol show that environment evolution consistently produces more difficult environments. We validate its effectiveness on Qwen3.6-27B and Qwen3.6-35B-A3B through simple long-horizon RL training, improving their performance by 14.4 and 18.0 percentage points on Terminal-Bench 2.1, respectively.

한 줄 요약

환경 진화(Environment Evolution)를 통해 RL 학습 시 지속적인 학습 신호를 제공하고, Terminal-Bench 2.1 성능을 최대 18.0% 개선한다.

핵심 기여도

환경 난이도를 모델 독립적으로 정의한 off-policy 수식을 유도함.
loop-engineered multi-agent harness를 구현하여 기존 환경을 점진적으로 진화시킴.
Qwen3.6-27B와 Qwen3.6-35B-A3B에서 14.4%와 18.0% 성능 향상을 실험적으로 검증함.
Hy4 preview, Claude Opus 5, GPT-5.6 Sol을 사용한 rollout 실험에서 off-policy 환경이 더 어려운 것으로 나타남.

핵심 아이디어

기존의 co-evolution 방법은 on-policy rollout에 의존하여 환경 생성이 모델의 학습 능력에 제한되었으나, 본 연구는 off-policy 방식으로 환경 난이도를 점진적으로 증가시키는 환경 진화를 제안한다. 이는 환경 자체의 난이도를 모델에 독립적으로 정의함으로써, 학습 초기부터 지속적으로 어려운 환경을 제공한다.

환경 난이도는 multi-turn learning objective에서 유도되며, 세 가지 요소—scenario novelty, skill rarity, execution length—로 정의된다. 이 세 요소는 각각 고유한 상황, 드문 기술 적용, 그리고 실행 길이에 따라 환경의 난이도를 결정한다. loop-engineered multi-agent harness는 이 세 방향 중 하나를 선택하여 기존 환경을 점진적으로 수정함으로써 난이도를 증가시키며, 다양한 변형을 유지한다.

기술적 접근법

**Off-policy 환경 난이도 수식**:

$$
d_{\mathcal{T}}(z_t \mid g) = -\log p_{\mathcal{T}}(\sigma_{t-1} \mid g) - \log p_{\mathcal{T}}(\kappa_t \mid \sigma_{t-1}, g)
$$
이 수식은 모델에 독립적인 환경 난이도를 정의하며, scenario novelty와 skill rarity를 기준으로 환경 난이도를 측정한다.

**loop-engineered multi-agent harness**:

기존 환경을 기반으로 scenario novelty, skill rarity, execution length 중 하나의 방향으로 점진적으로 수정하여 난이도를 증가시킨다.

**실험 모델**:

Hy4 preview, Claude Opus 5, GPT-5.6 Sol을 사용한 rollout 실험과 Qwen3.6-27B, Qwen3.6-35B-A3B에서의 long-horizon RL 실험을 수행함.

**학습 신호 지속성**:

환경 진화는 on-policy rollout에 의존하지 않기 때문에, 모델이 강해질수록도 지속적인 학습 신호를 제공한다.

주요 결과

**Hy4 preview, Claude Opus 5, GPT-5.6 Sol**: off-policy 환경이 더 어려운 것으로 나타남.
**Qwen3.6-27B**: Terminal-Bench 2.1 성능 14.4% 향상.
**Qwen3.6-35B-A3B**: Terminal-Bench 2.1 성능 18.0% 향상.
**co-evolution 대비**: 환경 진화는 더 긴 학습 신호를 제공하며, 성능 개선 폭이 더 큼.

의의 및 한계

환경 진화는 기존의 on-policy 기반 co-evolution 방법의 한계를 극복하고, 모델의 성능 향상에 따라 지속적으로 어려운 환경을 제공함으로써 학습 효율성을 높인다. 특히, Qwen3.6-27B와 Qwen3.6-35B-A3B에서의 실험 결과는 이 접근법이 대규모 모델 학습에 효과적임을 입증한다.

그러나, 환경 진화는 기존 환경을 기반으로 점진적으로 수정하는 방식이므로, 완전히 새로운 환경 생성 능력은 제한적이다. 또한, loop-engineered multi-agent harness의 구현 복잡도가 높아 대규모 배포에는 추가 연구가 필요할 수 있다.

실용적 활용

본 연구는 대규모 언어 모델의 RL 학습, 특히 Terminal-Bench와 유사한 인터랙티브 환경에서의 학습에 적용 가능하다. SWE agents나 Computer-Use Agents와 같은 실제 작업 환경에서의 성능 향상에도 활용될 수 있다.