Qwen-AgentWorld: Language World Models for General Agents

A world model predicts environment dynamics based on current observations and actions, serving as a core cognitive mechanism for reasoning and planning. In this work, we investigate how world modeling based on language models can further push the boundaries of general agents. (i) We first focus on building foundation models for agentic environment simulation. We introduce Qwen-AgentWorld-35B-A3B and Qwen-AgentWorld-397B-A17B, the first language world models capable of simulating agentic environments covering 7 domains via long chain-of-thought reasoning. Leveraging more than 10M environment interaction trajectories of 7 domains in real-world environments, we develop Qwen-AgentWorld through a three-stage training pipeline: CPT injects general-purpose world modeling capabilities from the state transition dynamics and augmented professional corpora, SFT activates next-state-prediction reasoning, and RL sharpens simulation fidelity through a tailored framework with hybrid rubric-and-rule rewards. To evaluate language world models, we present AgentWorldBench, a comprehensive benchmark constructed from real-world interactions of 5 frontier models on 9 established benchmarks. Empirical results demonstrate that Qwen-AgentWorld significantly outperforms existing frontier models. (ii) Beyond foundation models, we further investigate two complementary paradigms through which world modeling enhances general agents. First, as a decoupled environment simulator, Qwen-AgentWorld supports scalable and controllable simulation of thousands of real-world environments for agentic RL, yielding gains that surpass real-environment training alone. Second, as a unified agent foundation model, world-model training acts as a highly effective warm-up that improves downstream performance across 7 agentic benchmarks. Code: https://github.com/QwenLM/Qwen-AgentWorld

한 줄 요약

Qwen-AgentWorld는 7개 도메인을 아우르는 언어 기반 월드 모델로, CPT-SFT-RL 3단계 훈련을 통해 높은 시뮬레이션 정확도를 달성하고 에이전트 성능을 향상시킨다.

핵심 기여도

Qwen-AgentWorld-35B-A3B와 Qwen-AgentWorld-397B-A17B를 소개, 7개 도메인에서 체인-오브-서치 추론을 기반으로 환경 시뮬레이션 가능.
10M개 이상의 실제 환경 상호작용 트레이젝토리 활용, CPT-SFT-RL 3단계 훈련 파이프라인 제안.
AgentWorldBench라는 새로운 벤치마크를 제시, 5개 프런티어 모델과 9개 기존 벤치마크 기반으로 평가.
월드 모델을 분리된 시뮬레이터와 통합된 에이전트 기반 모델 두 가지 패러다임으로 활용, 7개 에이전트 벤치마크에서 성능 향상.

핵심 아이디어

Qwen-AgentWorld는 기존 LLM 에이전트 연구가 정책(Policy)에 집중한 반면, 월드 모델(World Model)은 핵심적인 인지 메커니즘임을 강조한다. 이 연구는 언어 모델을 기반으로 월드 모델을 구축하여, 에이전트가 환경 동역학을 예측하고 계획을 수립할 수 있도록 지원한다. 핵심 아이디어는 다음과 같다: 첫째, 7개 도메인(MCP, Search, Terminal 등)에서 GUI 환경을 포함한 환경 관측을 텍스트 기반으로 표현하고, 이를 통해 교차 도메인 일반화를 가능하게 한다. 둘째, CPT(Conditional Pre-training), SFT(Sequence Fine-tuning), RL(Reinforcement Learning)의 3단계 훈련 파이프라인을 통해 월드 모델의 정확도를 점진적으로 향상시킨다. 특히, RL 단계에서는 rubric-and-rule 기반의 하이브리드 보상을 사용하여 시뮬레이션의 신뢰도를 높인다.

기술적 접근법

**모델 아키텍처**: Qwen-AgentWorld-35B-A3B와 Qwen-AgentWorld-397B-A17B 두 가지 버전 제공.
**데이터**: 7개 도메인에서 10M개 이상의 실제 환경 상호작용 트레이젝토리 사용.
**훈련 파이프라인**:
**CPT**: 상태 전이 동역학과 전문 지식을 주입.
**SFT**: 다음 상태 예측 추론 패턴 활성화.
**RL**: rubric-and-rule 기반 하이브리드 보상으로 시뮬레이션 정확도를 높임.
**평가**: AgentWorldBench라는 새로운 벤치마크 사용, 5개 프런티어 모델과 9개 기존 벤치마크 기반 평가.

주요 결과

Qwen-AgentWorld는 AgentWorldBench에서 기존 프런티어 모델을 크게 앞선다.
4,000개 이상의 OpenClaw 환경 시뮬레이션을 통해 Claw-Eval, QwenClawBench 등 3개 벤치마크에서 실환경 훈련을 초과하는 성능 달성.
7개 에이전트 벤치마크(Terminal-Bench 2.0, SWE-Bench Verified 등)에서 월드 모델 훈련을 통해 다운스트림 성능 향상.
시뮬레이션 품질 평가에서 Format, Factuality, Consistency, Realism, Quality 5개 차원에서 평균 점수 90 이상 달성.

의의 및 한계

Qwen-AgentWorld는 언어 기반 월드 모델의 가능성을 입증하며, 에이전트가 환경을 이해하고 계획을 세우는 데 핵심적인 역할을 할 수 있음을 보여준다. 특히, CPT-SFT-RL 3단계 훈련 파이프라인은 월드 모델의 정확도를 점진적으로 향상시키는 효과적인 방법으로 제시된다. 또한, AgentWorldBench는 월드 모델 평가를 위한 체계적인 기준을 제공하며, 실환경과의 비교를 통해 신뢰도를 검증한다. 그러나, 7개 도메인에만 제한된 데이터셋을 기반으로 훈련되었기 때문에, 더 넓은 범위의 도메인으로의 일반화 가능성은 추가 연구가 필요하다. 또한, 월드 모델의 추론 과정에서 발생할 수 있는 오류나 불확실성 관리는 아직 명시되지 않았다.

실용적 활용

Qwen-AgentWorld는 소프트웨어 엔지니어링, 터미널 작업, 웹 브라우징 등 다양한 GUI 및 텍스트 기반 환경에서 에이전트 훈련에 활용될 수 있다. 특히, 실환경 훈련이 어려운 경우, 월드 모델을 기반으로 한 시뮬레이션을 통해 에이전트를 사전 훈련할 수 있어, 산업 현장에서의 자동화 시스템 개발 및 테스트에 유용하게 사용될 수 있다.