Agent World Model in the Wild: Computer-Use Agent Environment Synthesis

Agent learning is shifting from learning from human data toward learning through interaction with the world. However, scaling such learning directly in real-world computer systems is challenging and can introduce substantial security risks. We therefore propose Agent World Model in the Wild (WildAWM), a scalable pipeline for synthesizing controllable environments and tasks for training general computer-use agents (CUAs). Whereas existing approaches typically specialize in a single agent interaction interface, we construct executable environments that jointly support graphical user interfaces, model context protocol services, and command-line interfaces, allowing agents to flexibly combine visual interaction, tool use, and code execution. WildAWM is entirely powered by open-source models, demonstrating that high-quality computer-use environments can be generated without proprietary frontier models. Beyond environments, we address three recurring challenges in task synthesis: ensuring solvability, maintaining sufficient difficulty, and producing reliable verifiers, by introducing execution-based quality gates that combine heterogeneous agent rollouts, cross-judge consistency checks, and counterfactual probes of judgment robustness. The resulting pipeline synthesizes 341 long-horizon environment-task pairs that can require over 100 agent steps to solve and remain challenging even for frontier models, with GPT-6-Astra solving only 60% of them. We train two Qwen models of different sizes exclusively in these synthetic worlds. Both models achieve substantial gains across 8 out-of-distribution benchmarks spanning web, claw, and computer-use agents, demonstrating that learning in WildAWM's synthesized worlds generalizes broadly to unseen computer-use tasks. The code is publicly available at https://github.com/MSR-Orchard/WildAWM.

한 줄 요약

WildAWM은 GUI, CLI, MCP를 통합한 개방형 합성 환경을 생성하여 컴퓨터 사용 에이전트를 훈련하는 확장 가능한 파이프라인을 제안한다.

핵심 기여도

GUI, CLI, MCP 인터페이스를 모두 지원하는 실행 가능한 개인 컴퓨터 환경을 생성.
실행 기반 품질 게이트를 도입하여 해결 가능성, 난이도, 검증 신뢰도를 동시에 보장.
341개의 장기적 환경-작업 쌍을 합성, GPT-6-Astra가 60%만 해결하는 수준의 난이도를 유지.
Qwen 3.6-35B-A3B와 Qwen 3.5-4B 모델을 합성 환경에서 훈련하여 8개의 OOD 벤치마크에서 성능 향상.

핵심 아이디어

기존 연구는 주로 단일 인터페이스(예: GUI 또는 CLI)에 집중했으나, 실제 컴퓨터 사용은 다양한 인터페이스의 조합이 필요하다는 점에서 WildAWM은 GUI, CLI, MCP를 통합한 실행 환경을 생성한다. 이는 현실적인 컴퓨터 작업을 반영하며, 에이전트가 시각적 상호작용, 도구 사용, 코드 실행을 유연하게 결합할 수 있도록 한다. 또한, 품질 보장은 실행 기반 품질 게이트를 통해 이루어지며, 이는 이질적인 에이전트의 실행 결과, 심판자 간 일관성 검증, 카운터패셜 프로브를 결합하여 작업의 해결 가능성과 검증 신뢰도를 보장한다. 이는 단순히 "최첨단 모델이 항상 올바르다"는 가정에 의존하지 않는 새로운 접근법이다.

기술적 접근법

**WildAWM 파이프라인**: GUI, CLI, MCP 인터페이스를 모두 지원하는 실행 가능한 개인 컴퓨터 환경을 생성.
**실행 기반 품질 게이트**: 이질적인 에이전트의 실행 결과, 심판자 간 일관성 검증, 카운터패셜 프로브를 통해 작업의 해결 가능성, 난이도, 검증 신뢰도를 평가.
**모델 사용**: 합성 과정 전반에서 오픈소스 모델만 사용 (예: OpenCode CLI 허네스, Qwen 모델).
**훈련 모델**: Qwen3.6-35B-A3B와 Qwen3.5-4B 두 가지 규모의 모델을 합성 환경에서 훈련.

주요 결과

341개의 장기적 환경-작업 쌍을 합성, 각 작업은 최소 3가지 인터페이스를 사용하며 100단계 이상의 에이전트 실행이 필요.
GPT-6-Astra가 60%만 해결하는 수준의 난이도를 유지.
Qwen3.6-35B-A3B와 Qwen3.5-4B는 8개의 OOD 벤치마크(웹, 클라우, 컴퓨터 사용 에이전트)에서 실질적인 성능 향상.

의의 및 한계

WildAWM은 단일 인터페이스에 의존하지 않고, GUI, CLI, MCP를 통합한 실행 환경을 생성함으로써 컴퓨터 사용 에이전트 훈련의 새로운 가능성을 제시한다. 또한, 오픈소스 모델만을 사용하여 재현성과 투명성을 높이며, 최첨단 모델에 의존하지 않고도 고품질 합성 환경을 생성할 수 있음을 보여준다. 그러나, 합성 환경이 실제 컴퓨터 사용 환경과 완전히 일치하지 않을 가능성, 그리고 일부 작업이 여전히 해결되지 않을 가능성은 남아 있다.

실용적 활용

WildAWM은 개인용 컴퓨터에서 다양한 인터페이스를 사용하는 작업 자동화, 소프트웨어 테스트, 에이전트 기반 시스템 개발 등에 활용 가능하다. 특히, 보안 위험을 최소화하면서도 현실적인 컴퓨터 작업 환경을 학습할 수 있어, 산업 현장에서의 에이전트 기반 자동화 시스템 개발에 유용하게 사용될 수 있다.