CUA-Gym: Scaling Verifiable Training Environments and Tasks for Computer-Use Agents

Reinforcement learning with verifiable rewards (RLVR) has driven breakthroughs in domains such as math, tool-use, and software engineering, yet its extension to computer-use agents (CUAs) has been bottlenecked by the scarcity of scalable training data with deterministic rewards. Constructing such data for CUAs requires consistent task instruction, executable environment, and verifiable reward. However, hand-curated benchmarks achieve high reward fidelity but cover few applications and LLM-as-judge-based datasets scale broadly but lack reliable verification. We present CUA-Gym, a scalable pipeline that co-generates task instructions, environment states, and reward functions. Concretely, a Generator agent constructs the initial and golden environment states, and a separate Discriminator agent writes the reward function from the task specification. An orchestrator agent drives the two through iterative rounds upon execution. Generated tuples then pass a final filter combining LLM majority voting and agent rollouts, ensuring quality beyond the per-task adversarial loop. To address the scarcity of training environments, we further synthesize CUA-Gym-Hub, a broad suite of high-fidelity mock web applications grounded in real-world software-use distributions, expanding the scale of CUA RLVR data by magnitude. Using this pipeline, we construct CUA-Gym, a dataset of 32,112 verified RLVR training tuples grounded in 110 environments. Trained with GSPO on CUA-Gym, our CUA-Gym-A3B and CUA-Gym-A17B achieve 62.1% and 72.6% on OSWorld-Verified, outperforming prior open-source CUAs at comparable scales, with performance scaling smoothly in both data volume and environment diversity. The same checkpoints also improve on the held-out WebArena benchmark, indicating transfer beyond the training environments. We will open-source the full synthesis pipeline, dataset, CUA-Gym-Hub environments, and models.

📋 한 줄 요약

**[Computer-Use Agent / RLVR 학습 데이터]** CUA-Gym이 task instruction·환경 상태·reward function을 공동 생성하는 파이프라인으로 110 환경·32,112 verified RLVR tuple 구축, OSWorld-Verified에서 A17B가 72.6% 달성.

🎯 핵심 기여도

Reinforcement learning with verifiable rewards(RLVR)가 수학·도구 사용·SW 엔지니어링에서 돌파구를 만들었지만 computer-use agent(CUA)로 확장은 deterministic reward를 갖춘 확장 가능 학습 데이터 부족이 병목임을 진단.
CUA-Gym 제안 — Generator agent가 initial·golden 환경 상태를 구성, 별도 Discriminator agent가 task 명세로부터 reward function 작성, orchestrator agent가 실행을 통해 둘을 반복적으로 구동하는 공동 생성 파이프라인.
LLM majority voting + agent rollout 결합한 final filter로 per-task adversarial loop 너머 품질 보장, CUA-Gym-Hub 합성으로 실세계 SW-use 분포 기반 고충실도 mock web app 대규모 suite 제공.
학습 데이터·환경·합성 파이프라인·모델 전체를 open-source.

💡 핵심 아이디어

CUA용 RLVR의 데이터 병목은 hand-curated 벤치(고충실·저커버리지)와 LLM-as-judge(고확장·저검증)의 양극단을 모두 회피하는 Generator·Discriminator·Orchestrator 3 에이전트 공동 생성 + 강한 filter로 해결할 수 있고, 환경 수·데이터 양에 따라 성능이 부드럽게 스케일된다.

🔬 기술적 접근법

**방법론**: Generator/Discriminator/Orchestrator 3 에이전트 공동 생성 + LLM majority voting·agent rollout final filter.
**핵심 기법**: (1) Generator가 initial·golden 환경 상태 생성, (2) Discriminator가 reward function 작성, (3) Orchestrator가 실행 라운드 반복으로 둘을 교정, (4) CUA-Gym-Hub로 110 환경(실세계 SW 분포 기반 고충실 mock web app) 확장, (5) GSPO로 학습한 CUA-Gym-A3B·CUA-Gym-A17B 모델 산출.

📊 주요 결과

CUA-Gym 데이터셋: 32,112 verified RLVR 학습 tuple, 110 환경 기반.
OSWorld-Verified: CUA-Gym-A3B 62.1%, CUA-Gym-A17B 72.6% — 동일 규모 기존 open-source CUA 능가.
데이터 양·환경 다양성에 따라 성능이 부드럽게 스케일.
동일 체크포인트가 held-out WebArena 벤치에서도 향상 — 학습 환경 너머 전이성 확인.

💭 의의 및 한계

**의의**: CUA RLVR의 데이터 병목 해결의 구체 레시피 제공, 환경·데이터·모델·파이프라인 모두 open-source로 커뮤니티 가속, mock web app 기반 확장이 cost-효율 cum 고충실, OSWorld·WebArena 동시 향상으로 전이성 입증. **한계**: 110 환경의 web 중심 — desktop·mobile OS 확장 추가 검증, mock app과 실제 SW의 격차, GSPO 의존도 분석 부재.

🚀 실용적 활용

Computer-use agent의 RLVR 사전학습 데이터 표준.
Open-source CUA 모델 학습·평가 가이드.
합성 환경 기반 agentic RL 일반 패러다임.