Cowork-Gym: Synthesizing Interactive Work Environments at Scale

Cowork agents navigate dependencies across tools and files while adapting to changing user requirements and edits to shared workspaces. Scaling such environments requires maintaining consistency among task objectives, executable resources, user behavior, and success criteria. We introduce Cowork-Gym, a framework that synthesizes Cowork environments through a build-execute-revise loop that uses execution evidence and review feedback to validate and repair generated environments. To capture realistic Cowork dynamics, a stateful user simulator responds to the agent's actions through dialogue and direct edits to the shared workspace. We synthesize 64.9K environments across 14 application scenarios and use them to post-train 9B, 27B, and 35B-A3B Qwen models with supervised fine-tuning, reinforcement learning, and on-policy distillation. Averaged across six agentic benchmarks, these models outperform their corresponding base checkpoints by 8.7, 6.4, and 4.1 points, respectively. Ours-27B ranks second overall among the evaluated models and achieves the highest average scores on PawBench and ClawEval, outperforming models with over 100B total parameters on both benchmarks.

한 줄 요약

Cowork-Gym은 대규모로 작업 환경을 생성하고 Qwen 모델을 학습시켜 27B 버전이 100B 이상 모델을 능가하는 성능을 보인다.

핵심 기여도

Cowork-Gym 프레임워크를 제안하여 64.9K 개의 작업 환경을 14개 시나리오에 걸쳐 생성.
택서노미-가이드드 생성과 리소스-그라운드드 생성을 결합한 build-execute-revise 루프를 사용.
상태 기반 사용자 시뮬레이터를 도입하여 다중 턴 대화와 공유 작업공간 편집을 지원.
9B, 27B, 35B-A3B Qwen 모델을 학습시켜 6개 에이전트 벤치마크에서 평균 8.7, 6.4, 4.1 포인트 개선.
Ours-27B는 전체 평가 모델 중 2위이며, PawBench와 ClawEval에서 100B 이상 모델을 능가.

핵심 아이디어

기존 에이전트 학습 환경은 작업 도메인, 사용자 행동, 성공 기준 등이 일관되지 않아 학습 효과가 제한된다. 이를 해결하기 위해 Cowork-Gym은 **build-execute-revise 루프**를 도입하여 생성된 환경의 일관성을 검증하고 수정한다. 이 루프는 실행 증거와 리뷰 피드백을 기반으로 환경을 생성하고, **sandbox 실행**과 **verifier 체크**를 통해 오류를 탐지한다. 또한, **stateful user simulator**는 에이전트의 진행 상황에 따라 대화와 작업공간 편집을 통해 피드백을 제공함으로써 현실적인 협업 동작을 시뮬레이션한다. 이는 기존의 고정된 환경에서 벗어나, 동적으로 변화하는 사용자 요구와 작업 공간을 반영한 학습 데이터를 생성할 수 있게 한다.

기술적 접근법

**Cowork-Gym 프레임워크**: 택서노미-가이드드 생성과 리소스-그라운드드 생성을 결합한 방식으로 64.9K 환경 생성.
**Build-Execute-Revise 루프**: 환경 생성 후 실행, 검증, 수정 과정을 반복하며 일관성을 유지.
**Stateful User Simulator**: 에이전트의 작업 진행에 따라 대화와 공유 작업공간 편집을 통해 피드백 제공.
**학습 방법**: SFT(감독 미세조정), RL(강화 학습), on-policy distillation을 사용하여 Qwen 9B, 27B, 35B-A3B 모델 학습.
**데이터셋**: 14개 시나리오(오피스 생산성, 소프트웨어 엔지니어링, 데이터 사이언스 등)에 걸쳐 생성된 환경.

주요 결과

6개 에이전트 벤치마크에서 Qwen 9B, 27B, 35B-A3B 모델이 각각 평균 8.7, 6.4, 4.1 포인트 개선.
Ours-27B는 전체 평가 모델 중 2위이며, **PawBench**에서 1위, **ClawEval**에서도 1위를 기록.
100B 이상 파라미터를 가진 모델보다 **PawBench와 ClawEval**에서 더 높은 점수를 기록.
학습 데이터는 64.9K 개의 Cowork 환경으로, 14개 시나리오에 걸쳐 생성됨.

의의 및 한계

Cowork-Gym은 대규모로 실행 가능한 작업 환경을 생성함으로써 에이전트 학습의 질을 향상시키는 데 기여한다. 특히, **stateful user simulator**와 **build-execute-revise 루프**는 현실적인 협업 동작을 반영한 학습 데이터를 생성할 수 있게 하며, 다양한 도메인과 작업 요구사항을 다루는 데 유용하다. 또한, **on-policy distillation**을 통해 일반 능력 손실을 최소화하면서 에이전트 성능을 향상시킬 수 있다. 그러나, 생성된 환경이 실제 사용자 행동을 완벽히 반영하지 못할 수 있으며, 일부 시나리오에서는 **verifier 체크의 오류**가 발생할 수 있다는 한계가 있다.

실용적 활용

Cowork-Gym은 소프트웨어 개발, 데이터 분석, 문서 작성 등 다양한 작업 도메인에서 에이전트를 학습시키는 데 활용할 수 있다. 특히, **Qwen 27B 모델**은 대규모 파라미터 모델을 사용하지 않고도 높은 성능을 보여주어, **비용 효율적인 에이전트 개발**에 적합하다. 또한, **자동 환경 생성**을 통해 지속적인 학습과 업데이트가 필요한 시스템에 적용할 수 있다.