OpenCUA: Open Foundations for Computer-Use Agents

Vision-language models have demonstrated impressive capabilities as computer-use agents (CUAs) capable of automating diverse computer tasks. As their commercial potential grows, critical details of the most capable CUA systems remain closed. As these agents will increasingly mediate digital interactions and execute consequential decisions on our behalf, the research community needs access to open CUA frameworks to study their capabilities, limitations, and risks. To bridge this gap, we propose OpenCUA, a comprehensive open-source framework for scaling CUA data and foundation models. Our framework consists of: (1) an annotation infrastructure that seamlessly captures human computer-use demonstrations; (2) AgentNet, the first large-scale computer-use task dataset spanning 3 operating systems and 200+ applications and websites; (3) a scalable pipeline that transforms demonstrations into state-action pairs with reflective long Chain-of-Thought reasoning that sustain robust performance gains as data scales. Our end-to-end agent models demonstrate strong performance across CUA benchmarks. In particular, OpenCUA-72B achieves an average success rate of 45.0% on OSWorld-Verified, establishing a new state-of-the-art (SOTA) among open-source models. Further analysis confirms that our approach generalizes well across domains and benefits significantly from increased test-time computation. We release our annotation tool, datasets, code, and models to build open foundations for further CUA research.

한 줄 요약

OpenCUA는 3개 OS와 200개 이상의 애플리케이션을 아우르는 개방형 컴퓨터 사용 에이전트(CUA) 프레임워크로, OSWorld-Verified에서 34.8% 성공률을 달성했다.

핵심 기여도

**AgentNet**: 3개 OS(Windows, macOS, Ubuntu)와 200개 이상의 애플리케이션/웹사이트를 포함한 22.6K 개의 컴퓨터 작업 트래젝토리 데이터셋.
**OpenCUA-32B**: OSWorld-Verified에서 34.8% 성공률로, 오픈소스 모델 중 최고 성능(SOTA)을 달성.
**Reflective Chain-of-Thought(CoT)**: 에이전트의 내생적 추론 과정에 반영과 기억을 명시적으로 주입하여 오류 탐지 및 복구 능력 향상.
**Pass@n 평가**: 테스트 시 계산량 증가(50단계) 시 성공률 18.4% → 39.2% (+113%)로 확장성 입증.

핵심 아이디어

OpenCUA는 기존 CUA 연구의 주요 한계인 **데이터 부족**, **모델 투명성 결여**, **평가 효율성 낮음**을 해결하기 위해 설계되었다. 핵심 아이디어는 사용자 행동을 **AgentNet Tool**을 통해 캡처하고, 이를 **State-Action Pair**로 변환한 뒤, **Reflective CoT**를 통해 내생적 추론 과정을 강화하는 것이다. 이는 단순히 행동을 모방하는 것이 아니라, **계획(Planning), 기억(Memory), 반영(Reflection)**을 포함한 복합적 추론을 학습하도록 유도한다. 특히, **Pass@n 평가**를 통해 테스트 시 계산량 증가가 성능 향상에 긍정적인 영향을 미친다는 점이 새롭다.

기술적 접근법

**AgentNet Tool**: 사용자의 실제 작업 환경에서 실시간으로 트래젝토리와 화면 상태를 기록하는 어노테이션 도구.
**AgentNet Dataset**: 22.6K 개의 트래젝토리, 100개 이상의 애플리케이션, 200개 웹사이트 포함.
**Reflective CoT Synthesis**: 각 단계에서 자연어로 추론 과정을 기록하여, 오류 탐지 및 복구 능력을 향상.
**Multi-image History**: 여러 이미지의 히스토리를 모델 입력에 포함시켜 환경 변화를 더 잘 이해하도록 함.
**Training Data Mixture**: 다양한 추론 과정과 일반 텍스트를 포함한 데이터 믹스를 통해 모델의 일반화 능력 향상.
**OpenCUA-32B**: 34.8% 성공률 달성 (OSWorld-Verified, 100단계 기준).

주요 결과

**OSWorld-Verified**: OpenCUA-32B가 34.8% 성공률로 오픈소스 모델 중 최고 성능(SOTA) 달성.
**Pass@n 평가**: 50단계에서 성공률 18.4% → 39.2% (+113%) 증가.
**Cross-domain Generalization**: 다양한 도메인에서 강력한 일반화 능력 보임.
**Reflective CoT 효과**: 단순 State-Action Pair 학습 대비 성능 향상.

의의 및 한계

OpenCUA는 CUA 연구의 투명성과 재현성을 높이기 위해 데이터, 도구, 모델, 벤치마크를 모두 오픈소스로 공개함으로써 **학술적·실용적 가치**를 제공한다. 특히, **AgentNet**은 대규모 CUA 데이터 수집의 기초를 마련했으며, **Reflective CoT**는 에이전트의 추론 과정을 명시적으로 학습할 수 있는 새로운 방법론을 제시한다. 그러나, **온라인 환경의 동적성**(예: CAPTCHA, 네트워크 지연)은 평가 결과에 불확실성을 초래하며, **복잡한 작업**(예: 메뉴 탐색)에서는 실패율이 높을 수 있다.

실용적 활용

OpenCUA는 **자동화된 컴퓨터 작업**(예: 문서 편집, 웹 탐색, 설정 변경)을 필요로 하는 산업 및 연구 분야에서 활용 가능하다. 특히, **소프트웨어 개발**, **IT 지원**, **교육 자동화** 등에서 사용자 인터페이스와의 상호작용을 자동화하는 데 유용하다. 또한, **에이전트 기반 시스템의 안정성·신뢰성 연구**에도 기초 자료로 활용될 수 있다.