OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks

Existing computer-use benchmarks fail to capture the realism, complexity, and long-horizon demands of real-world computer use, limiting their ability to reveal the limitations of frontier agents. We introduce OSWorld 2.0, a benchmark of 108 long-horizon computer-use workflows across everyday and professional tasks, designed to capture complex and challenging real-world phenomena. Each task represents a realistic end-to-end workflow that takes human users a median of about 1.6 hours to complete and requires an average of 318 tool calls with Claude Opus 4.7 using maximum thinking, compared with about 30 in OSWorld 1.0. OSWorld 2.0 targets challenge phenomena that are common in real workflows yet underrepresented in prior benchmarks, spanning interaction-design challenges such as streaming interaction and dynamic environments, as well as agent-pattern challenges such as cross-source reasoning, implicit-state inference, and visual-spatial precision. Tasks are grounded in authentic input artifacts and cross-referenced against realistic stateful user profile data, and include separate safety reports auditing safety-sensitive execution. Under our primary binary-completion metric at 500 steps, Claude Opus 4.8 with maximum thinking and batched tool calls scores best but still completes only 20.6% of tasks at a 54.8% partial score; GPT-5.5 is far more token-efficient yet plateaus near 13%. These results show that current agents are still far from professional-level computer use: rather than stumbling on basic GUI control or coding, they lose track of constraints, miss information that arrives mid-task, guess rather than ask the user, and skip verification, struggling most when a task hinges on hidden state they must recover.

한 줄 요약

OSWorld 2.0은 실제 컴퓨터 사용 환경에서 1.6시간 이상 소요되는 108개의 장기적 작업 흐름을 기준으로 최신 에이전트의 한계를 평가하는 벤치마크이다.

핵심 기여도

108개의 실제 작업 흐름을 포함한 OSWorld 2.0 벤치마크를 제안.
각 작업은 평균 318개의 툴 호출이 필요하며, 이는 OSWorld 1.0의 30개 대비 10배 이상 증가.
Claude Opus 4.8 (최대 사고, 배치 툴 호출)가 500단계에서 20.6%의 이진 완료율, 54.8%의 부분 점수를 기록.
GPT-5.5는 토큰 효율성이 높지만 13%에 머무르며, 작업 길이가 늘어날수록 성능 급격히 하락.

핵심 아이디어

OSWorld 2.0은 기존 벤치마크가 실제 컴퓨터 사용의 복잡성과 장기적 흐름을 반영하지 못한다는 문제를 해결하기 위해 설계되었다. 이는 실제 전문가의 작업 시나리오를 기반으로 하며, 10개의 도전 현상(예: cross-source reasoning, implicit-state inference)을 포함한 작업 흐름을 통해 에이전트의 구조적 능력을 종합적으로 평가한다. 특히, 작업은 다중 애플리케이션 간 의존성을 가진 단계로 구성되어 있으며, 중간 정보가 주어지는 동적 환경에서의 적응 능력을 테스트한다. 이는 단순히 툴 호출이나 GUI 조작이 아닌, 작업 전체 흐름을 유지하는 능력을 평가하는 데 초점을 맞춘다.

기술적 접근법

**OSWorld 2.0**은 108개의 작업을 포함하며, 각 작업은 평균 318개의 툴 호출이 필요.
**31개의 자체 호스팅 웹 서비스**(이메일, 은행, 팀 채팅 등)를 통해 제어 가능한 상태를 유지.
**유저 프로필 데이터**와 **실제 입력 아티팩트**를 기반으로 작업이 구성.
**500단계 이진 완료율**을 주요 평가 지표로 사용.
**Claude Opus 4.8** (최대 사고, 배치 툴 호출)와 **GPT-5.5**를 포함한 다양한 에이전트를 150, 300, 500단계 예산 하에 평가.
**체크포인트 평가**는 평균 27.25개의 세부 기준으로 이루어짐.
**단일 토큰 효율성**과 **작업 길이에 따른 성능 저하**를 분석.

주요 결과

**Claude Opus 4.8** (최대 사고, 배치 툴 호출)는 500단계에서 20.6%의 이진 완료율, 54.8%의 부분 점수를 기록.
**GPT-5.5**는 토큰 효율성이 높지만, 500단계에서 13%에 머무름.
작업 길이가 늘어날수록 성능 급격히 하락.
**Cross-source reasoning**, **implicit-state inference**, **dynamic environments** 등 현상에서 가장 많은 실패 발생.
에이전트는 **중간 정보 누락**, **제약 무시**, **사용자 질문 대신 추측**, **검증 생략** 등 장기적 흐름 유지 실패.

의의 및 한계

OSWorld 2.0은 실제 컴퓨터 사용 환경을 반영한 장기적 작업 흐름을 평가하는 데 기여하며, 기존 벤치마크가 반영하지 못한 복잡한 현상을 포함한 평가 체계를 제시한다. 특히, **hidden state recovery**, **multi-item tracking**, **conflict disambiguation** 등 실제 작업에서 중요한 능력을 평가함으로써, 에이전트의 진정한 실용성을 측정할 수 있다. 그러나, **작업 길이에 따른 성능 저하**, **토큰 비용과 성능 간의 비선형 관계**, **사용자와의 상호작용 부족** 등은 여전히 해결되지 않은 핵심 한계점이다.

실용적 활용

OSWorld 2.0은 **오피스 자동화**, **데이터 분석**, **소프트웨어 개발** 등 전문 분야에서 에이전트의 장기적 작업 능력을 평가하는 데 활용 가능하다. 또한, **사용자 프로필 기반의 맞춤형 작업 시나리오**를 통해 개인화된 에이전트 개발에도 기여할 수 있다.