UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks

The rapid development of large language models and multimodal large language models has accelerated the emergence of proactive agents capable of operating everyday tools and assisting users in real-world environments. However, existing benchmarks struggle to evaluate such agents effectively, as they often rely on sandboxed environments and single-turn evaluation paradigms. Moreover, their scenario-based task taxonomies mix multiple model capabilities within the same task category, making it difficult to identify the root causes of agent failures. To address these limitations, we introduce UniClawBench, the first capability-driven benchmark designed to evaluate proactive agents in dynamic, real-world settings. UniClawBench is built around five foundational model capabilities: Skill Usage, Exploration, Long-Context Reasoning, Multimodal Understanding, and Cross-Platform Coordination. Based on these capabilities, we design 400 bilingual real-world tasks. Unlike previous benchmarks that rely on static, pre-recorded answers, our benchmark evaluates agents in live Docker containers using fine-grained, step-by-step completion checkpoints. Furthermore, we design a closed-loop evaluation strategy comprising an executor agent, a hidden supervisor agent, and a user agent to simulate realistic multi-turn human feedback without leaking grading criteria. To disentangle base model capabilities from framework-level design choices, we evaluate state-of-the-art models under multiple agent frameworks. Through comprehensive comparisons across both models and frameworks, we show how base model capabilities and agent framework designs jointly shape performance in real-world environments. To facilitate future research, we make our benchmark and code publicly available at https://github.com/HKU-MMLab/UniClawBench.

한 줄 요약

UniClawBench는 실시간 환경에서 프로액티브 에이전트를 평가하는 첫 번째 능력 중심 벤치마크로, 400개의 이중 언어 태스크와 3역 폐루프 평가 전략을 제시한다.

핵심 기여도

5개의 핵심 능력(스킬 사용, 탐색, 장문 추론, 멀티모달 이해, 플랫폼 간 협업) 기반 400개의 이중 언어 실세계 태스크를 설계.
기존 정적 답변 기반 평가를 버리고, Docker 컨테이너 내에서 실시간 실행 및 단계별 체크포인트를 도입.
평가 누수를 방지하는 3역 폐루프 평가 전략(실행 에이전트, 숨은 감독 에이전트, 사용자 시뮬레이터 에이전트)을 제안.
다양한 에이전트 프레임워크(OpenClaw, EDICT, Nanobot)와 최신 모델을 비교 평가하여 성능에 영향을 주는 요인을 분석.

핵심 아이디어

기존 벤치마크는 단일 턴 평가와 샌드박스 환경에 의존하며, 태스크 범주가 능력별로 명확히 구분되지 않아 실패 원인을 파악하기 어려웠다. UniClawBench는 이를 해결하기 위해 **능력 중심(task decomposition)** 접근법을 도입했다. 5개의 핵심 능력(스킬 사용, 탐색, 장문 추론, 멀티모달 이해, 플랫폼 간 협업)을 기반으로 태스크를 설계함으로써, 각 에이전트의 단점이 어떤 특정 능력에서 비롯되었는지를 명확히 파악할 수 있도록 했다. 또한, **실시간 Docker 환경**과 **단계별 체크포인트**를 도입하여 기존 정적 답변 기반 평가의 한계를 극복했다. 평가 누수를 방지하기 위해 **3역 폐루프 평가 전략**을 제안했는데, 이는 사용자 피드백을 시뮬레이션하면서도 평가 기준을 숨기는 방식으로, 실제 인간-에이전트 상호작용을 더 정확히 반영한다.

기술적 접근법

**5개의 핵심 능력**: Skill Usage, Exploration, Long-Context Reasoning, Multimodal Understanding, Cross-Platform Coordination.
**400개의 이중 언어 태스크**: 영어와 중국어로 구성된 실제 일상 사용 시나리오.
**Docker 컨테이너 기반 실행**: 실제 브라우저, 터미널, GUI 애플리케이션, 로컬 파일 시스템을 포함한 실시간 환경.
**단계별 체크포인트**: 정적 답변 대신, 각 단계에서 필요한 증거와 실행 결과를 평가.
**3역 폐루프 평가**: Executor, Hidden Supervisor, User Simulator로 구성. 평가 기준은 감독 에이전트만 접근 가능.
**평가 프레임워크**: OpenClaw, EDICT, Nanobot.
**실행 제한**: 타임아웃, 최대 피드백 횟수 등으로 평가 루프를 종료.

주요 결과

**400개의 이중 언어 태스크**에서 실행 성공 여부를 **pass/fail/continue**로 구분.
**OpenClaw, EDICT, Nanobot** 프레임워크 간 성능 차이를 비교.
**장문 추론**과 **플랫폼 간 협업** 능력에서 대부분의 에이전트가 어려움을 겪음.
**프레임워크 설계**가 모델의 기본 능력을 증폭하거나 제한하는 경향이 있음.
**평가 누수 방지**를 통해 실제 사용자 피드백을 시뮬레이션하면서도 정확도를 유지.

의의 및 한계

UniClawBench는 기존 샌드박스 기반 평가의 한계를 극복하고, **실시간 환경에서의 에이전트 성능을 정확히 측정**할 수 있는 체계적인 평가 프레임워크를 제공한다. 특히, **능력별 태스크 분류**와 **3역 폐루프 평가**를 통해 실패 원인을 명확히 파악할 수 있어, 에이전트 개선에 중요한 기초 자료가 될 수 있다. 그러나 **400개의 수작업 태스크**는 다소 제한적이며, **실시간 실행 환경의 불안정성**과 **LLM 기반 평가의 편향 가능성**이 남아 있다. 또한, **평가 기준의 주관성**이 일부 모델 평가에 영향을 줄 수 있다는 점도 한계로 지적된다.

실용적 활용

UniClawBench는 **실제 사용 환경에서 작동하는 프로액티브 에이전트**(예: OpenClaw, Nanobot)의 성능을 평가하고 개선하는 데 활용될 수 있다. 특히, **사용자 피드백을 반영하는 시스템**(예: 개인 비서, 자동화된 고객 지원) 개발에 중요한 평가 기준을 제공하며, **다중 플랫폼, 멀티모달 작업**을 수행하는 에이전트의 설계 및 최적화에 기여할 수 있다.