EnterpriseClawBench: Benchmarking Agents from Real Workplace Sessions

Enterprise agents increasingly operate inside workspaces: they read heterogeneous files, invoke tools, and deliver business artifacts. We introduce EnterpriseClawBench, an enterprise agent benchmark constructed from proprietary, real-world agent sessions. Starting from a large archive of workplace sessions, the EnterpriseClawBench produces 852 reproducible tasks, each paired with recovered fixtures, rewritten prompts, role classes, skill subclasses, hard rules, and semantic rubrics. Because the sessions contain internal enterprise content, we do not release the benchmark data; instead, our reusable contribution is the construction and evaluation protocol. On EnterpriseClawBench, the best configuration reaches only 0.663 (Codex with GPT-5.5). These results show that enterprise agent evaluation must report harness--model combinations, artifact delivery, visual quality, cost, runtime, and skill-transfer behavior, rather than collapsing performance into a single score. Code: https://github.com/FrontisAI/EnterpriseClawBench

한 줄 요약

EnterpriseClawBench는 실제 기업 작업 세션에서 생성된 852개의 재현 가능한 엔터프라이즈 에이전트 평가 태스크를 제공하는 벤치마크 프로토콜이다.

핵심 기여도

852개의 재현 가능한 엔터프라이즈 태스크 생성, 각각 고유한 페키지, 재작성된 프롬프트, 역할/기술 분류, 하드 룰, 의미적 평가 기준 포함
Codex와 GPT-5.5 조합에서 최고 성능 0.663 기록
다차원 평가 프레임워크 제시: 하이버-모델 조합, 아티팩트 품질, 비용, 실행 시간, 기술 전이 성능
기업 내부 세션을 기반으로 하여 데이터는 공개하지 않되, 재사용 가능한 구성 및 평가 프로토콜 제공

핵심 아이디어

EnterpriseClawBench는 기존의 단일 점수 기반 평가를 넘어서, 실제 엔터프라이즈 환경에서 에이전트가 수행해야 하는 복합적인 작업을 반영한 다차원 평가 프레임워크를 제시한다. 이는 단순히 텍스트 응답이 아닌, 파일 생성, 시각적 품질, 비용, 실행 시간, 그리고 기술 전이 성능까지 포함한다. 특히, 기업 내부 세션에서 추출한 작업은 실제 업무 요구와 밀접하게 연결되어 있어, 기존의 시뮬레이션 또는 공개 환경 기반 태스크와 차별화된다. 또한, 기술 전이 평가를 위해 태스크 클래스 수준에서 기술을 평가하는 방식을 도입하여, 재사용 가능한 기술 평가 기준을 제시한다.

기술적 접근법

EnterpriseClawBench는 내부 기업 세션 아카이브에서 852개의 재현 가능한 태스크를 생성한다. 이 과정은 다음과 같은 단계를 포함한다:

**재현성 및 프라이버시 검증**
**페키지 복구**
**프롬프트 재작성**
**역할/기술 분류**
**하드 룰 생성**
**의미적 평가 기준 생성**
**샌드박스 사전 점검**

평가 환경에서는 **Claude Code, Codex, DeepAgents, Hermes, OpenClaw** 등의 하이버-모델 조합이 사용되며, **GPT-5.5, Sonnet 4.6, Opus 4.6, Haiku 4.5, Kimi K2.6, MiniMax-M3, Qwen3-235B-A22B, DeepSeek V4 Pro** 등의 모델이 지원된다. 모든 태스크는 **비상태 유지 샌드박스**에서 독립적으로 실행된다.

주요 결과

**Lite 서브셋(120개 태스크)**에서 최고 성능은 **Codex + GPT-5.5 조합에서 0.663** 기록
기존 벤치마크 대비 **다차원 평가 항목**(예: 아티팩트 품질, 비용, 실행 시간, 기술 전이)을 포함
**852개 태스크**는 각각 고유한 **역할 클래스, 기술 하위 클래스, 하드 룰, 의미적 평가 기준**과 함께 제공

의의 및 한계

EnterpriseClawBench는 엔터프라이즈 에이전트 평가의 현실성을 높이고, 단일 점수 기반 평가의 한계를 극복하는 데 기여한다. 특히, **아티팩트 중심 평가**, **다중 모달 평가**, **기술 전이 평가**를 통해 실제 업무 환경에 더 가까운 평가가 가능하다. 그러나, **내부 세션 기반으로 데이터 공개가 불가능**하며, **평가 프로토콜의 외부 검증**이 필요하다는 한계가 있다. 또한, **모델 성능은 사용하는 하이버에 따라 크게 변동**하므로, 단일 모델 기준 평가가 어렵다.

실용적 활용

EnterpriseClawBench는 **엔터프라이즈 AI 에이전트 개발**, **하이버-모델 조합 최적화**, **실무 기반 평가 프레임워크 구축**에 활용 가능하다. 특히, **기업 내부 작업 세션을 기반으로 한 실제 업무 시나리오 테스트**나 **기술 기반 성능 평가**에 적합하다.