One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows

Recent agent benchmarks increasingly ground evaluation in executable environments, from code repair to web navigation, app APIs, and function calling. Yet completing consequential work beyond code requires more than producing a plausible response or valid tool call: agents must gather missing information over multiple turns, follow domain policies, coordinate dependent tools, and realize the correct persistent state transition without collateral effects. In this paper, we introduce Thinkingbox, a sandbox for tool-agent-user interaction that provides isolated MCP-compatible tool sessions, complete execution traces, and outcome evaluation over terminal backend state. Built on this sandbox, Thinkingbox-bench contains 507 policy-conditioned workflows across numerous scenarios, including retail, hospitality, auto insurance, neobank internal IT, and consulting IT/HR support. Each attempt is evaluated by task-specific executable checks that accept valid trajectories while rejecting wrong, missing, or extra effects; designated tasks additionally check required properties of the final response. Across proprietary and open-weight models, the strongest achieves 65.36% pass@1, but only 25.25% pass^20. Moreover, many failed trials show clean termination and valid state-changing actions, showing that response or tool-call-level signals are not clear proxies for end-to-end task completion. Thinkingbox-bench reveals a large gap between occasionally finding a successful trajectory and reliably completing stateful business tasks. We release both Thinkingbox and Thinkingbox-Bench: https://github.com/microsoft/thinkingbox

한 줄 요약

Thinkingbox는 상태 기반 비즈니스 워크플로우에서 에이전트의 신뢰성 평가를 위한 샌드박스와 벤치마크를 제시한다.

핵심 기여도

Thinkingbox: MCP 호환 도구 세션, 완전한 실행 추적, 최종 백엔드 상태 평가를 지원하는 샌드박스.
Thinkingbox-bench: 507개 정책 조건 워크플로우로 구성된 5개 도메인(리테일, 자동차 보험 등)의 벤치마크.
12개 모델 평가 결과: 최고 65.36% pass@1, 25.25% pass^20.
실패 시에도 유효한 상태 변경이 발생하는 사례를 통해 단일 응답/도구 호출 신호가 신뢰성 지표가 아님을 밝힘.

핵심 아이디어

기존 에이전트 평가가 단일 도구 호출이나 코드 수정에 집중하는 반면, 실제 비즈니스 작업은 다중 턴, 상태 기반, 정책 조건에 따라 여러 도구를 조율해야 한다. Thinkingbox는 이러한 복잡성을 반영한 샌드박스 환경을 제공하며, 사용자-도구-에이전트 간 상호작용을 고립된 세션에서 실행하고, 최종 백엔드 상태를 기반으로 실행 결과를 평가한다. Thinkingbox-bench는 각 작업의 정책 조건과 최종 상태, 대화 흐름을 기준으로 평가하며, 단일 최종 답변이 아닌 실행 궤적의 정합성을 검증한다.

기술적 접근법

샌드박스: MCP 호환 도구 세션, 완전한 실행 추적, 최종 백엔드 상태 평가.
벤치마크: 507개 작업, 5개 도메인 (리테일, 여행/호텔, 자동차 보험, 뉴뱅크 IT, 컨설팅 IT/HR).
평가 프로토콜: 각 작업 20회 반복, pass@1과 pass^20 지표 사용.
실행 검증: 도구 사용, 최종 상태, 대화 흐름을 기준으로 실행 궤적 검증.

주요 결과

최고 모델: 65.36% pass@1, 25.25% pass^20.
실패 시에도 20% 이상의 시도는 정확한 상태 변경을 포함.
단일 응답/도구 호출 신호는 종단 간 작업 완료를 보장하지 않음.
91.12%의 작업은 최소 1회 성공, 그러나 20회 모두 성공은 25.25%에 불과.

의의 및 한계

Thinkingbox는 비코드 작업의 신뢰성 평가 기준을 제시하며, 단일 성공 사례가 전체 신뢰성을 보장하지 않음을 입증한다. 그러나 샌드박스 환경이 실제 비즈니스 시스템과 완전히 동일하지 않다는 한계가 있으며, 평가 도메인의 범위 확장이 필요하다. 또한, 실패 원인 분석을 위한 자동화된 도구 개발이 요구된다.

실용적 활용

Thinkingbox는 리테일, 보험, IT 지원 등 다중 턴 상태 기반 비즈니스 작업에서 에이전트 신뢰성 테스트에 활용 가능하다. 기업은 이 플랫폼을 통해 실제 업무 정책에 맞춘 에이전트 성능을 검증하고, 개선 방향을 도출할 수 있다.