DecisionBench: A Benchmark for Emergent Delegation in Long-Horizon Agentic Workflows

We introduce DecisionBench, a benchmark substrate for emergent delegation in long-horizon agentic workflows. The substrate fixes a task suite (GAIA, tau-bench, BFCL multi-turn), a peer-model pool (11 models, 7 vendor families), a delegation interface (call_model plus an optional read_profile channel), a deterministic skill-annotation layer, and a multi-axis metric suite covering quality, cost, latency, delegation rate, routing fidelity-at-k, vendor self-preference, and a counterfactual-delegation ceiling. The substrate is agnostic to how peer information is generated or delivered, so learned routers, richer peer memories, adaptive profile construction, and multi-step delegation can all be evaluated against it. We characterize the substrate with a five-condition reference sweep on the full pool (n=23,375 task instances). Three benchmark-level findings emerge: (i) mean end-task quality is statistically indistinguishable across the four awareness conditions (|beta| <= 0.010, p >= 0.21), so quality-only evaluation would miss the orchestration signal; (ii) routing fidelity-at-1 ranges from 7.5% to 29.5% across conditions at near-equal mean quality, with delivery channel (on-demand tool vs. preloaded description) dominating description content; (iii) a counterfactual ceiling places perfect delegation 15-31 percentage points above measured performance on every suite, locating large unrealized headroom for future orchestration methods. We release the substrate, annotation layer, reference intervention suite, analysis pipeline, and 220 per-condition run archives.

한 줄 요약

**[멀티 에이전트 / 위임 평가]** 장기 horizon 에이전트 워크플로에서 emergent delegation 능력을 다축 지표로 평가하기 위한 벤치마크 substrate DecisionBench와 23,375 인스턴스 reference sweep 분석.

핵심 기여도

태스크 스위트(GAIA, tau-bench, BFCL multi-turn) + 11개 모델·7개 벤더 family의 peer pool + call_model/read_profile 위임 인터페이스 + 결정적 skill annotation 레이어를 통합한 substrate 정의.
단일 지표가 아닌 quality·cost·latency·delegation rate·routing fidelity-at-k·vendor self-preference·counterfactual-delegation ceiling을 포함한 multi-axis metric suite.
23,375 task instance의 5-condition reference sweep으로 3가지 벤치마크 수준 발견 도출: (i) 4가지 awareness condition에서 mean end-task quality가 통계적으로 구별 불가, (ii) routing fidelity-at-1이 같은 quality 조건에서 7.5%~29.5%로 큰 분산, (iii) counterfactual ceiling이 모든 스위트에서 측정 성능보다 15~31%p 위에 있음.
substrate·annotation 레이어·reference intervention suite·analysis pipeline·220 condition별 run archive 공개.

핵심 아이디어

"qualtiy만으로 평가하면 orchestration 신호를 놓친다"는 핵심 진단. 같은 평균 품질을 내는 두 시스템도 라우팅 충실도·delegation 효율은 매우 다르며, "완벽한 위임"이 가능했을 때의 ceiling을 정의하면 미래 orchestration 연구의 헤드룸이 명확해진다.

기술적 접근법

**모델/방법론**: 고정 태스크 스위트 + 다양한 peer 모델 풀 + delegation 인터페이스를 갖춘 평가 substrate, 다양한 routing 전략·peer memory·multi-step delegation이 동일 기준으로 평가되도록 설계.
**핵심 기법**: 결정적 skill annotation 레이어, multi-axis metric (quality/cost/latency/delegation rate/routing fidelity@k/self-preference/counterfactual ceiling), 5-condition reference sweep (n=23,375).

주요 결과

4가지 awareness condition에서 평균 종단 품질이 통계적으로 구분되지 않음 (|β|≤0.010, p≥0.21).
비슷한 mean quality에서도 routing fidelity-at-1은 7.5%~29.5% 범위로 크게 차이 나며 delivery channel(on-demand tool vs preloaded description)이 description content보다 영향을 더 크게 줌.
counterfactual delegation ceiling이 모든 스위트에서 측정 성능보다 15~31%p 위에 위치 → orchestration 연구의 미래 헤드룸 정량 확인.

의의 및 한계

**의의**: emergent delegation 연구를 비교 가능한 평가 substrate 위로 올려놓고, "quality only" 평가의 한계를 정량적으로 폭로함. **한계**: peer pool·태스크 스위트가 고정되어 있어 매우 새로운 도메인의 위임 패턴은 별도 확장이 필요.

실용적 활용

멀티 에이전트 라우팅 알고리즘·peer memory·multi-step delegation 연구의 표준 평가 substrate.
LLM 벤더가 자사 모델의 self-preference·routing 충실도를 평가하기 위한 진단 도구.
에이전트 시스템 PM·연구자에게 "어디까지 orchestration이 더 가능한가" 정량 기준 제공.