ChromaFlow: A Negative Ablation Study of Orchestration Overhead in Tool-Augmented Agent Evaluation

Autonomous language-model agents increasingly combine planning, tool use, document processing, browsing, code execution, and verification loops. These capabilities make agent systems more useful, but they also introduce operational failure modes that are not visible from final accuracy alone. This report presents ChromaFlow, a tool-augmented autonomous reasoning framework built around planner-directed execution, specialized tool use, and telemetry-driven evaluation. We analyze ChromaFlow on GAIA 2023 Level-1 validation tasks under clean evaluation constraints. A frozen full Level-1 baseline achieved 29/53 correct answers, or 54.72%. A later recovery configuration with expanded orchestration achieved 27/53 correct answers, or 50.94%, while increasing tracebacks, timeout events, tool-failure mentions, token-line calls, and campaign-log cost estimates. Two randomized 20-task smoke evaluations produced 12/20 and 11/20 correct answers, showing that small diagnostic gains can be unstable across samples. The central result is therefore a negative ablation: more aggressive orchestration did not improve full-set performance and increased operational noise. The report argues that bounded planner escalation, deterministic extraction, evidence reconciliation, and explicit run gates should be treated as first-order requirements for reliable autonomous agent evaluation.

📋 한 줄 요약

**[에이전트 평가 / 부정 결과]** 도구 보강 자율 추론 프레임워크 ChromaFlow에서 더 공격적인 오케스트레이션이 정확도를 오히려 떨어뜨림을 GAIA에서 보인 negative ablation 보고.

🎯 핵심 기여도

planner-directed execution, 전문화 도구 사용, telemetry 기반 평가를 결합한 ChromaFlow 프레임워크 구축.
GAIA 2023 Level-1 valid set 53문항에서 baseline 54.72% 대비 더 공격적인 recovery 구성이 50.94%로 하락하는 부정 결과 도출.
동시에 traceback·timeout·tool-failure·token call·cost 추정이 모두 증가함을 telemetry로 정량화.
자율 에이전트 평가에서 bounded planner escalation, deterministic extraction, evidence reconciliation, explicit run gate를 1차 요구사항으로 제안.

💡 핵심 아이디어

"오케스트레이션을 더 많이 하면 좋아진다"는 직관은 깨질 수 있다. 최종 정확도만 보면 실패의 출처가 가려지므로, telemetry로 운영 잡음(operational noise)을 함께 측정해야 에이전트 진보를 정직하게 판단할 수 있다.

🔬 기술적 접근법

**모델/방법론**: planner + 전문 도구(문서·브라우징·코드 실행·검증) + telemetry 로깅을 통합한 ChromaFlow.
**핵심 기법**: 전체 Level-1 baseline 동결 평가, 확장된 오케스트레이션 recovery 구성과 비교, 20문항 무작위 smoke 평가 2회로 안정성 점검, traceback/timeout/tool failure/cost를 1차 metric화.

📊 주요 결과

Baseline frozen Level-1: 29/53 (54.72%).
확장 recovery 구성: 27/53 (50.94%) — 정확도 하락 + 운영 잡음 증가.
20문항 무작위 smoke 평가: 12/20, 11/20 — 작은 진단 이득의 불안정성 확인.
중심 결과는 negative ablation: 더 많은 오케스트레이션 ≠ 더 나은 성능.

💭 의의 및 한계

**의의**: 화려한 정확도 보고에 가려진 자율 에이전트의 운영적 실패 모드를 드러내며, 평가 방법론 개혁의 근거를 제공. **한계**: GAIA Level-1 단일 벤치마크 평가, ChromaFlow 단일 시스템 사례라 일반화에는 추가 검증 필요.

🚀 실용적 활용

자율 에이전트 시스템의 진보 측정 시 telemetry-driven evaluation 도입.
도구 보강 LLM 에이전트 배포 시 bounded escalation, run gate 등 안전장치 설계 가이드.
에이전트 회귀 테스트에 정확도 외 cost·failure mode 측정 기본 포함.