FDE-Gym: The Last Mile of AI Delivery

Existing agent benchmarks typically evaluate agents on well-specified tasks defined by issue reports, specifications, or task tickets. Real-world customer delivery is different: forward-deployed engineers (FDEs) must clarify ambiguous requirements, work in live systems, and uncover unstated constraints. We introduce FDE-Gym, a benchmark of 95 end-to-end delivery tasks from 20 customer scenarios across 18 sectors, each adapted by industry experts from real-world delivery projects. In simulated customer environments with scripted stakeholders and modifiable customer systems, agents interact with stakeholders and operate on production-like systems to deliver working solutions. FDE-Gym scores a delivery by how much it improves the customer's own success metric, normalized between 0 (unchanged system) and 1 (reference solution), with penalties for stakeholder interactions (messages, trial runs, and waiting time). An online platform lets humans practice FDE skills under the same grading criteria. We evaluate 13 model configurations from seven providers. In the realistic setting, where unstated constraints must be discovered, the best configuration achieves a mean FDE-Gym score of 0.56 and resolves only 14 of the 95 tasks (a score of at least 0.8 with no incident). Discovering unstated constraints is the primary bottleneck: performance drops sharply when models must uncover them without explicit guidance. Yet information discovery alone does not account for the gap: even on the 23 tasks where the best configuration obtains every key fact from stakeholders, it reaches a normalized business uplift of 0.8 or above on only 10. These results reveal a substantial gap between solving well-specified tasks and delivering effective AI systems for real customers.

한 줄 요약

FDE-Gym은 실제 고객 시스템에서 AI 솔루션을 성공적으로 배포하는 능력을 평가하는 벤치마크로, Claude Opus 5.5가 평균 점수 0.56을 달성했으나 여전히 큰 성능 격차가 존재함.

핵심 기여도

FDE-Gym: 18개 산업 20개 고객 시나리오에서 95개의 엔드투엔드 배포 태스크로 구성된 새로운 벤치마크 도입.
Claude Opus 5.5가 L3(최소 정보) 조건에서 평균 점수 0.56, 95개 중 14개 태스크 해결.
정보 수집이 성능 향상의 핵심이지만, Claude Opus 5.5가 72–85%의 핵심 정보를 수집했음에도 최대 0.70의 점수에 그침.
Claude Haiku 4.5는 95개 태스크 중 79개에서 기존 시스템보다 성능 저하.

핵심 아이디어

FDE-Gym은 기존 벤치마크가 명확히 정의된 문제에만 초점을 맞춘 반면, 실제 고객 배포에서는 요구사항이 모호하고 숨겨진 제약이 존재한다는 점을 반영함. 이에 따라, FDE-Gym은 **스크립트된 이해관계자**와 **실제 고객 시스템을 모방한 환경**에서 작동하며, **고객의 자체 성공 지표**를 기준으로 평가함. 이는 단순히 기능적 정확도가 아니라 **실제 비즈니스 성과 개선**을 측정하는 핵심 차이점임.

기술적 접근법

**FDE-Gym 벤치마크**: 18개 산업, 20개 고객 시나리오, 95개 엔드투엔드 태스크로 구성.
**평가 방식**: 고객의 자체 성공 지표 기준으로 0(변경 없음)~1(참조 솔루션) 사이 점수 부여.
**상호작용 비용**: 이해관계자와의 메시지, 시연, 대기 시간에 따라 점수 감점.
**테스크 레벨**: L0(완전 명시)부터 L3(최소 정보)까지 4단계로 정보량을 점차 줄이며 평가.
**모델 평가**: 7개 제공업체의 13개 모델 구성 평가.

주요 결과

**Claude Opus 5.5**: L3 조건에서 평균 점수 0.56, 95개 중 14개 태스크 해결 (0.8 이상, 사고 없음).
**정보 수집 vs. 성능**: Claude Opus 5.5가 72–85%의 핵심 정보를 수집했음에도, 최대 0.70의 점수에 그침.
**약한 모델의 영향**: Claude Haiku 4.5는 95개 중 79개 태스크에서 기존 시스템보다 성능 저하.
**시나리오별 성능 차이**: 5개 시나리오에서 모든 모델의 평균 점수가 0.5 미만.

의의 및 한계

FDE-Gym은 기존 벤치마크가 다루지 못한 **실제 고객 시스템에서의 AI 배포 능력**을 평가하는 첫 시도로, **비즈니스 지표 기반 평가**를 도입한 점에서 학술적·실용적 의의가 있음. 그러나, **모델이 정보를 수집하더라도 이를 효과적인 솔루션으로 전환하지 못하는 문제**가 여전히 존재하며, **상호작용 비용**이 성능에 큰 영향을 미친다는 점이 한계로 드러남.

실용적 활용

FDE-Gym은 **엔터프라이즈 AI 배포**, **고객 맞춤형 솔루션 개발**, **현장 엔지니어 교육** 등에서 모델의 실무적 역량을 평가하는 데 활용 가능하며, **AI 에이전트의 판단력과 문제 해결 능력**을 정량적으로 측정할 수 있는 도구로 산업 현장에서 채택될 수 있음.