ICAE-Bench: Evaluating Coding Agents as Interactive Project Builders

The recent emergence of vibe-coding workflows is changing what coding agents are expected to do. Instead of merely completing code under fully specified instructions, agents are increasingly expected to transform incomplete product intent into working software by combining various abilities including planning, requirement clarification, tool use, debugging, and repository-level construction. Yet existing benchmarks have not fully caught up with this shift, evaluating agents on static, fully specified tasks. In this paper, we introduce ICAE-Bench, a benchmark for evaluating coding agents under interactive project-building settings. The basic idea is to start from a fuzzy product requirement, simulating the dynamic paradigm with an automated User Agent. To make this setting both realistic and evaluable, ICAE-Bench introduces three key designs. First, to avoid the ambiguity of unconstrained fuzzy requirements, each task derives ambiguity from a precise real open-source repository with executable behavior. Second, to ensure high-quality and reproducible user simulation, ICAE-Bench grounds interaction through User Agent Data, allowing the User Agent to reveal hidden constraints without inventing new requirements or leaking implementation artifacts. Third, to evaluate open-ended repositories fairly, ICAE-Bench uses standardized black-box tests together with multi-dimensional diagnostics, including functional correctness, semantic and API similarity, structural fidelity, design quality, and interaction quality.

한 줄 요약

ICAE-Bench는 퍼지 요구사항 기반 프로젝트 생성 능력을 평가하는 새로운 벤치마크이다.

핵심 기여도

ICAE-Bench는 12개 프로그래밍 언어, 480개의 실제 오픈소스 레포지토리 기반 테스크를 포함.
User Agent Data를 통해 사용자 시뮬레이션의 재현성과 품질을 보장.
기능 정확도, API 유사도, 구조적 일치도 등 다차원 평가 체계를 도입.
기존 벤치마크와 달리 퍼지 요구사항을 반영한 동적 평가 환경 제공.

핵심 아이디어

ICAE-Bench는 기존의 정적이고 완전히 명시된 작업 평가 방식을 벗어나, 실제 개발 환경에 가까운 퍼지 요구사항 기반 프로젝트 생성 능력을 평가한다. 이는 사용자 대리자(User Agent)를 통해 동적 상호작용을 시뮬레이션하고, 실제 오픈소스 레포지토리에서 유도한 명확한 실행 가능한 요구사항을 바탕으로 퍼지성을 도입한다. 핵심 통찰은, 단순한 코드 완성 능력이 아닌, 요구사항 명확화, 디버깅, 레포지토리 수준의 구조화 능력이 현대 코드 에이전트 평가의 핵심이라는 점이다.

기술적 접근법

**User Agent Data**: 사용자 시뮬레이션의 일관성과 재현성을 위해 사용자 대리자 데이터를 기반으로 상호작용을 구축.
**Black-box 테스트**: 기능 정확도를 평가하기 위해 표준화된 블랙박스 테스트를 사용.
**다차원 진단**: 기능 정확도, 의미적/API 유사도, 구조적 일치도, 설계 품질, 상호작용 품질을 평가.
**480개 테스크**: 12개 프로그래밍 언어에 걸쳐 실제 오픈소스 레포지토리에서 유도한 작업.

주요 결과

6개 코드 모델과 2개 에이전트 프레임워크를 대상으로 실험한 결과, 애매한 프로젝트 생성은 여전히 어려움.
에이전트는 가시적 동작을 재현하지만, 숨겨진 제약, 경계 조건, 장기적 통합에는 어려움을 보임.
기존 정적 평가 방식과 달리, ICAE-Bench는 동적 상호작용과 프로젝트 구조화 능력을 정량적으로 평가 가능.

의의 및 한계

ICAE-Bench는 코드 에이전트가 실제 개발 환경에서 요구되는 종합적 능력을 평가할 수 있는 첫 번째 벤치마크로, 퍼지 요구사항 처리 능력, 요구사항 명확화, 디버깅, 레포지토리 수준의 구조화 능력을 측정하는 데 기여한다. 그러나 모든 실제 개발 상황을 포괄하지 못하며, 일부 테스크는 여전히 제한된 범위 내에서 평가될 수 있다.

실용적 활용

ICAE-Bench는 코드 에이전트의 실용성 평가, 요구사항 명확화 능력 향상, 프로젝트 수준의 코드 생성 기술 개발에 활용 가능하다. 특히, 요구사항이 불확실한 개발 환경에서 에이전트의 성능을 정량적으로 평가하는 데 유용하다.