Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models

Evaluating human-AI co-design requires testing whether coding agents can translate real users' multimodal requests into working application revisions. We introduce Co-Design Bench, a reference-free benchmark of 273 tasks curated from 37,463 deduplicated queries across 26,314 real user coding sessions. Its two tracks, Multimodal Editing (ME) and Repository Editing (RE), cover localized edits with optional image, audio, video, or document inputs and coordinated repository revisions. Tasks span three capability dimensions: Grounded Understanding, UI Transformation, and Functional Implementation. The tasks pair normalized requests and runnable pre-edit applications with 2,331 hidden expert-authored acceptance criteria. Our judge-then-refute protocol grades criteria using source and browser evidence, challenges positive verdicts with a separate LLM verifier, and audits visual and interaction claims without gold code or target screenshots. Under a shared agentic harness, the strongest of ten model endpoints passes an average of 69.9% of criteria per task but fully satisfies only 26.4% of tasks. All ten endpoints achieve lower criterion completion on repository edits spanning three or four change types than on those spanning one or two. Co-Design Bench provides a testbed for studying the gap between partial requirement satisfaction and complete task success under agentic execution for real-user application revisions.

한 줄 요약

Co-Design Bench는 실제 사용자 요청을 기반으로 AI와 협업하는 코드 생성 모델을 평가하는 다모달 벤치마크로, 273개의 테스크와 2,331개의 숨겨진 기준을 포함한다.

핵심 기여도

Co-Design Bench는 26,314개의 실제 사용자 세션에서 추출한 37,463개의 중복 제거된 요청을 기반으로 273개의 테스크를 구성한 다모달 협업 코드 평가 벤치마크를 제시.
Multimodal Editing (ME)와 Repository Editing (RE) 두 트랙을 통해 로컬 편집과 리포지토리 전체 변경을 평가.
judge-then-refute 프로토콜을 통해 소스 코드와 브라우저 실행 증거를 결합하고, 별도의 LLM 검증기를 사용해 결과를 재검토.
10개 모델 엔드포인트를 평가한 결과, 최고 성능 모델이 평균 69.9%의 기준을 충족했으나, 전체 테스크 성공률은 26.4%에 그침.

핵심 아이디어

Co-Design Bench는 사용자-코드 생성 모델 협업의 성능을 평가하기 위해, 실제 사용자 요청을 기반으로 구성된 테스크와 숨겨진 기준을 통해 모델의 종합적 능력을 측정한다. 기존 벤치마크는 단일 편집이나 사전 정의된 작업에 집중했으나, Co-Design Bench는 다모달 입력(이미지, 오디오, 동영상, 문서)과 리포지토리 전체 변경을 포함한 복합 편집을 평가한다. 이는 사용자의 요청이 여러 요구사항을 동시에 충족해야 성공이라는 점을 반영한 설계이다. 평가 프로토콜은 judge-then-refute 방식으로, LLM이 기준을 평가한 후 별도의 검증 모델이 결과를 재검토하며, 시각적 요소나 상호작용을 검증할 때는 실제 렌더링과 브라우저 액션 기록을 필수로 요구한다.

기술적 접근법

**Benchmark 구성**: 26,314개의 실제 사용자 세션에서 37,463개의 요청을 중복 제거한 후, 273개의 테스크와 2,331개의 숨겨진 기준을 생성.
**트랙 구분**: Multimodal Editing (ME)는 이미지, 오디오, 동영상, 문서 입력을 포함한 로컬 편집을, Repository Editing (RE)는 UI와 기능 변경을 포함한 리포지토리 전체 편집을 평가.
**평가 프로토콜**: judge-then-refute 방식으로, LLM이 기준을 평가한 후 별도의 LLM 검증기가 결과를 재검토.
**실행 환경**: 공유된 agentic harness를 사용해 10개 모델 엔드포인트를 평가.
**실험 조건**: WebCompass 편집 작업 150개를 기반으로 단일샷 실행과 agentic 실행을 비교.
**하이퍼파라미터**: 실행 방식(단일샷 vs. agentic), 평가자 모델, 허네스 유형 등을 실험 변수로 설정.

주요 결과

**모델 성능**: 최고 성능 모델은 평균 69.9%의 기준을 충족했으나, 전체 테스크 성공률은 26.4%에 그침.
**RE 테스크 성능**: 3~4개의 변경 유형을 포함한 RE 테스크에서는 1~2개 변경 유형 테스크 대비 기준 충족률이 낮음.
**agentic 실행 효과**: WebCompass 편집 작업에서 agentic 실행은 단일샷 대비 평균 21.5%포인트 높은 기준 충족률(73.6% → 95.1%)을 보임.
**opus-4-8 모델**: agentic 실행 시 99.4%의 평균 기준 충족률을 기록.

의의 및 한계

Co-Design Bench는 실제 사용자 요청을 기반으로 구성된 다모달 협업 코드 평가 벤치마크로, 기존의 단일 편집 중심 평가 방식을 넘어 종합적인 편집 능력을 측정할 수 있는 기반을 제공한다. 특히, judge-then-refute 프로토콜은 모델의 결과를 브라우저 실행 증거와 결합해 신뢰성을 높인다. 그러나, 일부 테스크는 높은 기준 충족률에도 불구하고 전체 성공률이 낮아, 부분적 요구사항 충족과 전체 성공 간의 격차를 드러낸다. 또한, 평가 시스템 자체의 복잡성과 모델-허네스 상호작용의 영향으로 인해 일관된 평가가 어려울 수 있다.

실용적 활용

Co-Design Bench는 웹 애플리케이션 개발, UI/UX 디자인, 프론트엔드 개발 등에서 AI와 협업하는 코드 생성 모델의 성능을 평가하는 데 활용 가능하다. 특히, 사용자 요청이 다모달 입력을 포함하거나 여러 기능 변경이 필요한 상황에서 모델의 종합적 이해와 실행 능력을 측정할 수 있다.