Ko-WideSearch: A Korean Breadth-Search Benchmark for Exhaustive Set Enumeration by Web Agents

Web-agent benchmarks overwhelmingly measure depth -- pinning one obscure answer behind a chain of constraints -- while breadth, exhaustively enumerating a closed set and filling each item's attributes, is barely evaluated, especially outside English. Breadth is also hard to build: certifying that a gold set is complete and every cell correct is far costlier than checking a single answer. I introduce \textsc{Ko-WideSearch}, a Korean breadth-search benchmark built by an automated synthesize-and-verify pipeline. Each task names a set-parent entity -- a TV season, a dynasty, a league, an administrative region, an election -- and asks for its full membership plus a per-item attribute table, graded by Item-, Column-, and Row-F1. It spans 228 tables over 190 entities and sixteen categories across three difficulty tiers, set by two structural knobs I dial independently -- table width and a 2-D composite key -- so cross-product membership climbs from 0\% to 100\% across the tiers. A single normalization-aware comparator is shared between gold construction and grading, so stable date and count columns are not over-dropped on formatting alone. Across twenty web agents, the failure is consistent: agents recover the set but not the rows (e.g.\ Item-F1 92.8 against Row-F1 53.7), accuracy falls steadily as the knobs harden, and neither more search nor more spend closes the gap. Broken down by cell, the hard part is finding the right value, not formatting it: open-ended free-text cells fail most, while cells with a standard answer such as a date or a name usually come out right.

한 줄 요약

Ko-WideSearch는 한국어 웹 에이전트의 브레드스(전체 집합 열거) 탐색 능력을 평가하는 자동 생성-검증 파이프라인 기반의 벤치마크이다.

핵심 기여도

Ko-WideSearch: 190개 엔티티, 16개 카테고리, 228개 테이블로 구성된 한국어 브레드스 탐색 벤치마크.
자동화된 synthesize-and-verify 파이프라인을 통해 생성 및 검증 과정을 확장 가능하게 구축.
Item-F1 92.8, Row-F1 53.7로 웹 에이전트가 집합은 찾지만 행 단위 정확도는 낮은 실패 패턴을 밝혀냄.
정규화 인식 비교기(normalization-aware comparator)를 도입해 날짜, 수치 열의 오류를 줄임.

핵심 아이디어

기존 웹 에이전트 평가가 '뎁스' 중심이었다면, Ko-WideSearch는 '브레드스'를 평가하는 새로운 접근법을 제시한다. 브레드스는 닫힌 집합을 완전히 열거하고, 각 항목의 속성을 채우는 작업으로, 이는 단일 정답 추적과는 구조적으로 다르다. 예를 들어, "2026년 6월까지 한국에서 운항하는 저비용 항공사 목록과 각 항공사의 정보"를 요구하는 작업은 단일 정보가 아닌 구조화된 테이블을 요구한다. Ko-WideSearch는 이러한 브레드스 작업을 평가하기 위해, 테이블 너비와 2차원 복합 키(composite key)라는 두 개의 독립적인 난이도 조절 요소를 도입하여, 테이블의 완전도(0%에서 100%)를 조절한다. 이는 기존의 단일 정답 중심 평가에서 벗어나, 구조화된 집합 처리 능력을 측정하는 새로운 평가 기준을 제시한다.

기술적 접근법

**모듈명**: synthesize-and-verify 파이프라인.
**데이터셋**: 190개 엔티티, 16개 카테고리, 228개 테이블.
**평가 지표**: Item-F1, Column-F1, Row-F1.
**난이도 조절**: 테이블 너비와 2-D 복합 키.
**정규화 인식 비교기**: 날짜, 수치 열의 형식 오류를 줄이기 위해 도입.
**검증 과정**: 3단계 인증 게이트(non-memorizability, 완전성, 교차 출처 속성 검증).
**하이퍼파라미터**: 최대 7개 열, 14,560개 속성 셀, 4,262개 행.

주요 결과

20개 웹 에이전트 평가 결과, GPT-5.5는 Item-F1 92.8, Row-F1 53.7로 집합은 찾지만 행 단위 정확도는 낮음.
난이도 조절 요소(테이블 너비, 2-D 복합 키)가 증가할수록 정확도가 감소함.
열 단위 정확도는 날짜, 이름 등 표준 정답이 있는 경우 높지만, 개방형 텍스트 셀은 실패 비율이 높음.
LLM이 웹 기반 출처 레이블을 72% 정확도로 추정하는 것으로 보아, 자동화된 평가가 필요함.

의의 및 한계

Ko-WideSearch는 한국어 웹 에이전트의 브레드스 탐색 능력을 체계적으로 평가할 수 있는 첫 번째 벤치마크로, 구조화된 집합 처리 능력을 측정하는 새로운 평가 기준을 제시한다. 특히, 자동 생성-검증 파이프라인을 통해 수작업으로는 불가능한 규모의 데이터셋을 구축할 수 있으며, 정규화 인식 비교기를 통해 형식 오류를 줄이는 실용적 기여도가 있다. 그러나, 모든 작업이 실시간 웹 검색 기반으로 이루어지므로 평가 데이터는 공개되지 않고 요청 시 제공되며, 이는 벤치마크의 재현성에 일부 제약을 초래할 수 있다.

실용적 활용

Ko-WideSearch는 한국어 웹 에이전트의 구조화된 정보 추출 능력을 평가하는 데 활용될 수 있으며, 특히 정부 통계, 역사적 데이터, 스포츠 리그 정보 등 닫힌 집합을 다루는 분야에서 유용하다. 또한, 웹 기반 정보 시스템 개발, 대규모 데이터 수집 프로젝트, 언어 모델 평가 플랫폼 구축에도 활용 가능하다.