When Search Agents Should Ask: DiscoBench for Clarification-Aware Deep Search

Search agents powered by large language models (LLMs) are increasingly used to solve complex information-seeking tasks, requiring multi-step retrieval and reasoning to fulfill user goals. However, existing benchmarks often assume that user queries are complete and explicit, overlooking the fact that real-world search requests are frequently vague, underspecified, or even factually incorrect. In deep search scenarios, such ambiguity can propagate along multi-step reasoning chains and lead agents toward incorrect search trajectories. To address this gap, we introduce DiscoBench, a benchmark for clarification-aware deep search, designed to evaluate whether search agents can proactively identify ambiguity, ask effective clarification questions, and recover correct reasoning paths through user interaction. DiscoBench contains 211 samples and 463 ambiguity instances across 11 real-world domains, covering four ambiguity types. We further design a user simulator for multi-turn interaction and evaluate model performance from four perspectives: task utility, ambiguity detection, interaction strategy, and cost efficiency. Experiments on representative LLMs show that ambiguity detection and effective clarification are distinct capabilities, and that repeatedly searching instead of asking for clarification often performs worse than direct guessing, highlighting a critical gap between retrieval ability and interactive problem-solving in current search agents.

한 줄 요약

DiscoBench는 모호성 탐지와 클리어리피케이션을 평가하는 다단계 딥서치 벤치마크로, 11개 도메인 211개 샘플과 463개 모호성 인스턴스를 포함한다.

핵심 기여도

DiscoBench는 모호성이 다단계 추론 체인에서 동적으로 발생하는 현상을 반영한 첫 번째 인터랙티브 딥서치 벤치마크이다.
11개 실제 도메인, 211개 샘플, 463개 모호성 인스턴스, 4가지 모호성 유형을 포함.
사용자 시뮬레이터를 통해 4가지 평가 관점(task utility, ambiguity detection, interaction strategy, cost efficiency)에서 모델 성능을 평가.
실험 결과, 반복 검색보다 클리어리피케이션이 더 효과적임을 밝혀내며, 모호성 인식과 클리어리피케이션 능력이 구분된 능력임을 입증.

핵심 아이디어

기존 딥서치 벤치마크는 사용자 질의가 명확하다고 가정하지만, 실제 사용자 요청은 자주 모호하거나 불완전하다. 이는 다단계 추론 과정에서 오류가 누적되어 잘못된 검색 경로를 유발할 수 있다. 따라서, DiscoBench는 모호성 탐지와 클리어리피케이션을 핵심 평가 지표로 삼아, 사용자와의 인터랙션을 통해 정확한 추론 경로를 복구할 수 있는 능력을 평가한다. 이는 기존의 정적 질의 이해 중심의 벤치마크와 구분된다.

DiscoBench는 모호성이 단일 질의의 속성이 아니라, 다단계 추론 체인 상에서 동적으로 발생하는 현상으로 모델링한다. 이에 따라, 각 모호한 체크포인트에서 에이전트는 직접 추측하거나 닫힌 선택 옵션을 사용하는 대신, 사용자와의 인터랙션을 통해 구별 가능한 단서를 얻도록 설계되었다.

기술적 접근법

**DiscoBench 데이터셋**: 11개 실제 도메인, 211개 샘플, 463개 모호성 인스턴스, 4가지 모호성 유형 포함.
**Seed Data Preparation**: 고질량 다홉 추론 체인 생성.
**Ambiguous Data Construction**: 모호성 주입 및 구별 가능한 사실 생성을 통한 인터랙티브 디스암비규데이션 데이터셋 생성.
**사용자 시뮬레이터**: 다단계 인터랙션을 시뮬레이션하며, 구별 가능한 단서를 점진적으로 공개.
**평가 관점**: task utility, ambiguity detection, interaction strategy, cost efficiency 4가지.

주요 결과

LLM 기반 검색 에이전트는 모호성 탐지와 효과적인 클리어리피케이션 능력이 구분된 능력임을 실험적으로 입증.
반복 검색 대신 클리어리피케이션을 수행하는 것이 성공률이 더 높음.
직접 추측보다 클리어리피케이션이 더 효과적임을 밝혀냄.
DiscoBench에서 모델 성능은 task utility, ambiguity detection, interaction strategy, cost efficiency 4가지 관점에서 평가됨.

의의 및 한계

DiscoBench는 딥서치 에이전트가 모호성을 인식하고 클리어리피케이션을 통해 정확한 추론 경로를 복구할 수 있는 능력을 평가하는 첫 번째 벤치마크로, 인터랙티브 문제 해결 능력을 측정하는 새로운 기준을 제시한다. 이는 기존의 정적 질의 중심의 평가 체계와는 차별화된 접근법이다.

그러나, DiscoBench는 여전히 실제 사용자와의 인터랙션을 완전히 재현하지 못하며, 사용자 시뮬레이터가 완전히 동적인 환경을 반영하지 못할 수 있다는 한계가 있다. 또한, 모델의 추론 능력과 인터랙션 전략 간의 상호작용에 대한 심층 분석은 추가 연구가 필요하다.

실용적 활용

DiscoBench는 검색 에이전트가 사용자와의 인터랙션을 통해 정확한 정보를 추출하는 능력을 개선하는 데 활용될 수 있다. 특히, 복잡한 정보 탐색이 필요한 의료, 법률, 금융 분야에서 유용하며, 대규모 언어 모델 기반의 챗봇 및 가상 어시스턴트 개발에도 적용 가능하다.