BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval

Existing retrieval benchmarks primarily consist of information-seeking queries (e.g., aggregated questions from search engines) where keyword or semantic-based retrieval is usually sufficient. However, many complex real-world queries require in-depth reasoning to identify relevant documents that go beyond surface form matching. For example, finding documentation for a coding question requires understanding the logic and syntax of the functions involved. To better benchmark retrieval on such challenging queries, we introduce BRIGHT, the first text retrieval benchmark that requires intensive reasoning to retrieve relevant documents. Our dataset consists of 1,384 real-world queries spanning diverse domains, such as economics, psychology, mathematics, and coding. These queries are drawn from naturally occurring and carefully curated human data. Extensive evaluation reveals that even state-of-the-art retrieval models perform poorly on BRIGHT. The leading model on the MTEB leaderboard (Muennighoff et al., 2023) SFR-Embedding-Mistral (Meng et al., 2024), which achieves a score of 59.0 nDCG@10,1 produces a score of nDCG@10 of 18.3 on BRIGHT. We show that incorporating explicit reasoning about the query improves retrieval performance by up to 12.2 points. Moreover, incorporating retrieved documents from the top-performing retriever boosts question-answering performance. We believe that BRIGHT paves the way for future research on retrieval systems in more realistic and challenging settings.

한 줄 요약

BRIGHT는 추론이 필요한 실제 세계 검색 문제를 평가하기 위한 첫 번째 벤치마크로, 기존 모델이 18.3 nDCG@10에 불과한 수준으로 성능이 저조함을 보여준다.

핵심 기여도

BRIGHT: 추론이 필요한 검색 문제를 다루는 첫 번째 벤치마크 (1,384개의 실제 질의 포함).
기존 최고 성능 모델인 SFR-Embedding-Mistral이 BRIGHT에서 nDCG@10 18.3로, MTEB에서 59.0에 비해 현저히 낮은 성능.
질의에 대한 추론 단계를 추가하면 최대 12.2 포인트 개선 가능.
상위 검색기에서 검색된 문서를 활용하면 질문 응답 성능 향상.

핵심 아이디어

기존 검색 벤치마크는 키워드나 의미 기반 검색으로 충분한 단순 질의에 초점을 맞추고 있다. 그러나 실제 세계에서는, 경제 이론을 기반으로 유사한 사례를 찾거나, 코드 오류 메시지에 해당하는 문법 문서를 찾는 등, 표면적 일치를 넘어 추론이 필요한 복잡한 질의가 자주 발생한다. BRIGHT는 이러한 문제를 해결하기 위해, 12개의 다양한 도메인에서 추출된 1,384개의 실제 질의를 기반으로 구성된 새로운 검색 벤치마크이다. 이는 단순한 텍스트 일치를 넘어, 질의와 문서 간의 추론적 연관성을 평가하는 데 초점을 맞춘다.

기술적 접근법

**데이터셋 구성**: 12개 도메인 (경제, 심리학, 수학, 코딩 등)에서 추출된 1,384개의 실제 질의.
**StackExchange 기반 데이터셋**: 문서가 답변에 인용되었는지 여부로 관련성을 정의, 다중 어노테이터 검증.
**코딩 및 수학 문제 데이터셋**: 공통 알고리즘/정리에 기반한 문서-질의 연관성.
**평가 모델**: 13개의 대표적인 검색 모델 평가.
**추론 단계 추가**: LLM을 활용한 Chain of Thought(CoT) 생성을 통해 질의에 대한 추론 단계를 추가.

주요 결과

SFR-Embedding-Mistral (MTEB 최고 성능 모델, nDCG@10 59.0)이 BRIGHT에서 18.3 nDCG@10 기록.
질의에 추론 단계를 추가하면 최대 12.2 포인트 개선.
Qwen 검색기에서 검색된 문서를 활용하면 질문 응답 성능 향상.
최고 성능 모델도 nDCG@10 24.3에 불과.

의의 및 한계

BRIGHT는 추론이 필요한 실제 검색 문제를 평가하는 데 중요한 기준이 되며, 기존 검색 모델의 한계를 명확히 드러낸다. 특히, 단순 텍스트 일치 기반 검색이 아닌, 추론 단계를 통한 검색 성능 향상 가능성을 제시한다. 그러나 BRIGHT는 데이터셋의 크기와 도메인 다양성에도 불구하고, 일부 도메인에서의 어노테이션 주관성 문제나, 모델의 대규모 사전 학습에 대한 데이터 유출 가능성도 언급된다. 그러나 실험 결과, 데이터 유출이 성능 향상에 큰 영향을 미치지 않았다는 점이 밝혀졌다.

실용적 활용

BRIGHT는 경제 분석, 소프트웨어 개발, 수학 문제 해결 등 추론이 필요한 검색이 필수적인 산업 및 연구 분야에서 활용 가능하다. 특히, LLM 기반 추론 단계를 통한 검색 성능 개선 전략은 실제 시스템에 적용 가능하며, 추후 추론 중심 검색 시스템 개발에 기여할 수 있다.