Beyond Relevance-Centric Retrieval: Rubric-Oriented Document Set Selection and Ranking

As large language models and AI agents become the primary consumers of search results, document set quality determines the upper bound of downstream generation. Yet existing evaluation systems remain confined to scoring documents independently and aggregating via nDCG, ignoring inter-document interactions (redundancy, conflict, complementarity) and unable to answer what makes one document set better than another. To address these issues, we propose a complete evaluate-diagnose-optimize framework. We design SetwiseEvalKit, a three-level, nine-dimension document set evaluation benchmark covering both short-form and long-form scenarios, comprising approximately 28K high-quality evaluation rubrics. We systematically evaluate 12 rerankers: even the best method achieves no more than 45% coverage, cross-document coordination dimensions are universally weak, and no single method maintains top performance across both settings. Building on this, we propose Rubric4Setwise, a training-free method that converts rubric-based evaluation criteria into document set selection signals, achieving the best downstream generation performance with fewer documents and search rounds. It is the only method that maintains state-of-the-art results across both scenarios, validating the effectiveness of closing the loop from evaluation to optimization.

한 줄 요약

Rubric4Setwise는 문서 집합의 질을 다차원적으로 평가하고 이를 기반으로 최적의 문서 선택을 수행하여 생성 성능을 향상시키는 훈련 없이 작동하는 시스템이다.

핵심 기여도

SetwiseEvalKit: 3단계 9차원 평가 벤치마크를 제안, 약 28,000개의 고질량 평가 기준 포함.
12개의 리랭커를 체계적으로 평가한 결과, 최고 성능도 45% 커버리지에 불과하며, 문서 간 상호작용 차원은 전반적으로 약한 것으로 드러남.
Rubric4Setwise: 훈련 없이 평가 기준을 선택 신호로 전환하여, 더 적은 문서와 검색 라운드로 최고 생성 성능 달성.
Rubric4Setwise는 단문형과 장문형 시나리오에서 모두 최고 성능을 유지하며, 평가-최적화 루프의 효과성을 입증.

핵심 아이디어

기존의 문서 평가 시스템은 개별 문서 점수를 독립적으로 평가하고 nDCG로 집계하는 방식으로, 문서 간 상호작용(중복, 모순, 보완)을 무시한다. 이는 왜 하나의 문서 집합이 다른 집합보다 더 좋은지 설명할 수 없게 만든다. 본 연구는 평가-진단-최적화의 완전한 프레임워크를 제안하며, Rubric4Setwise를 통해 평가 기준을 직접 선택 신호로 전환함으로써, 훈련 없이도 문서 집합의 질을 개선한다. Rubric4Setwise는 평가 기준에 따라 중복을 제거하고, 보완성을 강화하며, 모순을 감지하여 생성 품질을 향상시킨다.

기술적 접근법

**SetwiseEvalKit**: 3단계(문서 수준, 집합 수준, 글로벌 수준), 9차원(예: 보완성, 완전성, 모순)의 평가 벤치마크.
**Rubric4Setwise**: 훈련 없이 Rubric 기반 평가 기준을 문서 선택 신호로 전환.
**평가 프로토콜**: DeepSeek-V4 Pro를 사용한 자동 평가, 0–4점 척도로 각 Rubric 점수를 산출.
**Coverage 계산식**: $ \text{Cov}_d = \frac{1}{|\mathcal{R}_d|} \sum_{r \in \mathcal{R}_d} \frac{\text{score}(r)}{4} \times 100\% $
**Stability**: 샘플당 2회 독립 평가 수행, 표준 편차를 통해 안정성 검증.

주요 결과

**SetwiseEvalKit**: 12개 리랭커 평가 결과, 최고 성능도 45% 커버리지에 불과.
**Rubric4Setwise**: 단문형 시나리오에서 EM +0.97, F1 +0.62 개선, 평균 2.66개 문서 사용.
**장문형 시나리오**: LLM-judge 점수 70.57 달성, ReasonRank 대비 +2.42, Rearank 대비 +2.22 개선.
**검색 라운드**: Rubric4Setwise는 4.52 라운드로, SetR(4.73)보다 적은 라운드로 성능 달성.

의의 및 한계

Rubric4Setwise는 평가 기준을 선택 신호로 직접 활용함으로써, 훈련 없이도 문서 집합의 질을 개선하는 새로운 패러다임을 제시한다. SetwiseEvalKit은 문서 집합 평가의 다차원적 필요성을 입증하며, 기존 리랭커의 한계를 명확히 드러낸다. 그러나 Rubric4Setwise는 훈련 없이 작동하므로, 특정 도메인에 대한 적응성은 제한될 수 있다. 또한, 리랭커와 검색 에이전트 간 정보 흐름이 없어, 장문형 시나리오에서 성능 상한이 낮은 것으로 나타났다.

실용적 활용

Rubric4Setwise는 LLM 기반 생성 시스템에서 문서 집합의 질을 향상시키는 데 활용할 수 있으며, 특히 단문형 QA, 장문형 추론, 멀티턴 검색 에이전트 등 다양한 RAG 시나리오에 적용 가능하다. SetwiseEvalKit은 리랭커 개발 및 평가 시 다차원적 진단 도구로 활용될 수 있다.