Xetrieval: Mechanistically Explaining Dense Retrieval

Explaining why dense retrievers assign high relevance scores remains challenging because retrieval decisions are made through opaque high-dimensional embeddings. Existing explanations often focus on surface signals, such as lexical matches, token alignments, or post-hoc textual rationales, and thus provide limited insight into the latent factors that shape dense retrieval behavior at the embedding level. We propose Xetrieval, an embedding-level mechanistic framework for explaining dense retrieval. Xetrieval first introduces a lightweight reasoning internalizer that approximates Chain-of-Thought reasoning directly in the embedding space with a single forward pass, enriching sentence embeddings with reasoning-oriented information while avoiding expensive autoregressive generation. It then decomposes these reasoning-enhanced embeddings into sparse, human-interpretable features, each associated with a coherent natural language description. By aggregating sparse feature overlaps across multiple document-side views, Xetrieval provides feature-level explanations of individual retrieval decisions. Experiments on diverse retrievers and benchmarks show that Xetrieval uncovers coherent interpretable features, yields stronger pair-level intervention effects, and supports task-level feature steering. The project page and source code are available at https://hihiczx.github.io/Xetrieval .

📋 한 줄 요약

**[Dense Retrieval / Mechanistic Explanation]** Xetrieval이 reasoning internalizer로 CoT를 single forward pass로 embedding에 주입 후 sparse interpretable feature로 분해 — 검색 결정의 feature-level 설명·intervention·task-level steering 가능.

🎯 핵심 기여도

Dense retriever가 high-dimensional embedding의 opaque한 결정으로 높은 관련성 부여 이유 설명이 어렵다는 문제 진단.
기존 설명이 lexical match·token alignment·post-hoc rationale 등 surface signal에 집중해 embedding 수준의 latent factor에 대한 통찰이 제한적임을 지적.
Xetrieval — dense retrieval의 embedding-level mechanistic 설명 프레임워크 제안.
Lightweight reasoning internalizer가 Chain-of-Thought reasoning을 embedding space에서 single forward pass로 근사 — sentence embedding에 reasoning-oriented 정보를 enrich하면서 비싼 autoregressive generation 회피; 이 reasoning-enhanced embedding을 sparse·human-interpretable feature로 분해, 각 feature는 coherent 자연어 설명 동반; document-side multi-view의 sparse feature overlap 집계로 개별 retrieval 결정의 feature-level 설명 제공.

💡 핵심 아이디어

Dense retrieval 설명을 lexical match 수준이 아닌 embedding space의 mechanistic feature로 끌어올리려면 CoT-style reasoning을 embedding에 single-pass로 internalize하고, 이를 sparse·자연어로 설명되는 feature로 분해해 multi-view 집계해야 한다.

🔬 기술적 접근법

**방법론**: Xetrieval — reasoning internalizer + sparse interpretable feature decomposition.
**핵심 기법**: (1) Lightweight reasoning internalizer가 CoT를 embedding space에서 single forward pass로 근사, (2) Reasoning-enhanced sentence embedding 생성(autoregressive 회피), (3) Sparse·human-interpretable feature로 분해, (4) 각 feature에 coherent 자연어 설명 부여, (5) Document-side multi-view의 sparse feature overlap 집계로 retrieval 결정 설명.

📊 주요 결과

다양 retriever·benchmark에서 coherent interpretable feature 발굴.
Pair-level intervention 효과가 더 강함을 정량 입증.
Task-level feature steering 가능.
Project: hihiczx.github.io/Xetrieval.

💭 의의 및 한계

**의의**: Dense retrieval의 embedding-level mechanistic 설명의 첫 통합 프레임워크, CoT를 single forward pass로 근사하는 효율 설계, feature-level 설명·intervention·steering까지 확장된 실용성. **한계**: Reasoning internalizer의 학습 데이터·품질 의존, sparse feature decomposition의 sparsity·해석성 trade-off, 매우 도메인 specific retrieval에서의 일반화는 후속.

🚀 실용적 활용

검색 결과 설명 가능한 search engine.
Retrieval bias 진단·debiasing.
Task-specific retriever steering·튜닝.