Is Position Bias in Dense Retrievers Built In-or Learned from Data?

Dense retrievers exhibit positional bias, favoring documents whose query-relevant information appears near the beginning and degrading retrieval performance when the information appears later. While prior work on positional bias in dense retrievers has largely focused on architectural explanations, we study how the positional distribution of evidence in training data affects retrieval-level bias direction. To test this, we construct synthetic position-targeted training sets in which query-relevant evidence appears at the beginning, middle, or end of documents, and fine-tune eight architecturally diverse pretrained models under position-skewed and balanced training distributions. At the ranking level, we observe a strong directional pattern across the examined models: skewed training distributions favor evidence at the corresponding positions. Position-balanced training reduces positional sensitivity by 57--87\% on position-aware benchmarks, with competitive mean retrieval performance in our controlled setting. Representation-level analyses further suggest that fine-tuning often reshapes learned positional preferences, although pre-existing architectural or pretraining-specific tendencies persist in some models. These results identify training-position distribution as a major controllable factor in retrieval-level position bias and suggest balanced data curation as a practical mitigation strategy.

📋 한 줄 요약

**[Dense Retrieval / Position Bias]** Position-skewed 학습 분포가 dense retriever의 positional bias 방향을 결정 — position-balanced 학습이 8 아키텍처에서 positional sensitivity 57~87% 감소, mean retrieval 성능 경쟁적; data curation이 실용적 완화책.

🎯 핵심 기여도

Dense retriever가 positional bias를 보임 — query-relevant 정보가 문서 시작부에 있을 때 선호, 나중에 등장하면 retrieval 성능 저하 — 선행 연구가 주로 아키텍처적 설명에 집중함을 지적.
학습 데이터의 evidence 위치 분포가 retrieval 수준 bias 방향에 어떻게 영향 미치는지 연구.
합성 position-targeted 학습 셋 구성 — query-relevant evidence를 문서의 시작·중간·끝 위치에 두고 8개 architecturally diverse pretrained 모델을 position-skewed·position-balanced 분포로 fine-tune.
랭킹 수준에서 일관된 방향 패턴 관찰 — skewed 분포가 대응 위치 evidence를 선호; Position-balanced 학습은 positional sensitivity 57~87% 감소·position-aware 벤치에서 경쟁적 평균 retrieval 성능 유지; representation-level 분석은 fine-tuning이 학습된 positional preference를 자주 reshape하지만 일부 모델은 pretraining/아키텍처 기인 경향 잔존을 보임 — training-position 분포가 retrieval 위치 bias의 주된 controllable factor이며 balanced data curation이 실용 완화 전략임을 시사.

💡 핵심 아이디어

Dense retriever의 positional bias는 아키텍처 본연이라기보다 학습 데이터의 evidence 위치 분포가 결정하는 controllable factor이며, 위치 균형 데이터 큐레이션이 architecture 변경 없이 sensitivity를 50%대로 substantial 감소시킨다.

🔬 기술적 접근법

**방법론**: Position-targeted synthetic training + balanced curation.
**핵심 기법**: (1) Query-relevant evidence를 문서 시작·중간·끝에 두는 position-targeted 합성 학습셋, (2) 8 아키텍처 다양 pretrained 모델 fine-tune, (3) Position-skewed vs position-balanced 분포 대조, (4) Position-aware 벤치에서 ranking-level 분석, (5) Representation-level probing으로 학습된 positional preference 변화 검사.

📊 주요 결과

Skewed 분포가 대응 위치 evidence를 선호하는 강한 directional 패턴(8 모델 공통).
Position-balanced 학습이 positional sensitivity 57~87% 감소.
Mean retrieval 성능은 통제 환경에서 경쟁적 유지.
Fine-tuning이 positional preference를 자주 reshape하지만 일부 모델은 pretraining 경향 잔존.

💭 의의 및 한계

**의의**: 아키텍처 중심 설명에서 데이터 분포로 인과 축을 이동, 8 모델·통제 합성으로 일반성 확보, balanced curation이라는 실용 완화책 제시. **한계**: 합성 위치 조작과 실데이터의 격차, 일부 모델의 잔존 architectural bias는 미해결, 매우 긴 문서·복잡 evidence 구조의 일반화는 후속.

🚀 실용적 활용

검색 시스템 학습 데이터 큐레이션 가이드.
"Lost in the middle" 등 위치 bias 완화.
RAG 파이프라인의 retriever 강건화.