Self-Evolving Search Index

Information retrieval is increasingly important as LLM agents tackle complex tasks involving diverse information needs. Because retrieval relies on an index that represents each document through index keys, retrieval quality depends heavily on how effectively these keys expose the knowledge contained in each document. However, effective index representations vary across retrieval environments, making it difficult for any fixed optimization strategy to perform consistently. Yet evolving an index to its retrieval environment remains largely human-driven, requiring humans to diagnose retrieval failures, refine the optimization strategy, and reprocess the index accordingly. We propose SELF-INDEX, a framework that enables an index to self-evolve without human intervention. Its Optimizer autonomously diagnoses retrieval shortfalls, selectively revises the responsible index keys, and validates each revision before updating the index. Beyond reacting to observed retrieval demands, SELF-INDEX proactively explores additional demands through a Query Simulator, allowing the index to evolve beyond the queries already available for optimization. Across diverse corpora and retrievers, SELF-INDEX consistently improves retrieval performance while outperforming existing index optimization methods. We further show that these benefits extend to downstream applications, improving the effectiveness and efficiency of search agents and helping agent memory systems retrieve useful past interactions.

한 줄 요약

SELF-INDEX는 인덱스 키를 자동 진단·수정·검증하는 프레임워크로, 다양한 검색 환경에서 검색 성능을 지속적으로 향상시킨다.

핵심 기여도

SELF-INDEX 프레임워크를 제안하여 인덱스가 인간 개입 없이 자율적으로 진화할 수 있도록 함.
Optimizer 모듈은 Self-Diagnosis, Self-Revision, Self-Validation 세 단계를 통해 인덱스 키를 선택적으로 수정함.
Query Simulator를 통해 기존 최적화 쿼리 외의 새로운 검색 수요를 탐색하여 프로액티브한 인덱스 진화를 가능하게 함.
다양한 코퍼스와 리트리버에서 nDCG@10 기준으로 기존 방법 대비 지속적으로 우수한 성능을 보임.

핵심 아이디어

기존 인덱스 최적화는 인간이 실패 원인을 진단하고, 전략을 수정한 후 전체 인덱스를 재처리해야 하므로 비효율적이다. SELF-INDEX는 Optimizer라는 자동화된 모듈을 도입하여, 인덱스 키를 선택적으로 수정하고 검증함으로써 인간 개입 없이 인덱스를 진화시킨다. Self-Diagnosis 단계에서는 쿼리 결과를 분석해 인덱스의 단점을 식별하고, Self-Revision에서는 해당 키만 수정하며, Self-Validation에서는 수정된 키가 기준(Faithfulness, Specificity, Separation)을 만족하는지 검증한다. 또한 Query Simulator는 새로운 검색 수요를 생성해 인덱스 진화를 확장한다. 이는 기존 인덱스 최적화가 반응형이었다는 한계를 극복하는 핵심 아이디어이다.

기술적 접근법

**Optimizer**: Self-Diagnosis, Self-Revision, Self-Validation 세 단계로 구성.
**Self-Diagnosis**: 쿼리 결과와 co-retrieval profiles $ \mathcal{C}_k $를 분석하여 인덱스 키의 단점을 식별.
**Self-Revision**: 단점을 해결하기 위해 해당 인덱스 키만 선택적으로 수정.
**Self-Validation**: Faithfulness, Specificity, Separation 세 가지 기준을 만족하는 키만 최종적으로 인덱스에 반영.
**Query Simulator**: 새로운 검색 수요를 생성하는 Self-Exploration 단계를 통해 인덱스 진화를 확장. Dissimilarity 필터를 사용해 중복되지 않은 쿼리를 생성.
실험 환경: BRIGHT 코퍼스(자연어, 코드, 수학, 테이블)와 BM25, Qwen3-Embedding-8B 등 다양한 리트리버 사용.

주요 결과

BRIGHT 코퍼스에서 SELF-INDEX는 nDCG@10 기준으로 기존 최적화 방법(SPIKE) 대비 지속적으로 우수한 성능을 보임.
자연어, 코드, 수학, 테이블 모든 코퍼스에서 SELF-INDEX가 평균적으로 가장 높은 nDCG@10 점수를 기록.
검색 에이전트에서 SELF-INDEX를 사용하면 답변 정확도가 향상되며, 온라인 검색 비용이 감소.
에이전트 메모리 시스템에서도 과거 상호작용에서 유용한 정보를 더 효과적으로 검색할 수 있음.

의의 및 한계

SELF-INDEX는 인덱스 최적화를 자동화함으로써 인간의 수동적 개입과 높은 계산 비용을 줄이는 데 기여한다. 특히 다양한 코퍼스와 리트리버에서 일관된 성능 향상을 보이는 점에서 학술적·실용적 가치가 크다. 그러나 SELF-INDEX는 여전히 특정 환경에서의 최적화 경로를 완전히 자율적으로 결정하는 데 한계가 있을 수 있다. 또한, Query Simulator가 생성하는 새로운 쿼리가 실제 사용자 요구와 얼마나 잘 일치하는지에 대한 평가가 추가적으로 필요할 수 있다.

실용적 활용

SELF-INDEX는 복잡한 검색 작업을 수행하는 LLM 에이전트, 대규모 문서 저장소, 메모리 기반 추론 시스템 등에 적용 가능하다. 특히, 검색 성능을 지속적으로 향상시키면서도 인간 개입을 최소화할 수 있어, 실시간 정보 검색, 지식 기반 시스템, 대화형 AI 등 다양한 분야에서 활용 가능하다.