Abstract
We present AgenticRAG, a practical agentic harness for retrieval and analysis over enterprise knowledge bases. Standard RAG pipelines place significant burden of grounding on the search stack, constraining the language model to a fixed candidate set chosen deep in the retrieval process. Our approach reduces this overdependence by layering a lightweight harness on top of existing enterprise search infrastructure, equipping a reasoning LLM with search, find, open, and summarize tools enabling the model to iteratively retrieve information, navigate within documents, and analyze evidence autonomously. On three open benchmarks we observe substantial gains: $49.6\%$ recall@1 on BRIGHT (+21.8 pp over the best embedding baseline), 0.96 factuality on WixQA ($+13\%$ relative improvement), and $92\%$ answer correctness on FinanceBench--within 2 pp of oracle access to true evidence. Ablation studies show that the most significant factor is the shift from single-shot retrieval to agentic tool use ($5.9\times$ improvement), while multi-query search and in-document navigation contribute to both quality and efficiency. We present various design choices in our agentic harness that were informed by pre-production deployments. Our results demonstrate its suitability for real-world enterprise production environments.
한국어 요약
📋 한 줄 요약
**[엔터프라이즈 RAG]** 기존 검색 인프라 위에 search/find/open/summarize 도구를 갖춘 추론 LLM 에이전트 하네스를 얹어, 단일 패스 RAG의 한계를 극복하는 AgenticRAG를 제안한다.
🎯 핵심 기여도
- 검색 스택에 그라운딩 부담을 모두 지우는 표준 RAG의 한계를 지적하고, 경량 에이전트 하네스로 대체 가능함을 입증
- 추론 LLM에 search/find/open/summarize 4종 도구를 부여해 반복 검색·문서 내 탐색·증거 분석을 자율 수행
- 3개 벤치마크에서 큰 폭의 향상: BRIGHT recall@1 49.6%, WixQA factuality 0.96, FinanceBench 정답률 92%
- 사전 운영 배포 경험에서 도출된 설계 선택지 공유로 실제 엔터프라이즈 환경 적합성 입증
💡 핵심 아이디어
검색 단계에서 후보군이 미리 결정되면 LLM이 좋은 답을 만들 수 없다. 대신 LLM이 능동적으로 검색·내비게이션·요약 도구를 호출하며 증거를 수집·재검색하도록 만들면 단일 패스 RAG의 한계를 우회할 수 있다.
🔬 기술적 접근법
- **모델/방법론**: 추론 가능한 LLM + 엔터프라이즈 검색 API 위의 경량 에이전트 하네스
- **핵심 기법**: Figure 1의 agentic loop 구조로 search→find→open→summarize 도구를 반복 호출, Figure 2처럼 멀티 쿼리·문서 내 내비게이션을 통해 증거를 단계적으로 축적
📊 주요 결과
- BRIGHT recall@1 49.6%로 최고 임베딩 베이스라인 대비 +21.8pp
- WixQA factuality 0.96 (+13% 상대 향상), Figure 3·4가 이를 뒷받침
- FinanceBench 92% 정답률 — 오라클 증거 접근 대비 2pp 이내, ablation에서 single-shot → agentic 전환이 5.9× 효과
💭 의의 및 한계
**의의**: 검색 모델 재학습 없이 기존 인프라를 그대로 두고 그라운딩 품질을 끌어올릴 수 있는 실용 경로 제시. **한계**: 추론 모델 호출 비용 증가, 도구 호출 횟수에 따른 latency, 도메인별 도구 설계 비용이 남는다.
🚀 실용적 활용
- 사내 위키·문서 기반 Q&A 어시스턴트
- 금융 보고서·정책 문서에 대한 근거 인용형 답변
- 기존 Elastic/벡터 검색을 유지한 채 답변 품질만 개선하려는 엔터프라이즈