Searching for Best Practices in Retrieval-Augmented Generation

Retrieval-augmented generation (RAG) techniques have proven to be effective in integrating up-to-date information, mitigating hallucinations, and enhancing response quality, particularly in specialized domains. While many RAG approaches have been proposed to enhance large language models through query-dependent retrievals, these approaches still suffer from their complex implementation and prolonged response times. Typically, a RAG workflow involves multiple processing steps, each of which can be executed in various ways. Here, we investigate existing RAG approaches and their potential combinations to identify optimal RAG practices. Through extensive experiments, we suggest several strategies for deploying RAG that balance both performance and efficiency. Moreover, we demonstrate that multimodal retrieval techniques can significantly enhance question-answering capabilities about visual inputs and accelerate the generation of multimodal content using a “retrieval as generation” strategy.

한 줄 요약

RAG 시스템의 최적화 전략을 실험적으로 탐색하여 성능과 효율성을 균형 있게 향상시킨다.

핵심 기여도

다양한 RAG 모듈(쿼리 분류, 검색, 재정렬, 재패킹, 요약)에 대한 실험적 평가를 통해 최적 전략 제시.
Hybrid Search with HyDE가 TREC DL 2019/2020 데이터셋에서 가장 높은 성능 (0.58 RAG 점수).
Multimodal Retrieval 기법이 시각 입력에 대한 QA 성능을 향상시키고, "retrieval as generation" 전략으로 생성 속도를 가속.
RAG 시스템 평가 벤치마크 프레임워크 제안.

핵심 아이디어

RAG 시스템은 여러 모듈로 구성되며, 각 모듈의 선택과 조합이 최종 성능과 효율성에 큰 영향을 미친다. 본 연구는 각 모듈별 대표적 방법을 비교하고, 그들의 상호작용을 고려하여 최적의 조합을 실험적으로 탐색한다. 예를 들어, 검색 단계에서 Hybrid Search with HyDE가 가장 높은 RAG 점수(0.58)를 기록했으며, 이는 단순한 쿼리 재작성이나 분해보다 효과적임을 보여준다. 또한, 재정렬 모듈에서 MonoT5가 가장 높은 평균 점수를 달성하며, 이는 검색된 문서의 관련성을 높이는 데 중요한 역할을 한다는 점을 입증한다. 이러한 모듈별 최적화는 RAG 시스템의 전체적인 성능과 응답 속도를 균형 있게 향상시킨다.

기술적 접근법

**모듈 구성**: 쿼리 분류(Query Classification), 검색(Retrieval), 재정렬(Reranking), 재패킹(Repacking), 요약(Summarization) 모듈로 구성.
**검색 방법**: Hybrid Search (BM25 + Original Embedding), Hybrid Search with HyDE, Query Rewriting, Query Decomposition.
**재정렬 방법**: MonoT5, DPR, BM25.
**재패킹 방식**: Forward, Reverse, Random.
**요약 방법**: Recomp, No Summarization.
**데이터셋**: TREC DL 2019, 2020, 그리고 도메인별 데이터셋.
**성능 지표**: RAG 점수, 응답 시간(latency), 정확도.

주요 결과

**Hybrid Search with HyDE**: TREC DL 2019/2020에서 RAG 점수 0.58 (베이스라인 대비 +13.0%).
**Query Classification 모듈**: 전체 점수 0.428 → 0.443 (약 +3.5%), 응답 시간 16.41초 → 11.58초 (약 -29.5%).
**Reranking 모듈**: MonoT5 사용 시 평균 점수 가장 높음.
**Repacking 모듈**: Reverse 방식이 RAG 점수 0.560 기록.
**Summarization 모듈**: Recomp 사용 시 최고 성능, 요약 제거 시 응답 시간 감소.

의의 및 한계

본 연구는 RAG 시스템의 전체 워크플로우에서 각 모듈별 최적 전략을 실험적으로 도출함으로써, 성능과 효율성을 동시에 고려한 실용적인 가이드라인을 제시한다. 특히, Hybrid Search with HyDE와 Reverse Repacking과 같은 조합은 높은 정확도와 낮은 지연 시간을 동시에 달성하는 데 기여한다. 그러나, 모든 가능한 모듈 조합을 실험할 수 없어 일부 최적화 가능성은 남아 있으며, 특정 도메인에 대한 일반화 가능성도 한계가 있을 수 있다. 또한, 실험은 주로 텍스트 기반 RAG에 초점을 맞추었기 때문에, 멀티모달 RAG의 확장 가능성도 추가 연구가 필요하다.

실용적 활용

본 연구의 결과는 기업이나 기관이 특정 도메인에 맞춘 맞춤형 RAG 시스템을 구축할 때 유용하게 활용될 수 있다. 특히, Hybrid Search with HyDE와 Reverse Repacking은 높은 정확도와 낮은 지연 시간을 요구하는 실시간 응답 시스템에 적합하며, Recomp 요약 모듈은 긴 응답이 필요한 문서 생성 작업에 유용하다. 멀티모달 RAG 기법은 시각 정보 처리가 필요한 고객 지원, 콘텐츠 생성, 또는 교육 분야에서 활용 가능하다.