VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents

Retrieval-augmented generation (RAG) is an effective technique that enables large language models (LLMs) to utilize external knowledge sources for generation. However, current RAG systems are solely based on text, rendering it impossible to utilize vision information like layout and images that play crucial roles in real-world multi-modality documents. In this paper, we introduce VisRAG, which tackles this issue by establishing a vision-language model (VLM)-based RAG pipeline. In this pipeline, instead of first parsing the document to obtain text, the document is directly embedded using a VLM as an image and then retrieved to enhance the generation of a VLM. Compared to traditional text-based RAG, VisRAG maximizes the retention and utilization of the data information in the original documents, eliminating the information loss introduced during the parsing process. We collect both open-source and synthetic data to train the retriever in VisRAG and explore a variety of generation methods. Experiments demonstrate that VisRAG outperforms traditional RAG in both the retrieval and generation stages, achieving a 20--40% end-to-end performance gain over traditional text-based RAG pipeline. Further analysis reveals that VisRAG is efficient in utilizing training data and demonstrates strong generalization capability, positioning it as a promising solution for RAG on multi-modality documents. Our code and data are available at https://github.com/openbmb/visrag.

한 줄 요약

VisRAG는 VLM을 기반으로 문서를 직접 이미지로 임베딩하여 RAG 파이프라인의 정보 손실을 줄이고, 20~40%의 종단간 성능 향상을 달성한 다중 모달 문서 처리 기법이다.

핵심 기여도

VLM 기반 RAG 파이프라인 VisRAG-Ret과 VisRAG-Gen을 제안.
문서를 텍스트로 파싱하지 않고 이미지로 직접 임베딩, 정보 손실 제거.
20~40%의 종단간 성능 향상 (MiniCPM-V 2.6 기준 40%, GPT-4o 기준 20%).
학습 데이터 효율성과 일반화 능력이 뛰어남.

핵심 아이디어

기존 RAG는 텍스트 기반으로 문서를 파싱한 후 사용하지만, 이 과정에서 레이아웃, 이미지 등 시각 정보가 손실된다. VisRAG은 VLM을 활용하여 문서를 이미지로 직접 임베딩하고, 이를 기반으로 검색 및 생성을 수행함으로써 정보 손실을 최소화한다. 이는 VLM이 텍스트와 이미지를 동시에 처리할 수 있는 능력을 기반으로 하며, 기존 RAG 파이프라인의 복잡성을 줄이고 정확도를 높이는 핵심 아이디어이다. VisRAG-Ret은 문서와 쿼리를 동일한 임베딩 공간으로 매핑하며, VisRAG-Gen은 다중 이미지 처리를 위해 페이지 연결 및 가중 선택 기법을 제안한다.

기술적 접근법

**VisRAG-Ret**: VLM 기반의 검색기로, 문서를 이미지로 임베딩. 최종 히든 상태에 가중 평균 풀링 적용.
**VisRAG-Gen**: 생성 단계에서 다중 이미지 처리를 위해 페이지 연결(page concatenation)와 가중 선택(weighted selection) 기법 사용.
**데이터**: 오픈소스 VQA 데이터셋과 웹 크롤링 PDF에서 생성한 합성 데이터 사용.
**모델**: MiniCPM-V 2.6, GPT-4o 등 VLM 활용.
**메트릭**: 검색 시 MRR@10, Recall@10, 생성 시 정확도 (5% 오차 허용).

주요 결과

**VQA 데이터셋 기준**: VisRAG-Ret은 최신 텍스트/시각 중심 검색기보다 성능 우수.
**생성 성능**: MiniCPM-V 2.6 기반으로 TextRAG 대비 40% 상승, GPT-4o 기반으로 20% 상승.
**다중 문서 처리**: 검색된 문서 수가 증가할수록 성능 향상, 다중 페이지 추론 가능.
**일반화 능력**: 텍스트 중심 및 시각 중심 문서 모두에서 안정적인 성능.

의의 및 한계

VisRAG은 RAG 파이프라인에서 텍스트 파싱 단계를 생략함으로써 정보 손실을 줄이고, 다중 모달 문서 처리에 적합한 새로운 접근법을 제시한다. 특히, 학습 데이터 효율성과 일반화 능력이 뛰어나, 실제 산업 및 연구 환경에서 즉각적인 적용 가능성이 있다. 그러나 VLM의 계산 비용이 높고, 대규모 문서 처리 시 성능 저하 가능성은 한계로 지적된다. 또한, 특정 VLM에 의존적이기 때문에 모델 간 호환성 문제도 존재한다.

실용적 활용

VisRAG은 교재, 매뉴얼, 보고서 등 텍스트와 이미지가 혼합된 문서를 다루는 교육, 법률, 의료 분야에서 유용하게 활용될 수 있다. 또한, OCR 오류로 인한 정보 손실을 줄이는 데 효과적이며, 문서 기반 질의응답 시스템, 자동 요약, 문서 분류 등 다양한 NLP 및 CV 응용 분야에 적용 가능하다.