HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models

In order to thrive in hostile and ever-changing natural environments, mammalian brains evolved to store large amounts of knowledge about the world and continually integrate new information while avoiding catastrophic forgetting. Despite the impressive accomplishments, large language models (LLMs), even with retrieval-augmented generation (RAG), still struggle to efficiently and effectively integrate a large amount of new experiences after pre-training. In this work, we introduce HippoRAG, a novel retrieval framework inspired by the hippocampal indexing theory of human long-term memory to enable deeper and more efficient knowledge integration over new experiences. HippoRAG synergistically orchestrates LLMs, knowledge graphs, and the Personalized PageRank algorithm to mimic the different roles of neocortex and hippocampus in human memory. We compare HippoRAG with existing RAG methods on multi-hop question answering and show that our method outperforms the state-of-the-art methods remarkably, by up to 20%. Single-step retrieval with HippoRAG achieves comparable or better performance than iterative retrieval like IRCoT while being 10-30 times cheaper and 6-13 times faster, and integrating HippoRAG into IRCoT brings further substantial gains. Finally, we show that our method can tackle new types of scenarios that are out of reach of existing methods. Code and data are available at https://github.com/OSU-NLP-Group/HippoRAG.

한 줄 요약

HippoRAG는 인간의 해마 기반 기억 이론을 모방하여 LLM의 지식 통합을 향상시키는 새로운 RAG 프레임워크로, MuSiQue와 2WikiMultiHopQA에서 최대 20% 개선된 성능을 보인다.

핵심 기여도

HippoRAG는 LLM, 지식 그래프(KG), Personalized PageRank(PPR) 알고리즘을 결합하여 인간의 신피질과 해마 역할을 시뮬레이션한다.
MuSiQue와 2WikiMultiHopQA 데이터셋에서 기존 RAG 방법 대비 최대 20% 성능 향상.
단일 단계 검색에서 IRCoT 대비 10–30배 저렴하고 6–13배 빠르며, IRCoT와 결합 시 추가 성능 향상(최대 20%)을 보인다.
기존 방법이 해결하지 못한 *path-finding* 다중 점프 질문 처리 가능.

핵심 아이디어

HippoRAG는 인간의 해마 인덱싱 이론을 기반으로 설계된 RAG 프레임워크로, LLM이 새로운 경험을 효율적으로 통합할 수 있도록 돕는다. 인간의 기억 시스템은 신피질이 실제 기억을 저장하고, 해마가 이를 연결하는 인덱스 역할을 하는데, HippoRAG는 이 구조를 모방한다. 구체적으로, LLM을 사용해 문서 코퍼스를 스키마 없는 지식 그래프(KG)로 변환하고, Personalized PageRank(PPR) 알고리즘을 통해 질의의 핵심 개념을 시드로 하여 KG 내에서 관련 서브그래프를 탐색한다. 이는 단일 검색 단계에서 다중 점프 추론을 가능하게 하며, 기존 반복적 RAG 방법의 단점을 보완한다.

기술적 접근법

**LLM 활용**: 문서 코퍼스를 스키마 없는 지식 그래프(KG)로 변환.
**Personalized PageRank (PPR)**: 질의의 핵심 개념을 시드로 하여 KG에서 관련 정보를 통합.
**KG 구성 요소**: 개체 인식(NER), 관계 추출(OpenIE)을 통해 생성.
**하이퍼파라미터**: PPR 알고리즘의 탐색 깊이 및 가중치는 기본값 사용.
**성능 비교 대상**: ColBERTv2, IRCoT, Propositionizer, RAPTOR 등.

주요 결과

**MuSiQue**: HippoRAG는 R@2와 R@5에서 기존 방법 대비 각각 11%와 20% 개선.
**2WikiMultiHopQA**: R@2와 R@5에서 11%와 20% 개선.
**HotpotQA**: 약 3% 개선.
**IRCoT와 결합 시**: MuSiQue에서 4%, 2WikiMultiHopQA에서 18%, HotpotQA에서 1% 추가 개선.
**단일 단계 vs. 반복 단계**: HippoRAG는 IRCoT 대비 10–30배 저렴하고 6–13배 빠르다.

의의 및 한계

HippoRAG는 인간의 기억 구조를 모방한 RAG 프레임워크로, 기존 RAG의 단점을 보완하면서도 매개변수 기반 메모리보다 효율적이다. 특히, *path-finding* 다중 점프 질문 처리 능력은 기존 방법이 담당하지 못한 새로운 문제를 해결할 수 있다는 점에서 학술적·실용적 가치가 있다. 그러나 현재는 NER, OpenIE, PPR 등 구성 요소가 미세 조정 없이 사용되므로, 정확도 향상을 위해 각 모듈의 학습이 필요하다. 또한, KG 크기가 커질 경우의 확장성 검증이 부족하다는 한계가 있다.

실용적 활용

HippoRAG는 과학 논문 리뷰, 법률 사례 요약, 의료 진단 등 다중 문서 간 지식 통합이 필요한 산업 분야에 적용 가능하다. 특히, 반복적 RAG 대비 높은 효율성과 비용 절감 효과를 통해 대규모 문서 처리 시스템에 유용할 것으로 기대된다.