knowledge-graph medical-qa graph-rag llm-summarization domain-adapted-llm dbscan leiden-community-detection ragu
Abstract
Graph retrieval-augmented generation (GraphRAG) enhances large language models with structured knowledge, yet existing systems construct knowledge graphs in a single extraction pass, producing noisy entities and brittle retrieval. RAGU, an open-source modular GraphRAG engine, addresses this by separating extraction from consolidation: entities and relations pass through two-stage typed extraction, DBSCAN-backed deduplication, LLM summarization, and Leiden community detection. A key insight motivates a compact extractor: the skills an in-pipeline LLM needs - comprehension, extraction, reasoning over context - are language skills that grow only weakly with model size, unlike factual world knowledge. Accordingly, we train Meno-Lite-0.1, a 7B model optimized for language skills, which outperforms Qwen2.5-32B on knowledge-graph construction (+12.5% relative harmonic mean) and matches it on English GraphRAG tasks. On GraphRAG-Bench (Medical), RAGU retrieves the most complete context at every factoid level (evidence recall up to 0.84 vs. leq0.76) and overtakes HippoRAG2 on synthesis tasks; on multi-hop factoid QA, the apparent HippoRAG2 advantage is shown to be largely an answer-format artifact. RAGU is installable via pip install graph_ragu, runs on a single GPU, and is released under MIT. The source code is publicly available at https://github.com/RaguTeam/RAGU, and the Meno-Lite-0.1 model can be obtained from https://huggingface.co/bond005/meno-lite-0.1.
한국어 요약
한 줄 요약
RAGU는 다단계 그래프 기반 RAG 엔진으로, Meno-Lite-0.1이라는 7B 언어 기술 최적화 모델을 통해 그래프 추출 정확도를 12.5% 개선한다.
핵심 기여도
- **두 단계 타입 기반 추출과 DBSCAN 중복 제거**를 통해 노이즈 감소.
- **Meno-Lite-0.1**이라는 7B 언어 기술 최적화 모델을 개발, Qwen2.5-32B보다 **12.5% 상대적 조화 평균 개선**.
- **GraphRAG-Bench (의학)**에서 **0.84의 증거 리콜** 달성, HippoRAG2보다 합성 작업 성능 우수.
- **HippoRAG2의 다중 훅 QA 우위는 답변 형식 아티팩트**로 확인됨.
핵심 아이디어
RAGU는 기존 그래프 추출 방식이 단일 패스로 이루어져 노이즈와 취약한 추출을 초래한다는 문제를 해결하기 위해, **추출과 통합을 분리한 다단계 파이프라인**을 제안한다. 핵심 통찰은, RAG 파이프라인 내 LLM이 필요로 하는 능력(이해, 추출, 맥락 추론)은 언어 기술로, 모델 크기와는 약한 상관관계를 가진다는 점이다. 따라서 RAGU는 **Meno-Lite-0.1**이라는 7B 규모의 모델을 개발하여, 세계 지식보다 언어 기술을 최적화함으로써 추출 성능을 향상시켰다.
기술적 접근법
- **두 단계 타입 기반 추출** (Typed Extraction)
- **DBSCAN 기반 중복 제거** (Deduplication)
- **LLM 요약** (Summarization)
- **Leiden 커뮤니티 탐지** (Community Detection)
- **Meno-Lite-0.1** 모델: 7B 파라미터, 언어 기술 최적화, **Qwen2.5-32B 대비 12.5% 상대적 조화 평균 개선**
- **GraphRAG-Bench (Medical)**에서 **0.84의 증거 리콜** 달성
주요 결과
- **Meno-Lite-0.1**은 **Qwen2.5-32B 대비 12.5% 상대적 조화 평균 개선**
- **GraphRAG-Bench (Medical)**에서 **0.84의 증거 리콜** (기존 ≤0.76 대비)
- **HippoRAG2**보다 **합성 작업** (Creative Generation AC, Coverage)에서 우수
- **다중 훅 QA**에서 HippoRAG2의 우위는 **답변 형식 아티팩트**로 확인됨
의의 및 한계
RAGU는 추출 과정을 단일 패스에서 다단계로 분리함으로써, 노이즈와 불안정한 추출을 줄이고, 언어 기술에 집중한 소형 모델로도 높은 성능을 달성했다는 점에서 학술적 의의가 있다. 특히, **7B 규모의 Meno-Lite-0.1**이 32B 모델을 능가한 것은 모델 크기와 성능 간의 관계를 재고찰하게 만든다. 다만, **정밀한 다중 훅 추출**에서는 HippoRAG2가 여전히 우수하며, 이는 RAGU의 한계로 작용할 수 있다.
실용적 활용
RAGU는 **단일 GPU 환경에서 실행 가능**하며, **합성 작업**(요약, 창의적 생성, 장문 QA)에 적합한 RAG 엔진이다. 특히, **의학 분야**에서 구조화된 지식 추출과 합성에 활용할 수 있으며, **MIT 라이선스**로 공개되어 연구 및 산업 현장에서 자유롭게 활용 가능하다.