한 줄 요약
RAPTOR은 재귀적 요약을 통해 문서의 다층적 맥락을 효과적으로 검색하는 트리 기반 검색 시스템이다.
핵심 기여도
- 재귀적 임베딩, 클러스터링, 요약을 통해 트리 구조를 생성함.
- GPT-4와 결합 시 QuALITY 벤치마크에서 기존 최고 성능 대비 20% 절대 정확도 향상.
- NarrativeQA, QASPER, QuALITY 세 데이터셋에서 기존 검색 증강 방법을 초과함.
- 트리 구조는 문서 볼륨 증가에도 선형적으로 확장 가능함.
핵심 아이디어
기존 검색 증강 모델은 짧은 연속 텍스트 청크만 검색하여 문서 전체 맥락을 포착하지 못한다. RAPTOR은 이 문제를 해결하기 위해 텍스트 청크를 재귀적으로 클러스터링하고 요약하여 트리 구조를 생성한다. 이 트리는 하위부터 상위까지 다양한 추상화 수준의 정보를 포함하며, 추론 시 다양한 추상화 수준에서 정보를 통합할 수 있다. 예를 들어, "신데렐라가 행복한 결말에 도달한 방법"이라는 질문에 대해, 단일 청크가 아닌 전체 이야기 구조를 반영한 요약 정보를 활용할 수 있다. RAPTOR은 UnifiedQA, GPT-3, GPT-4 등 다양한 언어 모델과 호환되며, 특히 GPT-4와의 결합에서 최고 성능을 보인다.
기술적 접근법
- **재귀적 클러스터링 및 요약**: 텍스트 청크를 임베딩한 후 클러스터링하여 요약 생성.
- **트리 구조 생성**: 하위 요약을 상위 노드로 재귀적으로 결합하여 다층 트리 구축.
- **검색 시 추상화 수준 통합**: 추론 시 트리 내 다양한 수준의 요약을 LLM에 제공.
- **모델**: GPT-4, UnifiedQA, GPT-3 사용.
- **하이퍼파라미터**: 명시되지 않음.
주요 결과
- **QuALITY**: GPT-4와 결합 시 기존 최고 성능 대비 20% 절대 정확도 향상.
- **NarrativeQA**: 책 및 영화에 대한 자유 응답 질문 처리 성능 개선.
- **QASPER**: 전체 텍스트 NLP 논문 기반 QA 성능 향상.
- **트리 구축 비용**: 문서 볼륨 증가에도 선형적으로 확장됨.
의의 및 한계
RAPTOR은 문서의 다층적 맥락을 포착하여 복잡한 추론 질문 처리에 효과적이다. 특히, 기존 방법이 단일 청크에 의존하는 반면, RAPTOR은 트리 구조를 통해 다양한 추상화 수준의 정보를 통합할 수 있다. 이는 대규모 문서 처리 및 실시간 지식 업데이트를 가능하게 한다. 그러나, 하이퍼파라미터 세부 사항이나 특정 도메인에서의 성능은 명시되지 않았으며, 실제 산업 적용 시 추가 연구가 필요할 수 있다.
실용적 활용
RAPTOR은 대규모 문서 기반 QA 시스템, 법률/의료 문서 분석, 교육 자료 요약 등에서 활용 가능하다. 특히, 시간이 흐르며 업데이트되는 지식을 반영해야 하는 상황에서 유용하다.