Search-o1: Agentic Search-Enhanced Large Reasoning Models

Large reasoning models (LRMs) like OpenAI-o1 have demonstrated impressive long stepwise reasoning capabilities through large-scale reinforcement learning. However, their extended reasoning processes often suffer from knowledge insufficiency, leading to frequent uncertainties and potential errors. To address this limitation, we introduce \textbf{Search-o1}, a framework that enhances LRMs with an agentic retrieval-augmented generation (RAG) mechanism and a Reason-in-Documents module for refining retrieved documents. Search-o1 integrates an agentic search workflow into the reasoning process, enabling dynamic retrieval of external knowledge when LRMs encounter uncertain knowledge points. Additionally, due to the verbose nature of retrieved documents, we design a separate Reason-in-Documents module to deeply analyze the retrieved information before injecting it into the reasoning chain, minimizing noise and preserving coherent reasoning flow. Extensive experiments on complex reasoning tasks in science, mathematics, and coding, as well as six open-domain QA benchmarks, demonstrate the strong performance of Search-o1. This approach enhances the trustworthiness and applicability of LRMs in complex reasoning tasks, paving the way for more reliable and versatile intelligent systems. The code is available at \url{https://github.com/sunnynexus/Search-o1}.

한 줄 요약

Search-o1은 OpenAI-o1과 같은 대규모 추론 모델의 지식 부족 문제를 해결하기 위해 에이전트 기반 검색 및 문서 내 추론 모듈을 결합한 프레임워크이다.

핵심 기여도

**Agentic RAG 메커니즘**을 도입하여, 모델이 필요 시 외부 지식을 동적으로 검색하도록 지원.
**Reason-in-Documents 모듈**을 설계하여, 검색된 문서를 분석하고 추론 체인에 통합할 수 있도록 정제.
**복잡한 추론 및 QA 태스크에서 29.6%의 EM 개선**을 달성, 기존 RAG 기반 모델 대비 우수한 성능 보여.
**코드 공개** (https://github.com/sunnynexus/Search-o1)를 통해 연구 재현 및 확장 가능.

핵심 아이디어

기존 대규모 추론 모델(LRMs)은 복잡한 문제를 해결하기 위해 긴 단계별 추론을 수행하지만, 이 과정에서 지식 부족으로 인해 오류가 발생하거나 불확실성이 증가한다. 이를 해결하기 위해 Search-o1은 **에이전트 기반 RAG**(Retrieval-Augmented Generation) 메커니즘을 도입하여, 모델이 특정 지식 부족 시점에서 외부 지식을 자동으로 검색하도록 유도한다.

또한, 검색된 문서는 대부분 길고 불필요한 정보가 포함되어 있어, 추론 체인에 직접 입력하면 노이즈가 발생할 수 있다. 이를 해결하기 위해 별도의 **Reason-in-Documents 모듈**을 설계하여, 검색된 문서를 분석하고 필요한 정보만 추출하여 추론 체인에 통합한다. 이는 **논리적 일관성 유지**와 **정확한 정보 전달**을 동시에 달성하는 핵심 아이디어이다.

기술적 접근법

**Agentic RAG 메커니즘**: 모델이 추론 중 특정 지식 부족 시점에서 **자체적으로 검색 쿼리를 생성**하고, 외부 지식을 동적으로 검색.
**Reason-in-Documents 모듈**: 검색된 문서를 **현재 쿼리와 이전 추론 단계를 기반으로 분석**하여, 불필요한 정보를 제거하고 필요한 정보만 추출.
**복합 추론 태스크**: 과학, 수학, 코딩 등 5개 도메인과 6개 오픈도메인 QA 벤치마크에서 실험 수행.
**모델**: QwQ-32B 기반으로 실험, **EM**(Exact Match) 지표를 주요 평가 지표로 사용.

주요 결과

**QwQ-32B 기반 Search-o1**은 RAG-QwQ-32B 대비 **29.6%의 EM 개선**을 달성.
**Agentic RAG**는 표준 RAG 대비 **23.2%의 EM 개선**을 보여, 복잡한 QA 태스크에서 우수한 성능.
**단일 훅 QA 태스크**에서는 성능 변화 미미 (47.8 vs. 47.6), 단일 지식 포인트만 필요하기 때문.
**복합 추론 및 QA 태스크**에서 Search-o1은 기존 기법 대비 **일관되고 정확한 추론 흐름**을 유지.

의의 및 한계

Search-o1은 대규모 추론 모델의 **지식 부족 문제를 자동화된 방식으로 해결**함으로써, 복잡한 추론 태스크에서의 신뢰도와 적용성을 높였다. 특히, **Reason-in-Documents 모듈**은 검색된 정보의 노이즈 제거와 일관성 유지에 기여하며, 기존 RAG 기반 접근법의 한계를 극복했다.

그러나, **검색 쿼리 생성의 질**이 최종 성능에 큰 영향을 미치며, 일부 경우 **불필요한 검색 반복**이 발생할 수 있다. 또한, **문서 분석 모듈의 복잡성**이 증가함에 따라 추론 속도에 영향을 줄 수 있다는 한계점도 존재한다.

실용적 활용

Search-o1은 **복잡한 과학, 수학, 코딩 문제 해결**에 적용 가능하며, **오픈도메인 QA 시스템** 개선에도 활용될 수 있다. 특히, **자동화된 지식 보완**이 필요한 산업 현장이나, **신뢰성 있는 추론이 요구되는 인공지능 시스템** 개발에 유용하게 사용될 수 있다.