DeepResearcher: Scaling Deep Research via Reinforcement Learning in Real-world Environments

Large Language Models (LLMs) equipped with web search capabilities have demonstrated impressive potential for deep research tasks. However, current approaches predominantly rely on either manually engineered prompts (prompt engineering-based) with brittle performance or reinforcement learning within controlled Retrieval-Augmented Generation (RAG) environments (RAG-based) that fail to capture the complexities of real-world interaction. In this paper, we introduce DeepResearcher, the first comprehensive framework for end-to-end training of LLM-based deep research agents through scaling reinforcement learning (RL) in real-world environments with authentic web search interactions. Unlike RAG-based approaches that assume all necessary information exists within a fixed corpus, our method trains agents to navigate the noisy, unstructured, and dynamic nature of the open web. We implement a specialized multi-agent architecture where browsing agents extract relevant information from various webpage structures and overcoming significant technical challenges. Extensive experiments on open-domain research tasks demonstrate that DeepResearcher achieves substantial improvements of up to 28.9 points over prompt engineering-based baselines and up to 7.2 points over RAG-based RL agents. Our qualitative analysis reveals emergent cognitive behaviors from end-to-end RL training, including the ability to formulate plans, cross-validate information from multiple sources, engage in self-reflection to redirect research, and maintain honesty when unable to find definitive answers. Our results highlight that end-to-end training in real-world web environments is not merely an implementation detail but a fundamental requirement for developing robust research capabilities aligned with real-world applications. We release DeepResearcher at https://github.com/GAIR-NLP/DeepResearcher.

한 줄 요약

DeepResearcher는 실제 웹 환경에서 강화학습을 확장하여 LLM 기반 연구 에이전트를 훈련하는 최초의 종단간 프레임워크로, 기존 방법 대비 최대 28.9점의 성능 향상을 보인다.

핵심 기여도

DeepResearcher는 실제 웹 검색 환경에서 강화학습을 확장한 **종단간(end-to-end)** 훈련 프레임워크로, 기존 RAG 기반 및 프롬프트 기반 방법과 구분된다.
**28.9점**의 개선을 기록하며, 프롬프트 기반 기준 대비 최대 28.9점, RAG 기반 RL 에이전트 대비 최대 7.2점의 성능 향상.
**다중 에이전트 아키텍처**를 도입하여 다양한 웹페이지 구조에서 정보를 추출하고, **실제 웹 검색 API**와 상호작용하는 기술적 도전 과제를 해결.
**계획 수립, 정보 교차 검증, 자기 반성, 정직 유지** 등의 인지 행동이 종단간 RL 훈련을 통해 나타남.

핵심 아이디어

기존 연구 에이전트는 대부분 **프롬프트 엔지니어링** 또는 **제어된 RAG 환경**에서 훈련되며, 실제 웹 환경의 복잡성과 동적성을 반영하지 못한다. DeepResearcher는 **실제 웹 검색 환경**에서의 상호작용을 기반으로 LLM을 훈련함으로써, **실제 정보가 고정된 코퍼스에만 존재하지 않는 현실적 상황**을 반영한다.

이 접근법은 기존 RAG 기반 시스템이 가정하는 "모든 정보는 고정된 코퍼스에 존재한다"는 가정을 포기하고, **잡음이 많은, 비구조화된, 동적인 웹 환경**에서 정보를 추출하고 합성하는 능력을 훈련한다. DeepResearcher는 **다중 에이전트 아키텍처**를 통해 각 에이전트가 웹페이지 구조에 맞춰 정보를 추출하며, **실제 검색 API**를 사용하여 **네트워크 지연, 반크롤링 메커니즘, 다양한 웹페이지 구조** 등의 문제를 해결한다.

기술적 접근법

**모델**: Qwen2.5-7B-Instruct를 백본 모델로 사용.
**훈련 프레임워크**: verl을 사용하여 훈련.
**훈련 단계**: 각 훈련 스텝에서 256개의 프롬프트를 샘플링하고, 각 프롬프트당 16개의 롤아웃을 수행.
**롤아웃 구조**: 최대 10개의 툴 호출 후 최종 답변 단계.
**배치 크기**: 4,096의 미니배치 크기로, 하나의 롤아웃 단계당 한 번의 역전파(backprop) 수행.
**강화학습 확장**: **결과 보상(outcome reward)**만을 사용하여 깊은 연구 작업에 대한 RL 훈련을 직접 확장.
**다중 에이전트 아키텍처**: **브라우징 에이전트**가 다양한 웹페이지 구조에서 정보를 추출하며, **실제 웹 검색 API**와 상호작용.

주요 결과

**프롬프트 기반 기준 대비 28.9점**, **RAG 기반 RL 에이전트 대비 7.2점**의 개선.
**계획 수립, 정보 교차 검증, 자기 반사, 정직 유지** 등의 인지 행동이 나타남.
**실제 웹 환경에서 훈련**함으로써, 기존 제어된 RAG 환경에서 훈련된 에이전트보다 **더 복잡하고 다변화된 정보 처리 능력**을 보임.
**네트워크 지연, 반크롤링, 다양한 웹페이지 구조** 등의 문제를 해결한 기술적 성공.

의의 및 한계

DeepResearcher는 **실제 웹 환경에서의 강화학습 확장**이 단순한 구현 세부 사항이 아니라, **실제 세계 적용에 맞춘 연구 능력 훈련의 필수 조건**임을 입증한다. 이는 LLM 기반 연구 에이전트의 **자율성과 적응성**을 크게 향상시키며, **인간 연구자와 유사한 인지 능력**을 갖춘 시스템 개발의 가능성을 열어준다.

그러나 한계도 존재한다. 예를 들어, **실제 웹 검색 API 사용 시 발생하는 비용과 지연**, **특정 도메인에 대한 정보 부족**, 그리고 **복잡한 웹페이지 구조 처리의 한계** 등이 있다. 또한, **강화학습의 훈련 비용과 시간**이 높아 대규모 적용 시 문제가 될 수 있다.

실용적 활용

DeepResearcher는 **복잡한 연구 과제를 자동화**해야 하는 산업 분야, 예를 들어 **금융 분석, 과학 연구, 법률 조사** 등에 적용 가능하다. 또한, **개방 도메인에서의 정보 합성과 문제 해결 능력**이 필요한 연구 환경에서 유용하게 사용될 수 있다. 특히, **실제 웹 환경에서의 정보 탐색과 합성 능력**이 요구되는 **자율 연구 시스템 개발**에 기여할 수 있다.