DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment

Training tool-use agents to improve from their own experience remains challenging, as supervised fine-tuning relies on fixed teacher-distilled trajectories, while sparse-reward reinforcement learning provides weak supervision for long-horizon interactions. We present DeepSearch-Evolve, a self-distillation framework for web agents built on DeepSearch-World, a deterministic and verifiable environment with reproducible search and page-reading tools. DeepSearch-World contains 420K multi-hop QA tasks constructed from entity-level random walks and supports key agentic cognitive behaviors useful for self-evolving, including progress verification, grounded reflection, and failure recovery. DeepSearch-Evolve iteratively performs trajectory generation, filtering, data mixing, and fine-tuning to train stronger agents. Without distillation from more capable models, DeepSearch-World-9B achieves competitive performance compared with open-source agents, reaching 31.2% on BrowseComp, 61.5% on GAIA, and 93.4% on HotpotQA, showing that verifiable environments enable scalable self-evolution for long-horizon web agents. We will release the environment, 420K training pool, validation set, model, and code to facilitate future research on self-improving deep search agents.

한 줄 요약

DeepSearch-World는 검증 가능한 환경에서 자기 정제를 통해 웹 에이전트를 훈련하는 프레임워크이다.

핵심 기여도

DeepSearch-Evolve: 자기 정제 프레임워크를 제안하여, 420K 개의 멀티홉 QA 작업을 기반으로 에이전트를 훈련.
DeepSearch-World: 결정적이고 검증 가능한 환경 구축, 재현 가능한 검색 및 페이지 읽기 도구 포함.
93.4% HotpotQA, 61.5% GAIA, 31.2% BrowseComp 성능 달성.
환경, 420K 훈련 풀, 모델, 코드를 공개하여 향후 연구 지원.

핵심 아이디어

기존 웹 에이전트 훈련 방식은 지도 학습이 고정된 트레이드미스에 의존하거나, 희소 보상 강화 학습이 장기 상호작용에 약한 지도를 제공하는 한계가 있다. DeepSearch-Evolve는 자기 정제를 통해 에이전트가 스스로 경험을 기반으로 개선할 수 있도록 설계되었다. DeepSearch-World는 결정적인 환경을 통해 검증 가능한 작업을 지원하며, 진척도 검증, 기반 반성, 실패 복구와 같은 핵심 인지 행동을 포함한다. 이는 에이전트가 스스로 학습하고 개선하는 데 기여한다.

기술적 접근법

DeepSearch-World: 420K 개의 QA 작업 생성 (엔티티 수준 랜덤 워크 기반).
DeepSearch-Evolve: 트레이드 생성, 필터링, 데이터 믹싱, 미세 조정을 반복적으로 수행.
9B 파라미터 모델 사용, 외부 모델의 정제 없이 훈련.
학습 과정에서 진척도 검증, 반성, 복구 기능이 포함된 인지 행동 지원.

주요 결과

HotpotQA 데이터셋에서 93.4% 정확도 달성.
GAIA 데이터셋에서 61.5% 성능.
BrowseComp 데이터셋에서 31.2% 성능.
기존 오픈소스 에이전트와 경쟁적인 성능 보임.

의의 및 한계

DeepSearch-World는 장기적 웹 상호작용을 위한 에이전트의 자기 진화를 가능하게 하는 검증 가능한 환경을 제공하며, 학술적 연구와 실용적 응용 모두에 기여할 수 있다. 그러나, 훈련 데이터는 특정 QA 작업에 국한되어 있어, 다양한 도메인에서의 일반화 능력은 명시되지 않음. 또한, 외부 모델 없이 훈련했지만, 초기 성능 향상을 위한 초기 트레이드 풀의 질에 의존할 수 있다.

실용적 활용

검색 기반 웹 에이전트 개발, QA 시스템 향상, 자동화된 정보 추출 및 분석 시스템에서 활용 가능하다. 특히, 검증 가능한 환경이 필요한 자동화된 시스템 개발에 유용할 것으로 기대된다.