DiffResearch: Accelerating Deep Research with Diffusion Language Models

Deep research systems iteratively plan, gather evidence, synthesize, and revise, making end-to-end latency a key bottleneck for interactive use. Almost all production systems are built on autoregressive (AR) language models and inherit left-to-right decoding in planning and long-form writing. We present DiffResearch, an open multi-agent deep research framework that places a diffusion language model (dLLM) at the core of every stage, and measure how a diffusion backbone changes latency and report quality. Holding the agentic scaffold, retrieval code, prompts, and evaluation fixed, we swap the backbone between an open diffusion model and a comparable AR model. Across 100 Deep Research Bench tasks, the diffusion backbone is roughly 6 times faster end-to-end, driven by order-of-magnitude reductions in planning and writing. We further introduce dFast, a decomposition mode that reads intermediate denoising states and extracts subqueries before generation finishes, providing a 1.99 times median speedup for decomposition in isolation with no loss of report quality. On the benchmark's RACE rubric, dFast obtains the best overall score among the three configurations. Finally, in a public system-level leaderboard snapshot, an instance built on a stronger diffusion model ranks above several commercial systems. We release DiffResearch under an Apache-2.0 license.

한 줄 요약

DiffResearch는 디퓨전 언어 모델(dLLM)을 핵심으로 사용해 연구 시스템의 끝에서 끝까지 처리 속도를 6배 가속화한 오픈 프레임워크이다.

핵심 기여도

DiffResearch는 디퓨전 언어 모델(dLLM)을 기반으로 한 다중 에이전트 연구 프레임워크로, 기존 AR 모델 대비 6× 빠른 처리 속도를 보인다.
dFast라는 분해 모드를 도입해 중간 디노이징 상태에서 서브쿼리를 추출함으로써 분해 단계에서 1.99×의 중앙값 가속을 달성한다.
Deep Research Bench 100개 태스크에서 RACE 평가 기준에서 dFast가 가장 높은 종합 점수를 기록한다.
오픈소스 Apache-2.0 라이선스로 공개되어, 다른 연구자들이 비교 실험을 수행할 수 있도록 지원한다.

핵심 아이디어

기존의 딥 리서치 시스템은 대부분 오토레그레시브(AR) 언어 모델을 기반으로 하여 왼쪽에서 오른쪽으로 단어를 생성하는 방식을 사용한다. 이는 특히 계획 수립 및 장문 작성 단계에서 높은 지연(latency)을 유발한다. 반면, 디퓨전 언어 모델(dLLM)은 반복적인 디노이징 과정을 통해 전체 시퀀스를 병렬적으로 생성하므로, 글 전체를 한 번에 작성하고 수정할 수 있다. 이는 글의 전반적인 일관성과 수정 능력을 향상시키며, 특히 계획 및 작성 단계에서 속도 향상이 두드러진다. DiffResearch는 이러한 디퓨전 생성 방식을 연구 프레임워크의 모든 단계에 적용함으로써, 기존 AR 모델 대비 6배 빠른 끝에서 끝까지 처리 속도를 달성한다.

기술적 접근법

**모델**: 디퓨전 언어 모델(dLLM)과 오토레그레시브(AR) 모델을 비교 실험에 사용.
**프레임워크**: DiffResearch는 2가지 운영 모드를 지원 — `full` 모드(기본 파이프라인 실행)와 `fast` 모드(서브쿼리 분해를 디노이징 단계 중간에서 추출).
**하이퍼파라미터**: 모든 설정에서 에이전트 구조, 검색 코드, 프롬프트, 평가 기준은 고정하고, 백본 모델만 변경.
**분해 모드(dFast)**: 중간 디노이징 상태에서 서브쿼리를 추출하여, 분해 단계에서 1.99×의 중앙값 가속을 달성.
**실험 환경**: Hugging Face 런타임을 사용해 동일한 파이프라인 코드로 3가지 구성(디퓨전 full, 디퓨전 fast, AR)을 실행.

주요 결과

**Deep Research Bench 100개 태스크**에서 디퓨전 백본은 끝에서 끝까지 처리 속도가 약 6× 빠름.
**dFast 모드**는 분해 단계에서 1.99×의 중앙값 가속을 달성하면서도 보고서 품질은 유지.
**RACE 평가 기준**에서 dFast가 3가지 구성 중 가장 높은 종합 점수를 기록.
**공개 시스템 랭킹**에서 더 강력한 디퓨전 모델 기반의 DiffResearch 인스턴스가 상용 시스템들보다 높은 순위를 기록.

의의 및 한계

DiffResearch는 디퓨전 언어 모델을 기반으로 한 연구 프레임워크로서, 기존 AR 모델 대비 높은 처리 속도와 일관된 품질을 동시에 달성함으로써 연구 자동화 분야의 새로운 가능성을 제시한다. 특히, 디퓨전 생성 방식은 중간 디노이징 상태를 활용해 분해 단계의 효율성을 높이는 새로운 접근법을 제시한다. 그러나 디퓨전 디코딩이 검색 관련 지연이나 증거 충분성 문제를 해결하지 못한다는 점은 한계로 작용한다. 또한, 현재의 분해 가속 효과는 병렬 검색 실행이 적용되지 않은 상태에서의 결과이므로, 실용적 활용 시 추가 최적화가 필요할 수 있다.

실용적 활용

DiffResearch는 대규모 온라인 정보를 활용해 인용이 풍부한 보고서를 자동 생성하는 연구 자동화 시스템에 적용 가능하다. 특히, 과학 리뷰 작성, 학술적 분석, 또는 대규모 데이터 정리 작업에서 빠른 처리 속도와 일관된 품질을 요구하는 산업 및 연구 환경에 유용하다. 오픈소스로 공개된 점은 다른 연구자들이 이를 기반으로 다양한 연구 시스템을 개발하거나 비교 실험을 수행하는 데 기여할 수 있다.