Incremental Open-Ended Deep Research with Structured Harness

Existing Open-Ended Deep Research (OEDR) systems primarily generate reports from scratch, making them inefficient for scenarios where research reports need to be continuously maintained as new information emerges. We introduce Incremental Open-Ended Deep Research (Incremental-OEDR), a research setting that treats a report as an evolving research state and incrementally updates it by preserving valid knowledge, revising outdated or incomplete content, and incorporating newly available information. To support this setting, we propose Structured Harness, which represents reports as structured collections of outlines, sections, and supporting evidence, and provides structured retrieval, a persistent structured evidence pool, and structured generation for selective report updating and evidence reuse. We further establish a temporal evaluation framework spanning ten years, with Single-Step Task and Long-Chain Task to evaluate incremental updates over both individual transitions and long-term update chains. Extensive Experiments on DeepResearch Bench and DeepConsult under both the Open-source Configuration (OC) and Proprietary Configuration (PC) show that Incremental-OEDR maintains competitive report quality while substantially improving report continuity and reducing research costs. As shown in Figure~fig:profile, it achieves up to 0.51 higher content-level ROUGE-L F1, 0.63 higher outline-level EM F1, 33\% lower token consumption, and 61\% fewer search calls than OEDR on DeepResearch Bench. For more details, please refer to our project page: https://ioedr-project.github.io/.

한 줄 요약

Incremental-OEDR은 기존 연구 보고서를 기반으로 새로운 정보를 반영해 효율적으로 업데이트하는 시스템으로, DeepResearch Bench에서 ROUGE-L F1 0.51, EM F1 0.63 개선을 기록했다.

핵심 기여도

**Incremental-OEDR**이라는 새로운 연구 설정 도입: 기존 보고서를 기반으로 선택적 업데이트를 수행.
**Structured Harness** 제안: 보고서를 구조화된 outline, section, evidence로 표현하며, retrieval, evidence pool, generation 기능 제공.
**Single-Step Task (SST)**와 **Long-Chain Task (LCT)**를 포함한 10년간의 시간적 평가 프레임워크 구축.
DeepResearch Bench와 DeepConsult에서 **ROUGE-L F1 0.51**, **EM F1 0.63**, **token 소비 33% 감소**, **search calls 61% 감소**를 달성.

핵심 아이디어

기존 OEDR 시스템은 매번 새로운 보고서를 생성하는 방식으로, 정보가 지속적으로 업데이트되는 상황에서는 비효율적이다. Incremental-OEDR은 보고서를 **진화하는 연구 상태**로 간주하고, **유효한 지식은 유지**, **오래된/불완전한 내용은 수정**, **새로운 정보는 통합**하는 방식으로 선택적으로 업데이트한다. 이 접근은 기존 연구의 구조와 내용을 최대한 보존하면서도 새로운 정보를 반영하는 데 중점을 둔다.

이를 실현하기 위해 **Structured Harness**가 도입된다. 이는 보고서를 outline, section, evidence로 구조화하고, **structured retrieval**, **structured evidence pool**, **structured generation**이라는 세 가지 기능을 통해 보고서의 선택적 업데이트와 증거 재사용을 가능하게 한다. 특히, **structured evidence pool**은 이전에 사용된 증거를 지속적으로 저장하고 갱신하여, 중복 검색을 줄이고 효율적인 변경 탐지를 지원한다.

기술적 접근법

**Incremental-OEDR**은 기존 보고서 $ R_t $를 기반으로 $ R_{t+1} $를 생성.
**Structured Harness**는 보고서를 outline, section, evidence로 구조화.
**Structured Retrieval**: 관련된 보고서 요소와 증거에 선택적으로 접근.
**Structured Evidence Pool**: 이전 증거를 저장하고 갱신.
**Structured Generation**: 보고서 구조를 유지하면서 선택적 생성.
**Single-Step Task (SST)**: 단일 업데이트를 평가.
**Long-Chain Task (LCT)**: 연속적인 업데이트를 평가.
**LLM 설정**: Open-source Configuration (OC)에서는 Qwen3.5-397B-A17B, Proprietary Configuration (PC)에서는 GPT-5 사용.

주요 결과

**DeepResearch Bench**에서 Incremental-OEDR은 OEDR 대비:
**content-level ROUGE-L F1 0.51 증가**
**outline-level EM F1 0.63 증가**
**token 소비 33% 감소**
**search calls 61% 감소**
**Single-Step Task (SST)**와 **Long-Chain Task (LCT)** 모두에서 보고서 구조와 내용의 일관성을 유지하면서도 연구 비용을 줄임.

의의 및 한계

Incremental-OEDR은 연구 보고서의 지속적 유지와 효율적인 업데이트를 가능하게 하며, 특히 **시간이 흐르며 정보가 변화하는 상황**에서 유용하다. **Structured Harness**를 통해 증거 재사용과 선택적 생성을 지원함으로써, 기존 OEDR 시스템의 반복 생성 문제를 해결한다. 또한, **10년간의 시간적 평가 프레임워크**를 통해 단기 및 장기적인 보고서 진화를 체계적으로 평가할 수 있다.

그러나, **증거 갱신의 정확성**이나 **복잡한 정보 통합 시 오류 가능성**은 여전히 한계로 남는다. 또한, **모든 연구 상황이 구조화된 보고서 형식에 적합하지 않을 수 있다**는 점도 고려해야 한다.

실용적 활용

Incremental-OEDR은 AI 산업 분석, 경제 보고서, 정책 연구 등 **지속적인 정보 업데이트가 필요한 분야**에 적용 가능하다. 특히, **구조화된 보고서 유지와 효율적인 증거 관리**가 필요한 기업 및 연구소에서 유용하게 사용될 수 있다.