Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation

Large Language Models (LLMs) have advanced autonomous agents from deep search, which retrieves concise factual answers, to deep research, which synthesizes scattered evidence into long-form reports. However, verifiable multimodal deep research remains challenging due to open-ended synthesis without deterministic ground truth and the need to interleave textual arguments with visual evidence. We propose Ptah, a multi-agent harness for interleaved report generation. Ptah orchestrates the lifecycle from user query to rendered web report through planning, research, and writing stages, where specialized agents construct visual-aware plans, collect claim-grounded evidence, maintain source-aligned images in a Visual Working Memory, and compose reports through declarative multimodal tool use. A verifier agent serves as the harness's acceptance function, enforcing factual grounding, citation fidelity, and cross-modal consistency throughout the workflow. We further introduce PtahEval, an evaluation protocol that augments existing benchmarks with image-level and presentation-level assessments. Experiments on deep research benchmarks show that Ptah produces more reliable, visually informative, and usable human-facing multimodal reports than strong baselines.

📋 한 줄 요약

**[Deep Research / Multimodal Multi-Agent]** Ptah가 visual-aware 계획·claim-grounded 수집·source-aligned 이미지 working memory·verifier agent로 텍스트·시각 interleaved 보고서 생성, PtahEval로 image·presentation 수준 평가 추가.

🎯 핵심 기여도

LLM이 deep search(간결 factual 답변)에서 deep research(흩어진 evidence를 long-form 보고서로 종합)로 자율 에이전트를 진보시켰지만, deterministic ground truth 없는 open-ended synthesis와 텍스트·시각 evidence interleave 필요로 verifiable multimodal deep research가 도전 과제로 남음을 진단.
Ptah — interleaved 보고서 생성을 위한 multi-agent harness 제안.
사용자 query에서 rendered web 보고서까지 planning·research·writing 단계의 lifecycle 오케스트레이션 — 특화 에이전트가 visual-aware 계획 구성, claim-grounded evidence 수집, Visual Working Memory에 source-aligned 이미지 유지, declarative multimodal 도구 사용으로 보고서 작성.
Verifier agent가 harness의 acceptance function 역할 — factual grounding·citation fidelity·cross-modal consistency를 workflow 전반에서 강제. PtahEval — 기존 벤치를 image-level·presentation-level 평가로 augment하는 평가 프로토콜 도입.

💡 핵심 아이디어

Verifiable multimodal deep research는 텍스트·시각 evidence가 cross-modal로 일관 grounded돼야 하며, planning·research·writing 단계마다 verifier가 acceptance function으로 작동하는 multi-agent harness와 Visual Working Memory의 source-alignment가 핵심이다.

🔬 기술적 접근법

**방법론**: Ptah — multi-agent harness(planning + research + writing + verifier).
**핵심 기법**: (1) Visual-aware planner가 보고서 구조 설계, (2) Research agent가 claim-grounded evidence·이미지 수집, (3) Visual Working Memory가 source-aligned 이미지 관리, (4) Writer agent가 declarative multimodal 도구로 보고서 작성, (5) Verifier agent가 factual grounding·citation fidelity·cross-modal consistency 검증.

📊 주요 결과

Deep research 벤치에서 강력 baseline 대비 더 신뢰성 있고 시각적으로 informative한 보고서 생성.
인간 대면 multimodal 보고서의 usability 향상.
PtahEval로 image·presentation 수준 평가 표준화.

💭 의의 및 한계

**의의**: Open-ended multimodal synthesis의 verifiability 문제 해결, Visual Working Memory·verifier acceptance function의 일반화 가능한 패턴, PtahEval로 평가 표준 확장. **한계**: 다단계 multi-agent의 latency·cost, verifier acceptance function의 false negative 가능성, 평가 augment의 인간 annotator 의존 가능성.

🚀 실용적 활용

자동 시장·연구 보고서 생성.
Multimodal 데이터 의사결정 보조.
학술·산업 deep research 자동화.