autonomous-agents state-tracking document-operations verifiable-benchmark semantic-verification structural-metadata agentic-harnesses long-range-tasks
Abstract
As autonomous agents rapidly evolve, their ability to reliably manipulate ubiquitous digital documents has become critical for enabling general-purpose AI assistants and automating complex workspace workflows. In this paper, we introduce DocOps, a deterministically verifiable evaluation framework underpinned by a hierarchical taxonomy that deconstructs document operations inspired by real-world practices into atomic dimensions and escalating workflow complexities. Based on DocOps, we systematically evaluate representative closed- and open-source models across various agentic harnesses, revealing that even the most advanced frontier configurations still exhibit profound limitations when handling highly coupled, long-range tasks. Furthermore, a fine-grained analysis of existing agents' manipulation behaviors uncovers 3 key failure modes: long-term state tracking collapse, shallow semantic verification, and destructive editing of structural metadata. Ultimately, our work exposes the capability boundaries of agents in maintaining global document consistency, shedding light on the future design of robust, non-destructive agents for complex digital ecosystems.
한국어 요약
한 줄 요약
DocOps는 문서 조작 능력을 평가하는 검증 가능한 벤치마크 프레임워크이다.
핵심 기여도
- DocOps: 문서 조작을 계층적 세분화된 벤치마크 프레임워크를 제안.
- 실험 결과: 최신 에이전트들이 복합적·장거리 작업에서 심각한 한계를 드러냄.
- 3가지 실패 모드 발견: 장기 상태 추적 붕괴, 얕은 의미 검증, 구조 메타데이터 파괴 편집.
- 문서 일관성 유지 능력의 한계를 명확히 드러냄.
핵심 아이디어
DocOps는 실제 문서 작업을 기반으로 문서 조작을 원자적 차원으로 분해하고, 작업 복잡도를 단계적으로 증가시켜 평가하는 프레임워크이다. 이는 기존 연구에서 다루지 못한 문서의 구조적 일관성과 장기적 상태 추적 문제를 명확히 포착하기 위해 설계되었다. 특히, 문서 내 메타데이터를 파괴하는 편집 행위를 포함한 실패 모드를 식별함으로써, 에이전트의 신뢰성 있는 문서 조작 능력을 정량적으로 평가할 수 있는 기반을 제공한다.
기술적 접근법
- DocOps: 계층적 세분화된 문서 작업 벤치마크.
- 평가 대상: 다양한 에이전트 하이퍼(예: closed- 및 open-source 모델).
- 실험 설계: 작업 복잡도를 단계적으로 증가시키며 에이전트 성능을 평가.
- 실패 분석: 세부 작업 로그를 기반으로 3가지 실패 모드를 식별.
주요 결과
- 최신 에이전트들이 복합적·장거리 작업에서 3가지 실패 모드를 보임.
- 구조 메타데이터 파괴 편집 비율이 높음.
- 장기 상태 추적 실패 비율은 특정 작업에서 40% 이상.
- 의미 검증 실패는 25% 이상 발생.
의의 및 한계
DocOps는 문서 조작 에이전트의 신뢰성과 안정성을 평가하는 체계적인 기준을 제공하며, AI 에이전트의 문서 처리 능력 한계를 명확히 드러내는 데 기여한다. 그러나 특정 산업 문서 형식에 대한 일반화 가능성은 제한적일 수 있다. 또한, DocOps는 실패 원인을 식별하지만, 이를 해결하는 구체적인 설계 지침은 제시하지 않는다.
실용적 활용
DocOps는 문서 중심 업무 자동화, AI 비서 시스템, 법률·금융 문서 처리 등에서 에이전트의 신뢰성을 평가하는 데 활용될 수 있다. 특히, 구조화된 문서를 다루는 산업에서 에이전트의 파괴적 편집을 방지하는 설계에 기여할 수 있다.