agentic-framework graph-based error-recovery memory-architecture tool-invocation state-transitions gaia-benchmark rust-engine
Abstract
Agentic LLM frameworks that rely on prompted orchestration, where the model itself determines workflow transitions, often suffer from hallucinated routing, infinite loops, and non-reproducible execution. We introduce GraphBit, an engine-orchestrated framework that defines workflows explicitly and deterministically as a directed acyclic graph (DAG). Unlike prompted orchestration, agents in GraphBit operate as typed functions, while a Rust-based engine governs routing, state transitions, and tool invocation, ensuring reproducibility and auditability. The engine supports parallel branch execution, conditional control flow over structured state predicates, and configurable error recovery. A three-tier memory architecture consisting of ephemeral scratch space, structured state, and external connectors isolates context across stages, preventing cascading context bloat that degrades reasoning in long-running pipelines. Across GAIA benchmark tasks spanning zero-tool, document-augmented, and web-enabled workflows, GraphBit outperforms six existing frameworks, achieving the highest accuracy (67.6 percent), zero framework-induced hallucinations, the lowest latency (11.9 ms overhead), and the highest throughput. Ablation studies demonstrate that each memory tier contributes measurably to performance, with deterministic execution providing the greatest gains on tool-intensive tasks representative of real-world deployments.
한국어 요약
📋 한 줄 요약
**[AI Agent / Orchestration]** 결정적 DAG 기반 엔진 오케스트레이션과 3단계 메모리 구조를 갖춘 Rust 기반 에이전트 프레임워크 GraphBit을 제안하여, 환각 라우팅과 무한 루프 문제를 해결한다.
🎯 핵심 기여도
- 모델이 직접 워크플로 전이를 결정하는 prompted orchestration의 문제(환각 라우팅, 무한 루프, 비재현성)를 비판하고 engine-orchestrated 대안 제시
- 워크플로를 명시적·결정적 DAG로 정의하고 Rust 엔진이 라우팅·상태 전이·도구 호출을 통제하는 GraphBit 아키텍처 설계
- ephemeral scratch / structured state / external connectors의 3-tier 메모리로 단계별 컨텍스트를 격리해 컨텍스트 비대화 완화
- GAIA 벤치마크 전 영역(zero-tool, document-augmented, web-enabled)에서 6개 기존 프레임워크 대비 최고 정확도, 0 환각, 최저 지연 달성
💡 핵심 아이디어
"오케스트레이터를 LLM에게 맡기면 LLM이 망친다"는 진단 아래, LLM은 typed 함수로만 다루고 흐름 제어와 상태 관리는 결정적 엔진이 책임지도록 책임 분리를 한다. 이로써 재현성·감사 가능성·도구 집약적 작업에서의 안정성을 모두 확보한다.
🔬 기술적 접근법
- **모델/방법론**: Rust 기반의 deterministic execution engine + LLM agents-as-functions 구조의 GraphBit 프레임워크
- **핵심 기법**: 명시적 DAG 정의, 병렬 분기 실행, 구조화된 상태 위에서의 조건 제어 흐름, 구성 가능한 오류 복구, 그리고 3-tier 메모리(ephemeral/structured/external)
📊 주요 결과
- GAIA 벤치마크에서 67.6% 정확도로 6개 비교 프레임워크 중 최고
- framework-induced hallucination 0건, 11.9 ms로 최저 지연 오버헤드, 최고 throughput
- ablation: 3-tier 메모리 각 단이 측정 가능한 성능 기여, 도구 집약 태스크에서 결정적 실행이 가장 큰 이득
💭 의의 및 한계
**의의**: 실서비스에 적합한 reliability/auditability/속도 특성을 갖춘 에이전트 인프라 설계의 모범을 제시. **한계**: DAG 사전 정의를 요구하므로 동적·자유로운 탐색이 필요한 작업에는 표현력의 한계, 정의/유지 비용이 추가됨.
🚀 실용적 활용
- 엔터프라이즈용 결정적·감사 가능 LLM 워크플로
- 다단계 도구·문서·웹 사용이 섞인 GAIA 류 복합 태스크 자동화
- 멀티 에이전트 시스템에서 컨텍스트 누적 문제 완화가 중요한 장기 실행 파이프라인