Graph Engineering in the Era of LLM Agents: From Individual Intelligence to System Intelligence

LLMs have evolved from language generators to autonomous agents capable of complex, long-horizon tasks. This evolution has produced paradigms including Prompt Engineering to elicit model capabilities, Context Engineering to manage information access, Harness Engineering to organize external tools and resources, and Loop Engineering to support continual reflection and self-improvement. Yet as tasks grow more complex, individual intelligence faces a fundamental limit: many tasks require heterogeneous expertise, interdependent subtasks, parallel execution, independent verification, and persistent state, exceeding any single agent's organizational capacity. Augmenting one agent's capabilities or context cannot resolve this architectural mismatch; intelligence must instead be distributed across specialized agents and organized at the system level. We call this System Intelligence: an agent system's ability to organize and coordinate multiple intelligent components into a coherent, adaptive whole pursuing a shared objective. Achieving it requires more than adding agents; it demands explicit structures to organize work, coordinate heterogeneous agents, and maintain evolving execution states. We introduce Graph Engineering, an emerging paradigm for next-generation agent systems. Unlike prior paradigms that mainly optimize individual interactions or agent-level behavior, Graph Engineering constructs explicit, dynamic, evolving graph structures representing tasks, agents, and system states. These abstractions provide a unified foundation for organizing complex objectives, orchestrating heterogeneous agents, modeling system dynamics, and enabling scalable agent evolution. We systematically review the principles, methodologies, and applications of Graph Engineering for LLM agents. Related papers, open-source data, and projects are collected at https://github.com/DEEP-JLU/Awesome-Graph-Engineering.

한 줄 요약

LLM 에이전트 시스템의 복잡성을 관리하기 위해 그래프 기반 구조를 도입한 System Intelligence와 Graph Engineering 패러다임을 제시한다.

핵심 기여도

System Intelligence 개념을 정의: 복잡한 목표를 조직화하고 이질적 에이전트를 조율하는 시스템 수준의 지능.
Graph Engineering 패러다임 제안: 작업, 에이전트, 상태를 표현하는 동적 그래프 구조를 통해 시스템 지능을 구현.
Graph Engineering의 3가지 핵심 조직 문제 제시: Task Organization, Agent Coordination, Runtime State Management.
관련 연구, 데이터, 프로젝트를 정리한 오픈소스 저장소 제공 (https://github.com/DEEP-JLU/Awesome-Graph-Engineering).

핵심 아이디어

기존 Prompt Engineering, Context Engineering, Harness Engineering, Loop Engineering 등은 주로 개별 에이전트의 행동을 최적화하는 데 초점을 맞췄다. 그러나 복잡한 현실 세계의 작업은 이질적 전문 지식, 병렬 실행, 독립적 검증, 지속 상태 유지 등 단일 에이전트가 처리하기 어려운 요구사항을 갖는다. 이에 따라, 개별 지능에서 시스템 지능으로의 패러다임 전환이 필요하다. System Intelligence는 여러 에이전트와 자원을 조직화하고 조율하여 공유 목표를 달성하는 시스템 수준의 능력을 의미한다. 이를 실현하기 위해 Graph Engineering이 제안되는데, 이는 작업, 에이전트, 시스템 상태를 표현하는 동적이고 진화하는 그래프 구조를 구축하는 새로운 접근법이다. 이 그래프는 복잡한 목표 조직화, 이질적 에이전트 조율, 시스템 역학 모델링, 에이전트 확장 가능성을 위한 기반을 제공한다.

기술적 접근법

**Graph Engineering**은 작업 조직(Task Organization), 에이전트 조율(Agent Coordination), 런타임 상태 관리(Runtime State Management)의 세 가지 핵심 조직 문제를 해결한다.
**Transformer**, **Megatron Core**, **vLLM**, **SGLang** 등은 모델 파라미터와 실행을 처리하는 기반 인프라를 제공.
**LLaMA-Factory**, **verl**, **slime**은 학습 파이프라인을 확장하고 에이전트 환경 상호작용을 지원.
**Graph-based abstraction**은 작업, 에이전트, 상태를 표현하고, 작업 스케줄링, 능력 바인딩, 실행 추적, 실패 로컬라이제이션, 제어 가능한 진화를 가능하게 함.
**Loop Engineering**은 계획, 행동, 관찰, 검증, 적응의 반복 사이클을 통해 지속적인 환경 상호작용을 조직화.

주요 결과

**Graph Engineering**은 단순히 에이전트 수를 늘리는 것 이상의 구조적 조직화를 요구.
**System Intelligence**는 단일 에이전트의 능력 확장이 아닌, 이질적 구성 요소의 조율과 상태 관리를 통해 달성.
**Graph-based abstraction**은 복잡한 작업 조직화와 에이전트 조율에 효과적.
**Graph Engineering**은 **LLM agents**의 확장성, 제어 가능성, 진화 가능성 향상에 기여.

의의 및 한계

Graph Engineering은 LLM 기반 에이전트 시스템의 복잡성을 관리하고 확장성을 높이는 데 중요한 기여를 한다. 특히, 이질적 에이전트의 조율, 병렬 작업 처리, 지속 상태 유지 등 단일 에이전트가 해결하기 어려운 문제를 해결할 수 있다. 그러나 이 분야는 여전히 초기 단계에 있으며, 의미적 정렬(Semantic Alignment), 그래프 거버넌스(Graph Governance), 평가, 개인정보 보호, 안전한 자기 개선 등 중요한 과제들이 남아 있다. 또한, 현재 자원은 작업 조직화, 조율, 런타임 상태, 진화 등 분산되어 있어, 구조 간 상호 영향을 측정하기 어렵다는 한계도 존재한다.

실용적 활용

Graph Engineering은 과학 탐구, 소프트웨어 엔지니어링, 복잡한 시스템 관리 등 복잡한 작업이 필요한 산업과 연구 분야에 적용 가능하다. 특히, 병렬 작업 처리, 이질적 전문 지식 활용, 지속 상태 유지가 필요한 시스템에서 유용하며, LLM 기반 에이전트의 확장성과 제어 가능성 향상에 기여할 수 있다.