Agentic Artifact Creation: Systems, Evaluation, Principles, and Opportunities

Generative models can turn natural-language prompts into images, text, code, and other content, lowering the cost of producing drafts and components. Their practical impact increasingly depends on whether those pieces can become complete, dependable deliverables. This survey examines agentic artifact creation, which we define as stateful construction in which an AI system materially constructs or revises a deliverable and intermediate observations redirect later work. Functionally, the process links an operational representation of the artifact, a construction policy, and runtime verification whose feedback can redirect later actions. We reviewed 259 works available through August 20, 2026: 230 systems meeting this definition and 29 benchmarks of agentic artifact construction. We compare six artifact families, then analyze application settings and evaluation practice as separate dimensions. Across families, construction challenges reflect not only modality but also how tightly decisions are coupled and whether failures become visible while they remain repairable. Decomposition can reduce local complexity while increasing coordination and reassembly costs. Learned judges may add little independent evidence when they share the generator's preferences or blind spots. We formulate principles for keeping commitments and responsibility explicit, turning feedback into targeted repair, and revalidating affected state after change. We also identify opportunities for sustaining coherent, accountable control as artifacts, creator intent, and construction systems evolve. A curated paper list is available at https://github.com/GeminiLight/awesome-agentic-artifact-creation.

한 줄 요약

지능형 에이전트가 생성물을 상태를 유지하면서 구축하고 수정하는 과정을 체계적으로 분석한 조사 연구.

핵심 기여도

2026년 8월 20일까지 발표된 259개 연구를 검토하여, 230개의 에이전트 생성 시스템과 29개의 벤치마크를 분류.
생성물 가족 6개를 비교하고, 평가 방법론과 설계 원칙을 제시.
생성 과정에서의 결함 탐지, 수정, 재검증을 위한 4가지 설계 원칙을 제시.
평가 시스템에서 사용 가능한 6개의 증거 채널과 4가지 평가자 유형을 구분.

핵심 아이디어

지능형 에이전트가 생성물을 상태를 유지하면서 구축하고, 중간 관찰을 바탕으로 후속 작업을 재지정하는 과정을 **에이전트 생성**(agentic artifact creation)으로 정의하고, 이를 체계적으로 분석한다. 이는 단순 생성이 아닌, **운영 표현**(Operational Representation), **구축 정책**(Construction Policy), **런타임 검증**(Runtime Verification)의 세 요소가 연결된 상태에서 이루어진다.

예를 들어, 생성된 문서나 코드가 실행 시 오류를 내면, 런타임 검증이 이를 포착하고, 구축 정책이 수정을 제안하며, 운영 표현이 수정된 상태를 반영한다. 이는 단순 생성 모델과는 구조적으로 다른, **상태를 유지하는**(stateful) 생성 과정을 요구한다.

기술적 접근법

**평가 프로토콜**: 태스크 세트, 평가 지표, 실행 구성, 분석 계획으로 구성.
**평가 증거 채널**: 6가지 (Reference Inputs, Structured State, Rendered Output, Runtime Behavior, Construction History, Use Outcomes)
**평가자 유형**: Rule-based Checks, Specialist Models, LM Judges, Human Reviewers
**구체적 평가 지표**: 예시로, 렌더링된 페이지가 레이아웃 규칙을 만족하는지 여부, 인간 평가자에 의해 점수화되는 결과 등.
**구현 예시**: ARC(Inspectable Requirements and Checks), Executable Event Graphs, MAS-ProVe, DRACO 등.

주요 결과

259개 연구를 검토하여, 230개의 에이전트 생성 시스템과 29개의 벤치마크를 분류.
생성물 가족 6개(예: 문서, 코드, 시각 자료 등)를 비교.
생성 과정에서의 결함이 시기적절하게 감지되지 않거나, 수정이 지역적 수준에서 불가능한 경우가 다수.
학습된 평가자(LM Judges)가 생성자와 동일한 편향을 공유하면 독립적인 증거를 제공하지 못함.
평가 프로토콜에서 실행 구성(run configuration)이 일관되지 않으면 비교 결과가 신뢰도가 떨어짐.

의의 및 한계

이 연구는 에이전트 생성 과정을 체계적으로 분석하고, 평가와 설계 원칙을 제시함으로써, 생성 모델의 실용적 적용을 위한 기초를 제공한다. 특히, **런타임 검증**과 **수정 가능성**(repairability)을 강조하며, 생성 과정에서의 책임과 의도를 명시적으로 유지해야 함을 강조한다.

하지만, 각 도메인에서의 구현은 여전히 특수화되어 있어 일반화가 어려운 한계가 있다. 또한, 학습된 평가자(LM Judges)가 생성자와 동일한 편향을 공유하면, 평가의 독립성과 신뢰도가 저하될 수 있다.

실용적 활용

이 연구는 소프트웨어 개발, 문서 작성, 시각 자료 생성 등 다양한 산업에서 지능형 에이전트를 활용한 생성 과정의 설계와 평가에 적용 가능하다. 특히, **자동 수정**(auto-repair)과 **런타임 검증**이 필요한 시스템 개발, **사용자 피드백을 반영한 생성 과정**(feedback-driven generation)에서 활용 가능하다.