What Makes Good Agentic Data? An ACE Lens on Data Generation for LLM Agents

LLM agents increasingly rely on generated interaction data to learn how to interact with external environments. Agentic data generation must maintain consistency among environments, tasks, interactions, and success signals while producing experience that is useful rather than merely abundant. Existing work spans many agent domains, but domain-centered organization and heterogeneous evaluation often obscure common generation mechanisms and conflate candidate construction with verification and selection. This work develops a two-level framework for the field. First, we represent agentic data as a common factorized object (E,q,τ,v), comprising an environment specification, task signal, interaction realization, and optional verifier. We organize generation paradigms by their primary anchor and dependency structure. Second, we formulate generation as constrained distribution design through the Accuracy-Complexity-divErsity (ACE) lens. Accuracy establishes the feasible support of grounded and internally consistent data. Within this support, Complexity places learning mass relative to the capability of a declared learner and execution configuration, while divErsity controls coverage and redundancy of data. Using this framework, we explore how prior work verifies generated experience, constructs and calibrates difficulty, and expands behavioral coverage. The literature reveals a shift toward execution-grounded accuracy, learner-relative complexity, and diversity beyond surface variation or dataset size. We further discuss broader directions and emerging trends in agentic data generation through the ACE lens, including their implications for scaling, data sources, training regimes and adaptive learning. Overall, the central challenge is not simply to generate more data, but to continually allocate valid, informative, and non-redundant experience as agents and environments evolve.

한 줄 요약

LLM 에이전트의 생성 데이터를 ACE(정확도-복잡도-다양성) 관점에서 분석하고, (E,q,τ,v) 요소로 분해하여 생성 프레임워크를 제시한다.

핵심 기여도

(E,q,τ,v) 요소로 agentic 데이터를 공통 인자화하여 생성 파이프라인을 분류.
ACE(정확도-복잡도-다양성)를 제안하여 데이터 생성 분포를 제약된 설계 문제로 정식화.
기존 연구에서 ACE 기준에 따라 정확도는 실행 기반으로, 다양성은 행동 커버리지로 이동하고 있음을 밝힘.
생성 데이터의 학습 가치를 평가할 때, 샘플 수가 아닌 비중복적 학습 가치를 강조.

핵심 아이디어

기존 연구는 도메인 중심으로 agentic 데이터 생성 방법을 설명해왔으나, 이는 생성 메커니즘을 은폐하고 비교를 어렵게 만든다. 본 연구는 agentic 데이터를 (E, q, τ, v)로 인자화하여 생성 파이프라인을 분류하고, ACE(정확도-복잡도-다양성) 관점에서 데이터 생성 분포를 설계하는 새로운 프레임워크를 제시한다. 정확도는 E, q, τ, v 간 일관성을 요구하며, 복잡도는 학습자와 실행 환경에 따라 조절되어야 하며, 다양성은 단순한 샘플 수가 아닌 행동적 커버리지를 기준으로 정의되어야 한다. 이는 agentic 데이터 생성이 단순히 더 많은 데이터를 생성하는 것이 아니라, 학습에 유용한 경험을 지속적으로 할당하는 문제임을 강조한다.

기술적 접근법

agentic 데이터를 (E, q, τ, v)로 인자화: E는 실행 가능한 환경, q는 작업 조건, τ는 실제 상호작용, v는 선택적 검증자.
ACE 관점에서 데이터 생성을 제약된 분포 설계 문제로 정식화: 정확도는 E, q, τ, v 간 일관성을 요구, 복잡도는 학습자와 실행 환경에 따라 조절, 다양성은 비중복적 커버리지를 기준으로 정의.
생성 파이프라인을 주요 앵커와 의존 구조에 따라 분류: forward, task-first, trajectory-first, structure-first 파이프라인.
ACE는 데이터 생성 시 학습에 유용한 경험을 정의하는 세 가지 핵심 속성을 포괄하며, 이는 데이터 생성 메커니즘을 분석하는 분석적 렌즈 역할을 함.

주요 결과

ACE 기준에 따라 기존 연구는 정확도가 실행 기반으로, 복잡도가 학습자 기반으로, 다양성이 행동 커버리지로 이동하고 있음.
agentic 데이터 생성은 단순히 샘플 수가 아닌, 비중복적 학습 가치를 평가해야 함.
생성 데이터는 post-training trajectory에서 벗어나 pre- 및 mid-training 단계로 확장되고 있음.
ACE는 데이터 생성 아키텍처와 평가 목적을 분리하는 데 중요한 역할을 함.

의의 및 한계

ACE 프레임워크는 agentic 데이터 생성 메커니즘을 비교하고 분석하는 데 유용하며, 학습에 유용한 경험을 정의하는 기준을 명확히 한다. 특히, 정확도, 복잡도, 다양성의 비대칭적 관계를 강조함으로써, 단순히 샘플 수를 늘리는 방식에서 벗어나 학습 가치를 중심으로 데이터 생성을 설계할 수 있다. 그러나 ACE는 데이터 생성의 비용, 효율성, 안전성과 같은 다른 요소는 고려하지 않으며, 이는 추가 연구가 필요한 부분이다. 또한, ACE는 분석적 렌즈이기 때문에, 구체적인 생성 알고리즘 개발에는 직접적으로 적용되지 않는다.

실용적 활용

ACE 프레임워크는 LLM 에이전트의 학습 데이터를 생성할 때, 정확성과 학습자 적합성, 행동적 다양성을 고려하는 데 활용될 수 있다. 예를 들어, 시뮬레이션 환경에서 에이전트가 학습할 작업을 생성할 때 ACE 기준을 사용하면, 단순히 많은 샘플을 생성하는 것보다 학습에 유용한 경험을 선택적으로 할당할 수 있다. 이는 교육, 자동화 시스템, 인공지능 기반 고객 서비스 등 다양한 분야에서 적용 가능하다.