Autodata: An agentic data scientist to create high quality synthetic data

We introduce Autodata, a general method that enables AI agents to act as data scientists who build high quality training and evaluation data. We show how to train (meta-optimize) such a data scientist agent, so that it learns to create even stronger data. We describe the overall formulation, and a specific practical implementation, Agentic Self-Instruct. We conduct experiments on computer science research tasks, legal reasoning tasks and reasoning with mathematical objects, where we obtain improved results compared to classical synthetic dataset creation methods. Further, meta-optimizing the data scientist agent itself delivers an even larger performance uplift. Agentic data creation provides a way to convert increased inference compute into higher quality model training. Overall, we believe this direction has the potential to change the way we build AI data.

한 줄 요약

Autodata는 AI 에이전트가 데이터 과학자 역할을 수행해 고질량 합성 데이터를 생성하는 일반적인 방법이다.

핵심 기여도

Autodata는 AI 에이전트가 데이터 생성, 평가, 개선을 반복하는 데이터 과학자 역할을 수행하도록 설계됨.
Agentic Self-Instruct라는 구현 방식을 제시하며, 이는 Self-Instruct, CoT Self-Instruct, Grounded Self-Instruct를 일반화한 형태.
컴퓨터 과학, 법적 추론, 수학적 추론 태스크에서 기존 합성 데이터 생성 방법 대비 개선된 성능 달성.
데이터 과학자 에이전트 자체를 메타최적화함으로써 추가 성능 향상 가능.

핵심 아이디어

기존 Self-Instruct 계열 방법은 합성 데이터 생성을 자동화했으나, 데이터의 난이도와 품질을 직접 제어하지 못했다. Autodata는 AI 에이전트가 데이터 과학자처럼 행동하여 데이터 생성, 분석, 평가, 개선을 반복하는 프로세스를 구현한다. 이는 초기 데이터 생성 후, 데이터 품질을 "eyeballing"하고 성능을 측정한 뒤, 개선된 레시피로 데이터를 재생성하는 반복적 학습 구조를 포함한다. Agentic Self-Instruct는 이 프로세스를 구현한 구체적 알고리즘이며, CoT(Self-Instruct)와 Grounded Self-Instruct를 포함하는 기존 방법들을 일반화한다.

기술적 접근법

Autodata는 **Agentic Self-Instruct**라는 구현 방식을 통해 작동.
에이전트는 **데이터 생성**, **성능 평가**, **레시피 개선**의 3단계를 반복.
**Self-Instruct**, **CoT Self-Instruct**, **Grounded Self-Instruct**를 포함하는 기존 방법들을 일반화.
**메타최적화**(meta-optimization)를 통해 에이전트 자체를 학습시켜 더 나은 데이터 생성 능력을 얻음.
**In-context learning**과 **instruction following**을 활용해 0샷 또는 퓨샷 프롬프팅으로 데이터 생성.

주요 결과

**컴퓨터 과학 연구**, **법적 추론**, **수학적 추론** 태스크에서 기존 합성 데이터 생성 방법 대비 **개선된 성능** 달성.
**Agentic Self-Instruct**는 **Self-Instruct** 기반 방법 대비 **더 높은 품질의 데이터**를 생성.
**메타최적화**를 적용한 에이전트는 **추가 성능 향상**을 제공.
**명시되지 않음**.

의의 및 한계

Autodata는 합성 데이터 생성을 자동화하고, 그 품질을 반복적으로 개선하는 새로운 패러다임을 제시한다. 특히, 기존 방법이 데이터 생성에 집중했다면, Autodata는 데이터 생성-평가-개선의 전체 루프를 에이전트가 수행함으로써 **데이터 과학자 역할을 자동화**한다. 이는 AI 모델 훈련의 질을 높이고, 더 어려운 태스크를 생성할 수 있는 가능성을 열어준다. 다만, **메타최적화 과정의 구체적 알고리즘**이나 **성능 향상의 정량적 수치**는 명시되지 않았으며, **실제 산업 적용 가능성**에 대한 평가도 부재하다.

실용적 활용

Autodata는 **AI 모델 훈련 데이터 생성**, **신규 태스크 및 벤치마크 개발**, **데이터 과학자 역할 자동화**에 활용 가능하다. 특히, **인공지능 연구**, **법률 분석**, **수학 교육** 등에서 고난이도 합성 데이터를 생성하는 데 유용할 수 있다.