Data Interpreter: An LLM Agent For Data Science

Large Language Model (LLM)-based agents have shown effectiveness across many applications. However, their use in data science scenarios requiring solving long-term interconnected tasks, dynamic data adjustments and domain expertise remains challenging. Previous approaches primarily focus on individual tasks, making it difficult to assess the complete data science workflow. Moreover, they struggle to handle real-time changes in intermediate data and fail to adapt dynamically to evolving task dependencies inherent to data science problems. In this paper, we present Data Interpreter, an LLM-based agent designed to automatically solve various data science problems end-to-end. Our Data Interpreter incorporates two key modules: 1) Hierarchical Graph Modeling, which breaks down complex problems into manageable subproblems, enabling dynamic node generation and graph optimization; and 2) Programmable Node Generation, a technique that refines and verifies each subproblem to iteratively improve code generation results and robustness. Extensive experiments consistently demonstrate the superiority of Data Interpreter. On InfiAgent-DABench, it achieves a 25% performance boost, raising accuracy from 75.9% to 94.9%. For machine learning and open-ended tasks, it improves performance from 88% to 95%, and from 60% to 97%, respectively. Moreover, on the MATH dataset, Data Interpreter achieves remarkable performance with a 26% improvement compared to state-of-the-art baselines. The code is available at https://github.com/geekan/MetaGPT.

한 줄 요약

Data Interpreter는 데이터 과학 문제를 종단간 해결하는 LLM 에이전트로, 계층적 그래프 모델링과 프로그래밍 가능한 노드 생성을 통해 25% 이상의 성능 향상을 달성했다.

핵심 기여도

**계층적 그래프 모델링**(Hierarchical Graph Modeling)을 도입하여 복잡한 문제를 관리 가능한 하위 문제로 분해하고, 동적 노드 생성과 그래프 최적화를 지원.
**프로그래밍 가능한 노드 생성**(Programmable Node Generation)을 통해 하위 문제를 반복적으로 정제·검증하여 코드 생성의 정확성과 안정성을 향상.
**InfiAgent-DABench**에서 정확도를 75.9%에서 94.9%로 25% 향상, **MATH 데이터셋**에서 기존 최고 기준 대비 26% 개선.
**ML-Benchmark**에서 프로그래밍 가능한 노드 생성이 종합 점수를 10.6% 증가시킴.

핵심 아이디어

기존 데이터 과학 LLM 에이전트는 주로 단일 작업에 집중하여 전체 워크플로우를 평가하기 어려웠고, 실시간 데이터 변화나 작업 의존성에 대응하지 못했다. Data Interpreter는 데이터 과학 워크플로우를 **계층적 그래프 모델링** 문제로 재구성하여, 작업 간 의존성을 그래프의 노드와 엣지로 표현함으로써 동적이고 유연한 작업 관리를 가능하게 했다. 특히, **Programmable Node Generation** 모듈은 각 노드를 실시간으로 생성·정제·검증함으로써 하위 문제의 정확성과 실행 안정성을 반복적으로 향상시킨다. 이는 LLM의 코드 생성 능력을 활용해 그래프 구조를 동적으로 합성하고 최적화함으로써 복잡하고 변화하는 데이터 과학 작업에 적응하도록 설계되었다.

기술적 접근법

**계층적 그래프 모델링**(Hierarchical Graph Modeling): 복잡한 데이터 과학 문제를 하위 문제로 분해하고, 노드와 엣지를 통해 작업 의존성을 표현.
**프로그래밍 가능한 노드 생성**(Programmable Node Generation): 각 노드를 정제하고 검증하여 코드 생성의 정확성과 반복적 개선을 지원.
**LLM 기반 코드 생성**: GPT-4o, GPT-4o-mini, Qwen-72B-Chat, Mixtral-8x7B 등의 모델을 사용하여 데이터 로딩, 분석, 모델링을 수행.
**반복적 그래프 최적화**: 그래프 구조를 반복적으로 조정하여 실시간 데이터 변화와 작업 의존성에 대응.
**하이퍼파라미터**: ML-Benchmark에서 반복적 그래프 최적화는 0.48, 프로그래밍 가능한 노드 생성은 10.6%의 성능 향상 기여.

주요 결과

**InfiAgent-DABench**에서 정확도 75.9% → 94.9% (25% 향상).
**기계 학습 작업**에서 성능 88% → 95% (7% 향상).
**개방형 작업**에서 성능 60% → 97% (37% 향상).
**MATH 데이터셋**에서 기존 최고 기준 대비 26% 개선.
**ML-Benchmark**에서 프로그래밍 가능한 노드 생성이 종합 점수를 10.6% 증가시킴.

의의 및 한계

Data Interpreter는 데이터 과학 워크플로우의 종단간 자동화를 가능하게 하며, 실시간 데이터 변화와 작업 의존성에 대응하는 새로운 접근법을 제시한다. 특히, **계층적 그래프 모델링**과 **프로그래밍 가능한 노드 생성**을 결합한 구조는 기존 LLM 에이전트의 단점을 극복하고, 반복적 개선과 정확성 향상을 동시에 달성했다. 그러나, 작은 LLM은 이미지 처리나 웹 결과 처리에서 실패하는 경우가 있으며, 고급 코딩 능력이 필요한 작업에서는 한계가 있다. 또한, 실시간 대규모 데이터셋 처리에 대한 평가가 명시되지 않아 추가 연구가 필요하다.

실용적 활용

Data Interpreter는 데이터 분석, 머신러닝 모델링, 실시간 데이터 처리가 필요한 산업 현장에서 활용 가능하다. 특히, **InfiAgent-DABench**와 **MATH**와 같은 복잡한 데이터셋에서 뛰어난 성능을 보이므로, 금융, 제조, 의료 분야의 데이터 과학 작업 자동화에 유용할 것으로 기대된다.