DataFlow-Harness: A Grounded Code-Agent Platform for Constructing Editable LLM Data Pipelines

Large language models (LLMs) are increasingly used to automate data-processing workflows, yet coding agents typically produce scripts that are not automatically materialized as persistent, editable platform artifacts. We call this disconnect the NL2Pipeline gap. To bridge it, we introduce DataFlow-Harness, a platform that guides an LLM agent to construct platform-native directed acyclic graphs (DAGs) through typed, incremental mutations rather than free-form scripts. The platform combines DataFlow-Skills for procedural guidance, a Model Context Protocol (MCP) layer that exposes the live operator registry and current pipeline state, and DataFlow-WebUI, which synchronizes conversational authoring with a visual DAG editor. On a 12-task data-engineering benchmark, DataFlow-Harness achieves a 93.3\% observed end-to-end pass rate. Relative to Vanilla Claude Code, it reduces measured monetary cost by 72.5\% and generation latency by 49.9\%; its observed pass rate is within 0.9 percentage points of the Context-Aware Claude Code baseline while its cost is 42.8\% lower. Per-task analysis indicates that Skills are most useful when construction depends on implicit procedural knowledge. These results show that live platform grounding can produce persistent, editable workflow artifacts with an observed reliability close to script-generation baselines and with lower measured construction cost and latency.

한 줄 요약

DataFlow-Harness는 LLM 기반 코드 에이전트가 편집 가능한 DAG 파이프라인을 생성하도록 돕는 플랫폼으로, 12개 태스크에서 93.3%의 종단간 성공률을 달성했다.

핵심 기여도

**NL2Pipeline gap**이라는 개념을 제시하여 자연어와 플랫폼 네이티브 파이프라인 간의 불일치 문제를 정의.
**DataFlow-Harness** 플랫폼을 제안: DataFlow-Skills, Model Context Protocol (MCP), DataFlow-WebUI 세 가지 핵심 구성요소를 결합.
12개 태스크 벤치마크에서 93.3%의 종단간 성공률 달성.
Vanilla Claude Code 대비 72.5%의 비용 절감과 49.9%의 생성 지연 감소.

핵심 아이디어

기존 코드 생성 에이전트는 자연어 입력을 기반으로 스크립트를 생성하지만, 이는 편집 가능한 플랫폼 네이티브 아티팩트로 자동 변환되지 않아 **NL2Pipeline gap**이 발생한다. DataFlow-Harness는 이 문제를 해결하기 위해 **DAG 기반 파이프라인 생성**을 촉진한다.

핵심 아이디어는 **LLM 에이전트가 자유형 스크립트가 아닌, 타입화된 증분적 변형을 통해 플랫폼 네이티브 DAG를 생성하도록 유도**하는 것이다. 이를 위해 **DataFlow-Skills**는 도메인별 절차 지식(예: 오퍼레이터 선택 패턴, 스키마 의존성)을 제공하고, **MCP**는 실행 환경의 라이브 오퍼레이터 레지스트리와 현재 파이프라인 상태를 노출하여 에이전트의 행동을 접지한다.

기술적 접근법

**DataFlow-Skills**: 도메인별 절차 지식을 인코딩한 모듈로, 오퍼레이터 선택, 스키마 의존성, 조립 절차를 포함.
**Model Context Protocol (MCP)**: 라이브 오퍼레이터 레지스트리와 현재 파이프라인 상태를 노출하여 에이전트의 행동을 실행 환경에 접지.
**DataFlow-WebUI**: 대화형 인터페이스와 시각적 DAG 편집기를 동기화하여 반복적 개선과 편집 가능한 DAG 아티팩트 생성.
**DAG 생성 방식**: 타입화된 증분적 변형을 통해 플랫폼 네이티브 DAG 생성.
**하이퍼파라미터**: 명시되지 않음.

주요 결과

**12개 태스크 데이터 엔지니어링 벤치마크**에서 DataFlow-Harness는 **93.3%의 종단간 성공률**을 달성.
**Vanilla Claude Code 대비** 생성 비용은 **72.5% 감소**, 생성 지연은 **49.9% 감소**.
**Context-Aware Claude Code 대비** 성공률은 **0.9% 포인트 이내**, 비용은 **42.8% 감소**.
**개별 태스크 분석**에서 절차 지식이 필요한 경우 DataFlow-Skills가 가장 유용함을 확인.

의의 및 한계

DataFlow-Harness는 LLM 에이전트가 생성한 작업을 편집 가능한 플랫폼 네이티브 아티팩트로 변환할 수 있도록 하여, **산업적 배포 환경에서의 가시성, 재사용성, 거버넌스 적합성**을 향상시킨다. 특히, **DAG 기반 생성 방식**은 스크립트 생성 기반의 에이전트보다 **낮은 비용과 지연**으로 동일한 수준의 신뢰도를 달성한다.

하지만, **복잡한 절차 지식이 필요한 작업에서는 여전히 스크립트 생성 기반의 에이전트와 유사한 성능**을 보이며, **전체적인 성능 향상은 제한적**일 수 있다. 또한, **MCP와 DataFlow-Skills의 상호작용 메커니즘**에 대한 심층 분석은 추가 연구가 필요하다.

실용적 활용

DataFlow-Harness는 **데이터 변환, 질문 응답, 품질 필터링, 합성 데이터 생성** 등 다양한 데이터 엔지니어링 작업에 적용 가능하다. 특히, **대규모 데이터 플랫폼에서의 편집 가능한 파이프라인 생성**이 필요한 산업 환경에서 유용하며, **LLM 기반 자동화 도구의 플랫폼 통합성 향상**에 기여할 수 있다.