Declarative Data Services: Structured Agentic Discovery for Composing Data Systems

Agentic discovery has shown that LLM-driven search can find novel algorithms, designs, and code under benchmark conditions. Translating the paradigm to multi-system data backends surfaces a harder problem: the search space is heterogeneous, the verifier is whether a deployed stack actually runs, and composition knowledge is unevenly captured in pretraining. Unbounded agentic discovery, a coding agent iterating on failure-log feedback, fails to converge consistently on a working stack even when iteration and explicit composition knowledge are added. We propose Declarative Data Services (DDS), an architecture for structured agentic discovery of data-system compositions from declarative user intent. The framework owns four typed contracts at successive layers (intent, operator DAG, per-system skills, runtime attribution) that decompose the global search into bounded sub-searches; sub-agents search each typed space, while the framework provides the channels by which knowledge flows forward as inline skill citations and errors route backward as typed signals. As a proof of life on a trading-backend workload, DDS converges where unbounded discovery does not; runtime failures become skill patches that the next deployment cites inline. We position this as an early prototype reporting lessons from real-world data-system composition.

한 줄 요약

**[Agentic Discovery / 데이터 시스템]** DDS는 declarative intent에서 멀티시스템 데이터 백엔드 조합을 4 typed contract(intent·operator DAG·system skill·runtime attribution) 계층으로 분해, unbounded agentic discovery가 수렴 못 하는 trading 백엔드에서 수렴·실패가 inline skill patch가 됨.

핵심 기여도

Agentic discovery가 LLM 기반 탐색으로 새 알고리즘·디자인·코드 발견 가능함을 벤치마크 조건에서 입증 — 그러나 멀티시스템 데이터 백엔드에서는 탐색 공간이 heterogeneous, verifier가 "배포된 stack 실제 실행 여부", composition 지식이 pretraining에 불균등 캡처되는 더 어려운 문제 제기.
Unbounded agentic discovery(실패 로그 feedback으로 반복하는 코딩 에이전트)가 iteration·explicit composition 지식 추가에도 working stack에 일관 수렴 못함을 보임.
DDS(Declarative Data Services) architecture 제안 — declarative user intent로부터 데이터 시스템 조합의 structured agentic discovery.
프레임워크가 연속 4 layer의 typed contract(intent·operator DAG·per-system skill·runtime attribution)를 소유 — 전역 탐색을 bounded sub-search로 분해.

핵심 아이디어

멀티시스템 데이터 백엔드의 agentic discovery는 unbounded 코딩 에이전트로 수렴 불가능하며, intent→operator DAG→per-system skill→runtime attribution의 4 typed contract로 탐색을 계층적으로 분해하고 inline skill citation·typed signal로 지식·오류를 routing해야 수렴 가능하다.

기술적 접근법

**방법론**: DDS — 4 typed contract layer로 구조화된 agentic discovery.
**핵심 기법**: (1) Intent layer — declarative user intent 표현, (2) Operator DAG layer — 시스템 무관 연산 그래프, (3) Per-system skill layer — 시스템별 구현 스킬, (4) Runtime attribution layer — 실행 결과 귀속, (5) Sub-agent가 각 typed 공간을 탐색·프레임워크가 inline skill citation으로 지식 forward·typed signal로 오류 backward routing.

주요 결과

Trading 백엔드 워크로드 proof-of-life에서 DDS 수렴 — unbounded discovery는 수렴 못함.
Runtime failure가 다음 배포에서 inline citation되는 skill patch가 됨.
Real-world 데이터 시스템 조합의 lessons learned 보고.

의의 및 한계

**의의**: Agentic discovery를 벤치마크 너머 real-world 멀티시스템으로 확장, 4-layer typed contract라는 architectural 원리 제시, 실패가 학습으로 전환되는 closed-loop, declarative interface의 사용자 친화성. **한계**: 초기 prototype·trading 백엔드 단일 사례, typed contract 정의 자체의 도메인 의존성, sub-agent 학습·관리 cost.

실용적 활용

멀티 데이터베이스·스토리지 stack의 자동 조합.
LLM 기반 시스템 구성 자동화.
코드 자동 패치·skill 재사용 인프라.