AgentNLQ: A General-Purpose Agent for Natural Language to SQL

Natural language to SQL (NL2SQL) conversion is an important problem for researchers and enterprises due to the ubiquitous importance of relational databases in broad-ranging practical problems. Despite the rapid advancements in the capabilities of LLMs, NL2SQL has not reached parity in accuracy with human expert SQL writers, hence needing additional improvements in NL2SQL algorithms. This study presents a new multi-agent method for NL2SQL that achieves 78.1% semantic accuracy on the BIg Bench for LaRge-scale Database (BIRD) benchmark. Our method leverages a semantically enriched representation of user-provided schema, adds user-provided business rules, and produces accurate SQL queries. The main contributions of this study are (a) We designed an optimized new orchestrator in a multi-agent solution that uses LLMs to plan, orchestrate, reflect, and self-correct to generate accurate SQL queries, (b) We developed an advanced schema enrichment method that creates context-aware metadata to improve accuracy, and (c) We demonstrated the accuracy and generalizability of the method across different domains and datasets by evaluating it on the BIRD-SQL benchmark.

한 줄 요약

**[NL2SQL / 멀티 에이전트 LLM]** 의미적으로 풍부한 스키마 표현과 사용자 비즈니스 규칙을 활용하는 새로운 멀티 에이전트 오케스트레이터 AgentNLQ로 BIRD 벤치마크에서 78.1% semantic accuracy 달성.

핵심 기여도

LLM 발전에도 불구하고 NL2SQL이 인간 전문가 SQL 수준의 정확도에 도달하지 못한다는 산업적 공백을 정의, 추가적 알고리즘 개선의 필요성을 명시.
LLM을 활용해 계획·오케스트레이션·반성·자기수정을 수행하는 최적화된 신규 멀티 에이전트 오케스트레이터 설계 → 정확한 SQL 생성에 기여.
context-aware 메타데이터를 생성하는 advanced schema enrichment 방법으로 사용자 제공 스키마를 의미적으로 풍부하게 표현.
BIRD-SQL 벤치마크에서 78.1% semantic accuracy 달성, 다양한 도메인·데이터셋 평가로 generalizability 입증.

핵심 아이디어

NL2SQL의 정확도 향상은 단일 LLM 호출을 더 강한 모델로 바꾸는 것이 아니라, (a) 스키마 표현을 의미적으로 풍부하게 만들고, (b) 멀티 에이전트가 계획·반성·자기수정 루프를 돌리며, (c) 사용자 제공 비즈니스 규칙을 컨텍스트로 흡수하는 시스템 차원의 설계에서 온다.

기술적 접근법

**모델/방법론**: 멀티 에이전트 오케스트레이션 기반 NL2SQL 시스템 AgentNLQ.
**핵심 기법**: (1) 의미적으로 enriched된 스키마 표현 + 사용자 제공 비즈니스 규칙, (2) plan-orchestrate-reflect-self-correct 루프를 수행하는 최적화 오케스트레이터, (3) context-aware 메타데이터 자동 생성, BIRD-SQL을 포함한 다양한 도메인·데이터셋 평가.

주요 결과

BIRD 벤치마크에서 78.1% semantic accuracy.
다양한 도메인·데이터셋에서의 generalizability 입증.
스키마 enrichment와 멀티 에이전트 자기 수정이 정확도 개선의 핵심 기여 요인으로 분석.

의의 및 한계

**의의**: 엔터프라이즈 데이터베이스 응용에서 NL2SQL을 실제 적용 가능한 수준에 더 가깝게 끌어올리는 시스템 청사진 제공. **한계**: 비즈니스 규칙·스키마 enrichment의 품질에 성능이 의존, 매우 큰 스키마·드문 도메인 표준어에서의 일반화는 추가 검증 필요.

실용적 활용

엔터프라이즈 BI·분석 도구의 자연어 쿼리 인터페이스.
도메인 전문가가 SQL 없이 데이터에 접근하도록 돕는 셀프 서비스 분석.
멀티 에이전트 LLM 시스템 설계 패턴(plan-reflect-correct)의 NL2SQL 외 응용.