manufacturing-ai llm-validation synthetic-data-infrastructure isa-95 simulation-schema data-pipeline postgres iceberg-lakehouse
Abstract
LLarge language model (LLM)-based AI agents deployed in manufacturing environments require populated, schema-correct data for validation, yet production MES data is proprietary, privacy-encumbered, and vendor-specific. This paper introduces the Template-as-Ontology principle: a single Python configuration module (700-770 lines, 45 validated exports) serves simultaneously as the specification for a time-stepped manufacturing simulator and as the runtime domain schema for AI analytics tools, producing alignment by construction rather than integration. We formally define the domain template as a typed relational configuration schema and prove that structural alignment between simulation and tool layers is guaranteed by single-source consumption. A five-layer pipeline--simulation, PostgreSQL, CDC/Iceberg lakehouse, star schema, and 12 parameterized AI tools--generates causally coherent, MES-shaped data spanning 66 entity types across four operational domains mapped to ISA-95/IEC 62264. We validate the architecture with six industry templates (aerospace, pharma, automotive, electronics, beverages, warehousing) running on identical framework code. Calibration experiments (60 runs, 10 seeds per template) confirm parametric controllability: observed KPIs fall within configured ranges across all templates. A controlled hallucination experiment (72 tool invocations, Qwen3-32B) demonstrates that ontology-constrained parameters eliminate tool-parameter fabrication (0% constrained vs. 43% unconstrained hallucination rate for the evaluated model, Fisher's exact test p < 10^-12); the 0% constrained rate is an architectural guarantee that holds for any model. The framework provides a reusable data layer for discrete manufacturing AI validation.
한국어 요약
📋 한 줄 요약
**[제조 AI / 합성 데이터]** 단일 Python 설정 모듈을 시뮬레이터 사양과 AI 도구 스키마로 동시에 사용하는 "Template-as-Ontology" 원리로, 제조 도메인별 검증용 합성 데이터를 구조적 정합성을 보장한 채 생성한다.
🎯 핵심 기여도
- 시뮬레이터 사양과 AI 도구 런타임 스키마를 동일한 Python 설정 모듈(700-770 라인, 45개 검증된 export)로 통합하는 Template-as-Ontology 원리 정식화
- 시뮬레이션 → PostgreSQL → CDC/Iceberg 레이크하우스 → 스타 스키마 → 12개 파라미터화된 AI 도구의 5계층 파이프라인 설계
- ISA-95/IEC 62264 표준에 매핑된 66종 엔티티의 인과적으로 일관된 MES 형태 데이터 생성 능력 검증
- 항공, 제약, 자동차, 전자, 음료, 물류 등 6개 산업 템플릿을 단일 프레임워크 코드로 실행 가능함을 입증
💡 핵심 아이디어
시뮬레이션과 AI 도구가 별도 스키마를 갖고 통합되는 대신, 같은 설정 파일을 둘 다 소비하면 구조적 정렬이 정의에 의해 보장된다. 단일 소스 소비(single-source consumption)가 곧 정렬의 형식적 증명이 된다.
🔬 기술적 접근법
- **모델/방법론**: 타입화된 관계형 설정 스키마를 도메인 템플릿으로 정의하고, 시간 단계 기반 제조 시뮬레이터가 이를 소비
- **핵심 기법**: 5계층 데이터 파이프라인(시뮬레이션 → PostgreSQL → CDC/Iceberg → 스타 스키마 → AI 도구)으로 MES 형태 데이터를 인과적으로 생성하고 Qwen3-32B로 환각 실험 수행
📊 주요 결과
- 6개 산업 템플릿 × 10 시드 = 60회 보정 실험에서 관측된 KPI가 모두 설정 범위 내에 있음을 확인
- 72회 도구 호출 환각 실험에서 비제약 43% → 온톨로지 제약 0% (p < 10^-12)
- 0% 환각률은 모델 무관한 아키텍처 보장으로 모든 LLM에 적용 가능
💭 의의 및 한계
**의의**: 독점적이고 벤더 종속적인 MES 데이터 없이도 제조 AI 검증용 데이터를 구조적 정합성과 함께 대규모로 생성할 수 있는 재사용 가능 데이터 계층을 제공한다. **한계**: 6개 산업 템플릿으로 검증된 범위와 이산 제조에 한정되며, 연속 공정이나 새로운 도메인 추가 시 템플릿 작성 비용은 분석되지 않았다.
🚀 실용적 활용
- 제조 AI 시스템 출시 전 검증·회귀 테스트용 합성 데이터 생성 인프라
- LLM 도구 호출 정확도 평가용 표준화된 벤치마크 데이터셋 구축
- ISA-95 기반 디지털 트윈 프로토타이핑 및 PoC 데이터 공급