Bridging the Sim-to-Real Gap in Reinforcement Learning-Based Industrial Dispatching through Execution Semantics

Event-driven scheduling policies are increasingly deployed in industrial environments, where decisions are made under asynchronous and partially observed system states. As a result, decision states are not temporally consistent, action admissibility is not explicitly defined, and the origin of execution errors remains ambiguous. These issues limit both reliability and interpretability. To address this gap, a policy-neutral execution and measurement layer is proposed to mediate between scheduling policies and the industrial execution environment. The layer constructs decision-valid snapshots from asynchronous event streams, defines a standardized execution contract with explicit action admissibility, and records outcomes as divergences between policy intent, transactional outcomes, physical execution, and human intervention. This enables a separation between decision semantics and execution behavior and makes deployment mismatch observable and structurally attributable. The proposed framework is evaluated using a discrete-event simulation. The results show analytical benefits across all observation lag regimes, as undifferentiated execution failures are transformed into structured, typed outcomes with full attribution coverage. Operational benefits are strongest under low observation lag, where avoidable execution errors can be prevented before commitment. Overall, the layer turns execution uncertainty into supervisory data for evaluation and policy refinement.

📋 한 줄 요약

**[산업 스케줄링 RL / Sim-to-Real]** Policy-neutral 실행·측정 layer가 비동기 event stream을 decision-valid snapshot으로 구성, 표준화된 실행 contract·action admissibility 정의·divergence(intent·transactional·physical·human) 기록으로 deployment mismatch를 구조적 attribution으로 변환.

🎯 핵심 기여도

Event-driven 스케줄링 정책이 산업 환경에 점차 배포되며 비동기·partial 관측 상태에서 결정이 이뤄지지만 — 결정 상태가 temporal 일관성 부족, action admissibility 명시 부재, 실행 오류 원인 모호 — 신뢰성·해석성 한계 진단.
이 격차 해소 위해 policy-neutral 실행·측정 layer 제안 — 스케줄링 정책과 산업 실행 환경 사이를 매개.
Layer가 비동기 event stream에서 decision-valid snapshot 구성, 표준화된 실행 contract와 explicit action admissibility 정의, 결과를 policy intent·transactional outcome·physical execution·human intervention 간 divergence로 기록.
결정 의미와 실행 행동의 분리 가능, deployment mismatch를 관측 가능·구조적으로 attribution 가능하게 함. 이산 사건 시뮬레이션으로 평가 — 모든 관측 lag regime에서 분석적 이점, 미차별 실행 실패가 구조화·유형화된 outcome으로 full attribution coverage로 변환.

💡 핵심 아이디어

RL 산업 스케줄링의 sim-to-real 격차는 정책 알고리즘 자체보다 비동기·partial 관측 환경에서의 실행 의미 부재가 더 핵심 원인이며, 결정 의미와 실행 행동을 분리하는 policy-neutral layer로 unstructured 실패를 structured supervisory data로 변환해야 한다.

🔬 기술적 접근법

**방법론**: Policy-neutral execution·measurement layer.
**핵심 기법**: (1) 비동기 event stream에서 decision-valid snapshot 구성, (2) Standardized execution contract와 explicit action admissibility 정의, (3) Outcome을 policy intent·transactional·physical execution·human intervention divergence로 기록, (4) 결정 의미와 실행 행동 분리, (5) 이산 사건 시뮬레이션으로 모든 관측 lag regime 평가.

📊 주요 결과

모든 관측 lag regime에서 분석적 이점.
미차별 실행 실패가 structured·typed outcome으로 full attribution coverage로 변환.
운영 이점은 low observation lag에서 가장 강함 — commitment 전 avoidable 실행 오류 예방 가능.
실행 불확실성을 평가·정책 개선용 supervisory data로 전환.

💭 의의 및 한계

**의의**: Sim-to-real 격차의 원인을 알고리즘 외부의 실행 의미·관측 일관성에서 찾는 관점 전환, policy-neutral 설계로 algorithm-agnostic 적용, 구조적 attribution으로 디버깅·정책 개선 가능. **한계**: Discrete-event simulation 평가로 실 산업 검증은 후속, 표준화된 contract 정의의 도메인별 맞춤 부담, 비동기성·partial 관측 모델링의 충실성 의존.

🚀 실용적 활용

제조·물류 산업 스케줄링 RL 배포.
Event-driven 시스템의 신뢰성·해석성 향상.
정책-실행 분리의 일반 시스템 설계.