Cross-Domain Generalization Failure in Lightweight Intrusion Detection Models for IIoT Networks

Lightweight machine learning models are increasingly proposed for intrusion detection in Industrial Internet of Things (IIoT) networks due to their suitability for resource-constrained edge deployment. Most reported results evaluate these models only within their training network, leaving behavior on unseen networks unverified. This study trains four lightweight architectures on one IIoT dataset and evaluates them, without retraining, on two structurally distinct IIoT datasets using a feature representation restricted to attributes available across all three sources. Explainability analysis across two top-performing models shows both rely overwhelmingly on coarse port-category features; the most influential category occurs in source-domain attack traffic at 96 to 435 times the rate in the two target domains, indicating that coarsening port resolution relocates rather than removes a documented shortcut. Evaluation under naturally imbalanced class distributions reveals a further effect: the evaluation protocol used can reverse which target network appears to pose the greater generalization challenge. Adversarial robustness and recovery through limited target-domain exposure are also assessed; robustness to adversarial perturbation is unrelated to cross-network generalization, and recovery through adaptation varies considerably by architecture. These findings suggest deployment readiness should be assessed using cross-network evaluation under realistic class distributions, rather than within-domain accuracy alone.

한 줄 요약

가벼운 IIoT 침입 탐지 모델이 훈련 네트워크 외의 환경에서 일반화 실패를 보인다.

핵심 기여도

네 가지 가벼운 모델(DecisionTree, SmallMLP, Small1DCNN, SmallLSTM)을 하나의 IIoT 데이터셋에서 훈련하고, 두 개의 독립적 IIoT 데이터셋(Gotham, WUSTL-IIoT-2021)에서 일반화 실패를 확인함.
포트 범주 특징에 과도하게 의존하며, 가장 영향력 있는 포트 범주가 훈련 데이터에서 타겟 데이터에 비해 96~435배 높게 나타남.
인공적으로 균형 잡힌 클래스 분포 평가가 실제 조건과 크게 차이가 있음을 밝힘.
적은 양의 타겟 데이터로 성능 회복 가능성은 모델 구조에 따라 달라짐.

핵심 아이디어

가벼운 IIoT 침입 탐지 모델이 훈련된 네트워크 외의 환경에서 성능이 급격히 저하되는 이유를 밝히기 위해, 실제 네트워크 조건과 유사한 평가 프로토콜을 사용한 연구가 필요하다는 점에서 출발하였다. 기존 연구는 대부분 동일한 데이터셋에서 훈련 및 평가를 진행하여, 실제 운영 환경에서의 일반화 능력을 제대로 평가하지 못한다. 본 연구는 포트 범주 특징에 대한 의존성을 설명 가능성 분석을 통해 밝히고, 이는 단순한 포트 번호 기억이 아닌, 더 넓은 범주 수준에서도 동일한 단서(shortcut)를 사용함을 보여준다. 이는 모델이 네트워크 간 일반화를 수행하지 못하는 근본적인 이유 중 하나임을 시사한다.

기술적 접근법

네 가지 가벼운 모델: `DecisionTree(max_depth=10)`, `SmallMLP(16→16→8→2)`, `Small1DCNN(8, 16 채널, 커널 크기 3)`, `SmallLSTM(히든 사이즈 16)`
훈련: `16차원 공통 스키마` 사용, Adam 최적화, 학습률 `1×10⁻³`, 배치 크기 256, 에포크 15
평가: `Gotham`, `WUSTL-IIoT-2021` 두 개의 독립적 IIoT 데이터셋에서 `재훈련 없이` 평가
설명 가능성 분석: 두 모델(`SmallMLP`, `Small1DCNN`)을 비교하여 포트 범주 특징에 대한 의존도 분석
`포트 범주 빈도 비교`: 훈련 데이터에서 가장 영향력 있는 포트 범주가 타겟 데이터에서 96~435배 적게 나타남

주요 결과

`Gotham`과 `WUSTL-IIoT-2021` 데이터셋에서 네 가지 모델 모두 `재훈련 없이` 성능이 급격히 저하됨
`SmallMLP`와 `Small1DCNN`은 포트 범주 특징에 90% 이상 의존
`포트 범주 빈도`는 훈련 데이터에서 96~435배 높게 나타남
인공적으로 균형 잡힌 클래스 분포 평가가 실제 조건과 달라, 평가 결과가 왜곡됨
적은 양의 타겟 데이터로 성능 회복 가능성은 `SmallLSTM`에서 가장 높음

의의 및 한계

본 연구는 가벼운 IIoT 침입 탐지 모델이 실제 운영 환경에서 일반화 능력을 갖지 못함을 명확히 밝혔으며, 이는 모델 선택 및 평가 기준에 중요한 시사점을 제공한다. 특히, 포트 범주 특징에 대한 과도한 의존성은 단순한 특징 제거로 해결되지 않음을 보여준다. 그러나 본 연구는 두 개의 타겟 데이터셋만 사용했으며, 더 다양한 네트워크 환경에서의 일반화 실패 여부는 추가 연구가 필요하다. 또한, 적은 양의 타겟 데이터로 성능 회복 가능성은 모델 구조에 따라 달라지므로, 일반적인 가벼운 모델의 적응 능력을 평가하기는 어렵다.

실용적 활용

본 연구는 IIoT 네트워크에서 가벼운 침입 탐지 모델을 실제 운영 환경에 배포하기 전에, 반드시 `다른 네트워크에서의 성능 평가`를 수행해야 함을 강조한다. 특히, `실제 클래스 분포`를 반영한 평가가 필요하며, `포트 범주 특징`에 대한 의존성을 줄이는 모델 설계가 중요하다. 또한, `적은 양의 타겟 데이터`를 활용한 미세 조정(fine-tuning)은 특정 모델에서 성능 회복에 효과적일 수 있으므로, 모델 선택 시 고려 요소로 삼을 수 있다.