Neural Feature Governance: Extending Atom Prevalence

Neural network compression and interpretability remain open challenges in modern deep learn- ing, where billion-parameter architectures deliver impressive accuracy at the cost of trans- parency, computational efficiency, and reliable uncertainty quantification. This paper introduces Neural Atom Prevalence (NAP), a principled Bayesian framework for structured node-level model selection in feedforward neural networks. NAP introduces the neural atom (activation unit) and functions as a hybrid method operating through a four-phase pipeline: Bayesian Lottery Ticket (BLT) identification via Iterative Magnitude Pruning (IMP), soft variational training of the Spike and Slab Independent Gaussian (SS-IG) model, Poisson-Binomial (PB) optimal layer-size selection, and Bayesian fine-tuning to produce a sparse, stable, interpretable, and accurate model. Extensive empirical validation across simulated nonlinear regression, two UCI benchmark datasets (Concrete, YearPredictionMSD), and the MNIST image classification task demonstrates that NAP achieves state-of-the-art structural sparsity, reducing active nodes to as few as 8% of the original dense architecture on MNIST, while well-calibrated probabilisti- cally: the aleatoric-epistemic uncertainty decomposition reveals that model ignorance accounts for only 3 to 4% of total predictive variance across all experiments, and regression reliability diagrams confirm a near-nominal predictive interval coverage (93.4% observed against a 95% target). These results establish NAP as a reliable, theoretically grounded, and computation- ally tractable solution to the simultaneous pursuit of sparsity, accuracy, interpretability, and uncertainty quantification in Bayesian neural networks.

한 줄 요약

NAP는 구조적 스파스성과 해석성을 동시에 달성하는 베이지안 신경망 프레임워크로, MNIST에서 8%의 노드만 사용하면서도 93.4%의 예측 구간 커버리지를 보인다.

핵심 기여도

네이럴 아톰(Neural Atom) 개념 도입과, BLT → SS-IG → PB-Selection → Fine-tune의 4단계 파이프라인 제안
MNIST에서 8%의 노드만 사용하면서도 정확도 유지
예측 불확실성 분해에서 모델 무지(ignorance) 비율이 3~4%로 매우 낮음
95% 예측 구간 대비 93.4%의 관측 예측 구간 커버리지 달성

핵심 아이디어

NAP는 신경망의 노드 수준 구조적 스파스성을 유도하기 위해 베이지안 모델 선택 프레임워크를 결합한 새로운 접근법이다. 기존 스파이크 앤 슬래브(Spike and Slab) 방식은 연속적인 확률 기반으로 노드를 억제하지만, NAP는 이에 더해 구조적 프루닝(Iterative Magnitude Pruning, IMP)과 Poisson-Binomial 기반의 최적 레이어 크기 선택을 결합하여, **더 명확하고 안정적인 스파스성**을 달성한다. 특히, NAP는 **Bayesian Lottery Ticket (BLT)** 개념을 도입하여 초기 모델에서 중요한 노드를 식별하고, 이후 SS-IG 모델을 통해 확률적 훈련을 수행한 후, PB-Selection을 통해 최종 레이어 크기를 결정한다. 이는 기존의 무작위 또는 연속적 스파스성 유도 방식과는 구별되는 **구조적, 확률적, 이론적 근거를 갖춘 하이브리드 프레임워크**이다.

기술적 접근법

**네이럴 아톰**: 활성화 단위(activation unit)로 정의, 노드 수준의 모델 선택을 수행
**BLT 식별**: Iterative Magnitude Pruning (IMP)을 사용하여 초기 중요 노드 식별
**SS-IG 모델**: Spike and Slab Independent Gaussian 모델을 사용한 소프트 베이지안 훈련
**PB-선택**: Poisson-Binomial 분포 기반으로 최적 레이어 크기 결정
**베이지안 파인튜닝**: 최종 모델의 정확도와 안정성 향상을 위한 파인튜닝
**활성화 함수**: Swish (SiLU) 사용, 784 → 400 → 400 → 10의 MLP 구조
**스파스성**: MNIST에서 Layer 1: 20개, Layer 2: 43개 노드로 최종 선택

주요 결과

**MNIST**: 원래 400개 노드 대비 8% 수준으로 스파스화 (Layer 1: 20개, Layer 2: 43개)
**예측 구간 커버리지**: 95% 대비 93.4% 달성
**불확실성 분해**: 모델 무지(ignorance) 비율 3~4%로 매우 낮음
**정확도 유지**: 1200 에포크 동안 ±1σ MC 신뢰구간 내에서 안정적으로 유지
**SS-IG 대비**: NAP는 PB-선택을 통해 더 명확한 레이어 크기 결정 가능

의의 및 한계

NAP는 구조적 스파스성, 해석성, 정확도, 불확실성 양자화를 동시에 달성하는 **이론적으로 탄탄한 베이지안 신경망 프레임워크**로, 기존의 무작위 또는 연속적 스파스성 유도 방식보다 더 안정적이고 예측 가능한 결과를 제공한다. 특히, Poisson-Binomial 기반의 레이어 크기 선택은 **각 노드의 포함 확률을 개별적으로 고려**하여, 더 유연하고 정밀한 모델 선택이 가능하다는 점에서 학술적 의의가 크다. 그러나, NAP는 **초기 BLT 단계에서의 노드 선택이 최종 성능에 큰 영향을 미칠 수 있으며**, 이는 과적합이나 불필요한 노드 제거로 이어질 수 있는 한계점이다. 또한, **복잡한 모델 구조에서의 확장성**은 추가 연구가 필요하다.

실용적 활용

NAP는 의료, 금융, 자율주행 등 **신뢰성과 해석성이 필수적인 분야**에서 활용 가능하다. 특히, **대규모 신경망을 압축하면서도 예측 불확실성을 명확히 양자화**할 수 있어, 모델의 신뢰도를 높이는 데 유용하다. 또한, **모델 최적화와 해석성 향상을 동시에 추구하는 연구**에서 NAP는 기존 방법론의 한계를 보완하는 강력한 대안이 될 수 있다.