KAN-MLP-Mixer: A comprehensive investigation of the usage of Kolmogorov-Arnold Networks (KANs) for improving IMU-based Human Activity Recognition

Kolmogorov-Arnold Networks (KANs) have demonstrated an exceptional ability to learn complex functions on clean, low-dimensional data but struggle to maintain performance on noisy and imperfect real-world datasets. In contrast, conventional multi-layer perceptrons (MLPs) are far more tolerant to noise and computationally efficient. Replacing all MLP components with KANs in HAR models often degrades accuracy and computation efficiency, highlighting an open challenge: how to combine KANs' precision with MLPs' noise robustness and efficiency. To address this, we systematically explore various placements of KAN modules within deep HAR networks and propose a hybrid architecture that strategically synergizes the strengths of both paradigms, which uses a KAN-based input embedding layer, retains MLP layers for intermediate feature mixing, and introduces a specialized LarctanKAN module for final activity classification. Across eight public HAR datasets, the hybrid KAN-MLP model achieves an average macro F1 score relative improvement of 5.33\% compared pure-MLP model, significantly outperforming standalone KAN and MLP baselines. Furthermore, integrating this hybrid strategy into other state-of-the-art HAR architectures consistently boosts their performance. Our findings demonstrate that a carefully orchestrated combination of KAN, MLP, or other conventional neural components yields more robust and accurate HAR models for real-world wearable sensing environments.

한 줄 요약

**[Human Activity Recognition / 하이브리드 신경망]** KAN의 정밀성과 MLP의 노이즈 견고성을 결합해 IMU 기반 HAR을 강화하는 KAN-MLP 하이브리드 아키텍처와 전용 LarctanKAN 분류 모듈 제안.

핵심 기여도

KAN이 깨끗한 저차원 데이터에선 강력하나 노이즈가 많은 실세계 데이터에서 성능이 무너지고, 반대로 MLP는 노이즈 견고성과 효율은 좋지만 정밀 함수 학습에 약하다는 상보적 강약점을 명시.
HAR 모델의 모든 MLP를 KAN으로 대체하면 정확도·효율이 동시에 손상되는 현상을 진단하고 "어디에 KAN을 두느냐"라는 배치 문제로 재정의.
KAN 기반 입력 임베딩 + 중간 feature mixing은 MLP 유지 + 최종 분류를 위한 전용 LarctanKAN 모듈로 구성된 하이브리드 아키텍처 제안.
8개 공개 HAR 데이터셋에서 순수 MLP 대비 평균 macro F1 5.33% 상대 향상, 독립 KAN·MLP 베이스라인을 상회하며 다른 SOTA HAR 아키텍처에 통합 시에도 일관된 개선.

핵심 아이디어

"KAN vs MLP" 양자택일이 아니라, 신호 흐름의 각 단계(임베딩·중간 mixing·분류)가 요구하는 정밀성과 노이즈 견고성이 다르므로 단계별로 최적의 컴포넌트를 배치하는 하이브리드 설계가 정답이라는 관점.

기술적 접근법

**모델/방법론**: 깊은 HAR 네트워크의 다양한 위치에서 KAN 배치를 체계적으로 탐색해 도출한 하이브리드 아키텍처.
**핵심 기법**: KAN 기반 입력 임베딩 레이어, MLP 기반 중간 feature mixing, 최종 활동 분류용 LarctanKAN 모듈, 8개 HAR 데이터셋 일관된 평가.

주요 결과

8개 공개 HAR 데이터셋에서 순수 MLP 대비 평균 macro F1 5.33% 상대 향상.
독립 KAN·MLP 베이스라인을 모두 의미 있게 상회.
하이브리드 전략을 다른 SOTA HAR 아키텍처에 통합해도 일관된 성능 부스트.

의의 및 한계

**의의**: 신생 컴포넌트(KAN)를 무조건 도입하기보다 기존 컴포넌트와 시너지를 내는 "배치 전략"이 더 큰 가치를 만든다는 디자인 원리를 HAR 실증으로 제시. **한계**: 평가가 IMU 기반 HAR 중심이며, 영상·생리신호 등 다른 모달리티에서의 최적 KAN 배치는 후속 연구.

실용적 활용

스마트워치·웨어러블 디바이스의 활동 인식 모델 강화.
IMU 신호를 사용하는 헬스케어·스포츠 분석 어플리케이션.
다른 시계열 신호 분야(음성·EEG)로 KAN-MLP 하이브리드 디자인 원칙 확장.