KAN: Kolmogorov-Arnold Networks

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.

한 줄 요약

KAN은 MLP 대신 가중치에 스플라인 함수를 사용해 정확도와 해석성을 동시에 향상시킨 신경망 구조이다.

핵심 기여도

KAN은 MLP의 고정된 활성화 함수를 가중치에 배치된 학습 가능한 스플라인 함수로 대체함.
2-Layer width-10 KAN이 4-Layer width-100 MLP보다 100배 더 정확하고 100배 더 파라미터 효율적임 (MSE: 10⁻⁷ vs 10⁻⁵, 파라미터 수: 10² vs 10⁴).
KAN은 수학적 해석성과 시각화 가능성을 제공하며, 과학적 법칙 발견에 활용 가능함.
KAN은 Kolmogorov-Arnold 정리를 기반으로 MLP보다 깊이와 너비를 일반화한 구조를 제안함.

핵심 아이디어

KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 MLP의 구조적 한계를 극복하려는 시도이다. MLP는 노드에 고정된 활성화 함수를 사용하지만, KAN은 가중치(엣지)에 학습 가능한 스플라인 함수를 배치함으로써, 파라미터를 선형 가중치가 아닌 1차원 함수로 대체한다. 이는 KAN이 MLP보다 더 유연하게 비선형 함수를 근사할 수 있게 하며, 특히 데이터 피팅과 편미분 방정식(PDE) 해결에서 우수한 성능을 보인다. 스플라인은 저차원 함수에서 뛰어난 정확도를 제공하지만, 차원의 저주(COD)에 취약하다. MLP는 COD에 강하지만, 저차원 함수 근사에서는 스플라인보다 정확도가 낮다. KAN은 이 두 모델의 장점을 결합해, MLP의 구조적 표현력과 스플라인의 정확도를 동시에 활용한다.

기술적 접근법

KAN은 가중치(엣지)에 스플라인 함수를 사용하며, 노드는 입력 신호를 단순히 더함.
스플라인은 1차원 함수로, 파라미터로 조절 가능한 구조를 가짐.
KAN은 MLP와 달리 선형 가중치 행렬을 사용하지 않음.
KAN의 파라미터는 스플라인 함수의 계수로 구성됨.
KAN은 가시화 기법과 그리드 확장 기법을 통해 해석성을 향상시킴.
KAN은 PDE 해결에서 2-Layer width-10 구조로 4-Layer width-100 MLP보다 100배 더 정확함.

주요 결과

KAN은 PDE 해결에서 2-Layer width-10 구조로 4-Layer width-100 MLP보다 100배 더 정확함 (MSE: 10⁻⁷ vs 10⁻⁵).
KAN은 파라미터 효율성에서도 100배 우월함 (10² vs 10⁴ 파라미터).
KAN은 수학(노트 이론)과 물리(Anderson localization) 문제에서 과학적 법칙을 도출하는 데 활용됨.
KAN은 MLP보다 더 빠른 신경망 스케일링 법칙을 보임.

의의 및 한계

KAN은 MLP 대신 사용 가능한 새로운 신경망 구조로, 정확도와 해석성을 동시에 향상시키는 가능성을 제시한다. 특히 과학적 문제 해결에서 KAN은 인간과의 상호작용을 용이하게 하며, 수학적 법칙의 재발견에 기여할 수 있다. 그러나 KAN의 주요 한계는 학습 속도가 MLP보다 느리다는 점이다. 현재 KAN은 동일 파라미터 수에서 MLP보다 약 10배 느리게 학습되며, 이는 엔지니어링 문제로 볼 수 있다. 또한, KAN의 수학적 이해는 여전히 제한적이며, 더 깊은 이론적 기반 구축이 필요하다.

실용적 활용

KAN은 과학 분야에서 PDE 해결, 물리 법칙 도출, 수학적 모델링 등에 적용 가능하다. 또한, KAN은 과학자와 AI의 협업을 촉진하는 도구로 활용될 수 있으며, 향후 트랜스포머와 같은 모델에 통합되어 다양한 머신러닝 작업에도 사용될 수 있다.