Implicit spatial-frequency fusion of hyperspectral and lidar data via kolmogorov-arnold networks

Hyperspectral image (HSI) classification is challenging in complex scenes due to spectral ambiguity, spatial heterogeneity, and the strong coupling between material properties and geometric structures. Although LiDAR provides complementary elevation information, most HSI-LiDAR fusion methods rely on CNNs or MLPs with fixed activation functions and linear weights. These methods struggle to model structural discontinuities in LiDAR data, intricate spectral features of HSI, and their interactions. In addition, fusion of the two modalities in both spatial and frequency domains with LiDAR guidance remains underexplored. To address these issues, we propose the Implicit Frequency-Geometry Fusion Network (IFGNet), which leverages Kolmogorov-Arnold Networks (KANs) with learnable spline-based functions to adaptively capture highly nonlinear relationships between hyperspectral and LiDAR features. Furthermore, IFGNet introduces a LiDAR-guided implicit aggregation module in both spatial and frequency domains, enhancing geometry-aware spatial representations while capturing global structural patterns. Experiments on the Houston 2013 and MUUFL benchmarks demonstrate that IFGNet consistently outperforms existing fusion methods in overall accuracy, average accuracy, and Cohen's Kappa, while maintaining an efficient architecture.

📋 한 줄 요약

**[원격 탐사 / 멀티모달 융합]** Kolmogorov-Arnold Network(KAN)와 LiDAR 가이드의 공간·주파수 도메인 융합을 결합한 초분광-LiDAR 분류 네트워크 IFGNet 제안.

🎯 핵심 기여도

기존 HSI-LiDAR 융합 기법이 고정 활성화 CNN/MLP에 의존해 LiDAR의 구조적 불연속·HSI의 복잡한 스펙트럼 특징을 잘 다루지 못한다는 한계를 진단.
학습 가능 스플라인 함수 기반 KAN을 융합 모듈에 도입해 HSI·LiDAR 사이의 강한 비선형 관계를 적응적으로 모델링.
공간 도메인과 주파수 도메인 양쪽에 작동하는 LiDAR-guided implicit aggregation 모듈 제안.
Houston 2013·MUUFL 벤치마크에서 기존 융합 기법 대비 OA·AA·Cohen's Kappa 모두에서 일관된 우위.

💡 핵심 아이디어

고정 활성화의 단순 가산 융합 대신, KAN의 학습 가능한 비선형 변환을 통해 LiDAR가 HSI의 공간·주파수 표현을 가이드하도록 하면, 재료 특성과 기하 구조의 강한 결합을 더 자연스럽게 표현할 수 있다.

🔬 기술적 접근법

**모델/방법론**: KAN을 활용한 HSI-LiDAR 융합망 IFGNet, LiDAR-guided implicit aggregation 모듈을 공간·주파수 도메인에 모두 적용.
**핵심 기법**: 스플라인 기반 학습 가능 활성화로 비선형 관계 포착, LiDAR 표고 정보가 공간 표현을 가이드, 주파수 영역 집계로 전역 구조 패턴 캡처, 효율적 아키텍처 유지.

📊 주요 결과

Houston 2013, MUUFL 벤치마크에서 OA·AA·Kappa 모두에서 SOTA 능가.
학습 가능 스플라인 활성화가 HSI 스펙트럼·LiDAR 기하 결합 모델링을 개선.
효율적인 아키텍처 유지로 실용성 확보.

💭 의의 및 한계

**의의**: KAN을 원격 탐사 멀티모달 융합에 성공적으로 적용한 사례로, 분광·기하 결합 모델링의 새 경로를 제시. **한계**: 두 개의 벤치마크 데이터에 국한, 더 큰 도시·자연 시나리오나 시계열 멀티모달 데이터로의 확장은 미검증.

🚀 실용적 활용

토지 피복 분류·도시 매핑 등 정밀 원격 탐사 응용.
재난 모니터링(산사태·홍수)에서의 HSI-LiDAR 통합 분석.
정밀 농업의 작물 종 식별과 식생 구조 분석.