FU-Mamba: A Frequency-Enhanced Dynamic Scanning Framework for Oralscan Image Segmentation

Oralscan image segmentation is essential for computer-aided diagnosis and treatment planning in digital dentistry. However, existing visual state space models (SSMs) often rely on manually designed scanning orders to flatten image patches into sequences, which disrupts the semantic spatial continuity and hinders coherent feature extraction from key foreground regions. Moreover, elements such as inconsistent lighting, reflective surfaces, and noise during data acquisition disrupt the frequency distribution by diminishing high-frequency details while enhancing low-frequency components, consequently hindering the accurate localization of boundaries. In response to these challenges, we introduce FU-Mamba, an innovative framework that incorporates dynamic scanning and frequency domain enhancement within the SSM architecture. Specifically, the Dynamic Mamba Block (DMB) adaptively learns sampling offsets via a trainable offset prediction network and performs flexible bilinear interpolation, enabling content-aware scanning that preserves spatial coherence. Furthermore, a frequency domain enhancement block balances spectral components through wavelet-guided decomposition and spectrum pooling, improving robustness under adverse imaging conditions. Experimental findings indicate that FU-Mamba attains a notable enhancement in segmentation accuracy, evidenced by a 1.1% increase in the mean intersection over union (mIoU) metric when evaluated on the dental segmentation dataset. Project page: https://byte2bite.github.io/FU-Mamba/

한 줄 요약

FU-Mamba는 동적 스캐닝과 주파수 영역 강화를 결합한 구강 이미지 세그멘테이션 프레임워크로, mIoU 1.1% 개선을 달성했다.

핵심 기여도

**Dynamic Mamba Block (DMB)** 도입: 입력 특성에 따라 샘플링 오프셋을 학습하여 공간 연속성을 유지.
**Frequency Domain Enhancement Block (FEB)** 제안: 웨이블릿 기반 분해와 스펙트럼 풀링을 통해 주파수 성분 균형 조정.
**Dental Segmentation Dataset (DSD)**에서 기존 모델 대비 mIoU 1.1% 향상.
**WSPM (Wavelet-Guided Spectral Pooling Module)** 포함 시 mIoU 92.3% 달성.

핵심 아이디어

기존 시각 상태 공간 모델(SSM)은 수동 스캐닝 방식으로 인해 공간 연속성이 손상되고, 불균일 조명, 반사 표면 등으로 인한 주파수 불균형 문제가 발생한다. 이를 해결하기 위해, **FU-Mamba**는 두 가지 핵심 아이디어를 제시한다. 첫째, **Dynamic Mamba Block (DMB)**은 학습 가능한 오프셋 예측 네트워크를 통해 입력에 따라 샘플링 위치와 순서를 조정함으로써, **유연한 빌리near 인터폴레이션**을 수행하여 공간 일관성을 유지한다. 둘째, **Frequency Domain Enhancement Block (FEB)**은 **웨이블릿 기반 분해**와 **스펙트럼 풀링**을 통해 고주파 노이즈를 억제하고, 중간 주파수 성분을 강조하여 **인간 시각 민감도에 맞춘 주파수 균형**을 조정한다. 이는 특히 불량 조명 조건에서도 구조 정보를 효과적으로 보존하는 데 기여한다.

기술적 접근법

**Dynamic Mamba Block (DMB)**:
샘플링 오프셋을 학습하는 **trainable offset prediction network** 사용.
**Flexible bilinear interpolation**을 통해 입력 특성에 맞춘 스캐닝 수행.
**Frequency Domain Enhancement Block (FEB)**:
**Wavelet-Guided Spectral Pooling Module (WSPM)** 포함.
**DWT-Conv**를 통해 다중 스케일 구조 정보 추출.
**Spectrum Pooling Filter (SPF)**를 통해 고-저주파 성분 균형 조정.
**하이퍼파라미터**: SPF의 **λ = 0.7**에서 최적 성능 달성.
**기본 아키텍처**: **U-Mamba**를 기반으로, 대칭 인코더-디코더 구조 사용.

주요 결과

**Dental Segmentation Dataset (DSD)**에서 **mIoU 1.1%** 향상.
DMB 사용 시 **mIoU 1.2%** 증가 (Continuous Scanning 대비).
FEB 사용 시 **mIoU 1.4%** 향상 (FEB 없이 대비).
DWT-Conv만 사용 시 **mIoU 91.7%**, SPF만 사용 시 **91.4%**, 둘을 결합한 FEB는 **92.3% mIoU** 달성.
**mBIoU 88.9%**로 경계 정확도 개선.

의의 및 한계

**의의**:

구강 이미지의 불규칙한 주파수 분포와 공간 구조 손실 문제를 동시에 해결.
**DWT-Conv**와 **SPF**의 결합은 주파수 영역에서 구조 정보와 노이즈 억제를 동시에 달성.
**동적 스캐닝**은 기존의 수동 스캐닝 방식 대비 더 유연한 특징 추출 가능.

**한계**:

**하이퍼파라미터 λ**의 민감도가 높아, 조정이 필요.
**웨이블릿 기반 분해**는 계산 복잡도 증가 가능.
**구강 이미지 외 다른 의료 영상**에의 일반화 가능성은 추가 실험 필요.

실용적 활용

**디지털 치의학 분야**에서 구강 이미지의 정확한 세그멘테이션을 통해 치아 병변, 잇몸 질환 등을 보다 신속하고 정확하게 진단 가능.
**영상 기반 치료 계획 수립**에 활용 가능하며, 특히 반사 표면이나 불균일 조명이 있는 복잡한 환경에서도 안정적인 성능 보장.
**의료 AI 플랫폼**에 통합되어, 클리닉에서 실시간 이미지 분석을 지원할 수 있음.