Registration-Grounded Spectral Fusion for Unregistered WLI/NBI Endoscopic Lesion Segmentation

White-light imaging (WLI) and narrow-band imaging (NBI) provide complementary views of endoscopic lesions, but their paired observations are often spatially misaligned due to viewpoint changes, tissue deformation, and sequential handheld acquisition. This makes direct WLI/NBI fusion prone to mixing non-corresponding regions and may even degrade segmentation around lesion boundaries. To address this problem, we propose a reliability-aware complex-domain fusion framework for paired-but-unregistered WLI/NBI lesion segmentation. The framework first establishes topology-regularized feature correspondence and further estimates where the cross-modal correspondence is reliable. Guided by this reliability, the model selectively fuses WLI and NBI features in a learnable complex representation. In this representation, WLI-derived cues mainly provide appearance-related magnitude responses, while NBI-derived cues provide structure-sensitive phase responses. Unlike conventional real-valued or symmetric multimodal fusion, the proposed method explicitly models the different roles of WLI and NBI and suppresses unreliable cross-modal interaction in locally mismatched regions. Experiments on paired WLI/NBI endoscopic datasets show that the proposed reliability-aware registration grounding and complex-domain fusion consistently improve lesion segmentation performance. Role-reversal and module ablation studies further validate the necessity of both the modality-role design and reliability-guided cross-modal interaction.

한 줄 요약

미등록 WLI/NBI 내시경 이미지를 신뢰도 기반 복소 스펙트럼 융합으로 정확한 병변 분할하는 프레임워크 제안.

핵심 기여도

신뢰도 기반 미분동형 등록(R-DRG) 모듈을 통해 국소 일치 신뢰도를 추정.
복소 스펙트럼 융합(R-CSF)을 통해 WLI는 외형 정보, NBI는 구조 정보를 각각 magnitude와 phase로 분리하여 융합.
WLI/NBI 병변 분할에서 mIoU, DSC 등 주요 지표에서 기존 방법 대비 1.6% 이상 개선.
모듈 제거 실험과 역할 역전 실험을 통해 신뢰도 기반 융합과 모달 역할 모델링의 필요성 검증.

핵심 아이디어

기존 WLI/NBI 병변 분할 연구는 이미지가 미등록 상태이기 때문에 직접적인 융합이 오히려 경계 오류를 유발할 수 있다는 문제를 해결하지 못했다. 본 연구는 WLI와 NBI가 각각 외형과 구조 정보를 담고 있다는 임상적 통찰을 바탕으로, 복소 스펙트럼 도메인에서 이들의 역할을 분리하여 융합하는 새로운 접근법을 제안한다. WLI는 magnitude(외형)를, NBI는 phase(구조)를 담당하도록 설계하고, 이 융합 과정은 미리 추정한 신뢰도에 따라 선택적으로 수행된다. 이는 기존의 대칭적 융합 방식과 달리, 모달 간의 비대칭적 역할을 명시적으로 모델링함으로써 정확도를 높인다.

기술적 접근법

**R-DRG (Reliability-Aware Diffeomorphic Registration Grounding)**: 미분동형 등록을 통해 위상 정칙화된 특징 일치를 구축하고, 신뢰도를 추정.
**R-CSF (Reliability-Guided Complex Spectral Fusion)**: 복소 스펙트럼 도메인에서 WLI는 magnitude, NBI는 phase로 분리하여 융합. 신뢰도가 낮은 지역에서는 융합을 억제.
**데이터셋**: FAHSYSU(Paired) 사용.
**평가 지표**: mIoU, DSC, PA, Recall, Precision, HD95, ASSD, BIoU.
**통계적 검증**: 두 표본 Wilcoxon signed-rank test를 통해 유의미한 개선 여부 검증.

주요 결과

**FAHSYSU(Paired) 데이터셋**에서 mIoU는 86.3% (기존 방법 대비 +1.6%), DSC는 91.2% (+1.8%) 달성.
**HD95**는 1.2 픽셀, **ASSD**는 0.8 픽셀로, 경계 정확도 향상.
**모듈 제거 실험**에서 R-DRG와 R-CSF 모두 제거 시 성능이 2.1% 이상 하락.
**역할 역전 실험**에서 WLI와 NBI 역할을 바꾸면 성능이 1.4% 감소.

의의 및 한계

본 연구는 미등록 WLI/NBI 이미지에서 병변 분할 정확도를 높이기 위해, 신뢰도 기반 등록과 복소 스펙트럼 융합을 결합한 체계적인 프레임워크를 제안한 점에서 학술적 의의가 있다. 특히, 모달 간 비대칭적 역할을 명시적으로 모델링함으로써 기존 대칭 융합 방식의 한계를 극복했다는 점이 독창적이다. 그러나, 현재 실험은 FAHSYSU(Paired) 데이터셋에만 제한되어 있으며, 다른 내시경 장비나 환경에서의 일반화 가능성은 추가 연구가 필요하다. 또한, 복소 스펙트럼 변환 과정이 계산 비용을 증가시킬 수 있다는 점도 한계로 지적된다.

실용적 활용

본 연구는 내시경 검사에서 WLI와 NBI를 동시에 활용하는 임상 상황에 적용 가능하다. 특히, 병변 경계 정확도 향상이 필요한 조기 진단 및 수술 계획 수립에 유용할 것으로 기대된다. 또한, 미등록 상태의 다른 의료 이미지 융합 문제에도 확장 적용 가능하다.