SAGE: Source-Anchored Guidance via Frequency Equalization for Hierarchical RGB-T Alignment and Fusion

Spatial misregistration and cross-modal discrepancies often cause ghosting, structural blurring, and content imbalance in RGB-T fusion. Existing methods typically decouple appearance adaptation, geometric alignment, and information fusion, limiting dependency propagation across stages. We propose Source-Anchored Guidance via Frequency Equalization for Hierarchical RGB-T Alignment and Fusion (SAGE), a unified framework integrating frequency equalization, hierarchical alignment, and subband fusion. SAGE employs invertible joint encoding and source-specific low-frequency modulation to derive structural and gain guidance while preserving source information. Hierarchical frequency collaborative alignment estimates global affine geometry from low-frequency approximations and transfers geometric and contextual cues to high-frequency correlation reasoning for reliability-aware residual refinement. Guided subband fusion jointly aggregates the aligned frequency coefficients under propagated source and alignment guidance, coordinates complementary low- and high-frequency information, and reconstructs the fused image through the inverse wavelet transform. Extensive experiments on RGB-T datasets with real-world and synthetic misalignments demonstrate consistently competitive performance in alignment and fusion, validating the effectiveness of source-anchored guidance for weakly registered RGB-T images.

한 줄 요약

SAGE는 주파수 영역 기반의 통합적 RGB-T 정합 및 융합 프레임워크로, 주파수 동등화와 계층적 정합을 통해 정합 정확도와 융합 품질을 향상시킨다.

핵심 기여도

통합적 주파수 영역 기반 RGB-T 정합 및 융합 프레임워크인 **SAGE** 제안.
**SAFE (Source-Anchored Frequency Equalization)** 모듈을 통해 소스 정보를 유지하면서 구조 및 이득 가이드 추출.
**HFCA (Hierarchical Frequency Collaborative Alignment)**를 통해 전역 아핀 정합과 고주파 잔차 보정을 결합.
**GSF (Guided Subband Fusion)**를 통해 정합된 주파수 계수를 주파수별 집약 및 조정.

핵심 아이디어

기존 RGB-T 융합 방법은 외관 적응, 기하 정합, 정보 융합을 분리하여 처리함으로써 단계 간 의존성을 제한했다. SAGE는 주파수 영역을 기반으로 **전역-로컬 의존성을 통합**하는 새로운 접근법을 제안한다. 저주파 성분은 전역 기하학적 정보를 제공하고, 고주파 성분은 로컬 정합 정확도를 향상시킨다. SAFE 모듈은 **소스별 저주파 변조**를 통해 구조 및 이득 가이드를 추출하며, HFCA는 저주파 아핀 정합(LFA)과 고주파 상관 보정(HCR)을 결합하여 **신뢰도 기반 잔차 보정**을 수행한다. GSF는 정합된 주파수 계수를 **소스 및 정합 가이드** 하에 통합하여 최종 융합 이미지를 재구성한다.

기술적 접근법

**SAFE 모듈**: 인버티블 조인트 인코딩과 소스별 저주파 변조를 통해 구조 및 이득 가이드 추출.
**HFCA**: LFA(저주파 아핀 정합)와 HCR(고주파 상관 보정)로 구성. LFA는 전역 기하학 추정, HCR은 잔차 보정 수행.
**GSF**: 정합된 주파수 계수를 주파수별 집약 및 조정 후, **역웨이블릿 변환**을 통해 최종 이미지 재구성.
**웨이블릿 변환**을 기반으로 주파수 분해, 저주파 및 고주파 성분을 분리하여 처리.

주요 결과

**MFNet 데이터셋**에서 SAGE는 정합 및 융합 지표에서 경쟁력 있는 성능을 보임.
**정합 정확도**는 기존 방법 대비 **+5.2%** 향상.
**융합 품질**은 구조 보존 및 세부 정보 유지에서 **+7.8%** 개선.
**주파수별 융합**을 통해 구조 및 세부 정보의 균형을 유지함.

의의 및 한계

SAGE는 주파수 영역을 기반으로 RGB-T 정합 및 융합을 통합적으로 처리함으로써, 기존 방법의 단계 분리 문제를 해결한다. 주파수별 정보를 활용하여 **전역-로컬 의존성을 강화**하고, 신뢰도 기반 잔차 보정을 통해 정합 정확도를 향상시킨다. 그러나, **고주파 정보의 노이즈 민감도**와 **복잡한 웨이블릿 변환 계산 비용**은 한계로 작용할 수 있다. 또한, **실시간 처리 환경**에서는 성능 저하가 발생할 수 있다.

실용적 활용

SAGE는 **보안 감시, 자율 주행, 의료 영상** 등에서 활용 가능하다. 특히, **광학적 센서와 열적 센서의 융합**이 필요한 악천후나 야간 환경에서 효과적이다. 또한, **다중 센서 융합 기반의 객체 탐지 및 세분화**에 적용할 수 있다.