M2Retinexformer: Multi-Modal Retinexformer for Low-Light Image Enhancement

Low-light image enhancement is challenging due to complex degradations, including amplified noise, artifacts, and color distortion. While Retinex-based deep learning methods have achieved promising results, they primarily rely on single-modality RGB information. We propose M2Retinexformer (Multi-Modal Retinexformer), a novel framework that extends Retinexformer by incorporating depth cues, luminance priors, and semantic features within a progressive refinement pipeline. Depth provides geometric context that is invariant to lighting variations, while luminance and semantic features offer explicit guidance on brightness distribution and scene understanding. Modalities are extracted at multiple scales and fused through cross-attention, with adaptive gating dynamically balancing illumination-guided self-attention and cross-attention based on the reliability of auxiliary cues. Evaluations on the LOL, SID, SMID, and SDSD benchmarks demonstrate overall improvements over Retinexformer and recent state-of-the-art methods. Code and pretrained weights are available at https://github.com/YoussefAboelwafa/M2Retinexformer

📋 한 줄 요약

**[저조도 영상 개선 / 멀티모달]** Retinexformer를 depth·luminance·semantic 멀티모달 신호로 확장하고 적응적 게이팅으로 보조 신호 신뢰도를 동적으로 조절하는 M2Retinexformer 제안.

🎯 핵심 기여도

기존 Retinex 기반 딥러닝 방식이 RGB 단일 모달리티에 의존하는 한계를 진단.
depth(기하), luminance(휘도), semantic(장면 이해) 신호를 다중 스케일에서 추출·교차 어텐션으로 융합하는 progressive refinement 구조 설계.
보조 신호의 신뢰도에 따라 illumination-guided self-attention과 cross-attention 비중을 동적으로 조절하는 adaptive gating 도입.
LOL·SID·SMID·SDSD 벤치마크에서 Retinexformer 대비 일관된 성능 향상 실증.

💡 핵심 아이디어

저조도 이미지에서는 RGB만으로는 신호가 부족하지만 depth는 조명 변화에 불변하는 기하 정보를 제공하고, 휘도와 의미론은 밝기 분포와 장면 이해의 명시적 가이드를 제공한다. 다만 보조 신호 자체도 저조도에서는 신뢰도가 가변적이므로 게이팅이 필요하다.

🔬 기술적 접근법

**모델/방법론**: Retinexformer를 확장한 멀티모달 Transformer 구조, depth/luminance/semantic feature를 다중 스케일에서 추출 후 cross-attention으로 융합.
**핵심 기법**: progressive refinement 파이프라인, illumination-guided self-attention과 cross-attention의 adaptive gating, 보조 신호 신뢰도 기반 동적 가중.

📊 주요 결과

LOL, SID, SMID, SDSD 벤치마크에서 Retinexformer 및 최근 SOTA 대비 전반적 개선.
depth 정보 추가가 조명 변화 강건성에 기여하는 ablation 확인.
adaptive gating이 보조 신호 신뢰도가 낮은 영역에서 성능 저하를 방지.

💭 의의 및 한계

**의의**: 저조도 영상 개선의 정체 상태를 보조 모달리티 도입으로 돌파, 추론 시 추가 센서 없이도 멀티모달 신호를 활용 가능한 설계 제시. **한계**: depth·semantic이 부정확한 극저조도·극단적 노이즈 상황에서의 성능 저하 가능, 추가 모듈의 추론 비용 증가.

🚀 실용적 활용

모바일 야간 사진 개선·자동차 야간 비전.
보안 카메라·CCTV의 저조도 이미지 품질 향상.
야간 자율주행·로봇 비전 전처리 파이프라인.