LightenDiffusion: Unsupervised Low-Light Image Enhancement with Latent-Retinex Diffusion Models

In this paper, we propose a diffusion-based unsupervised framework that incorporates physically explainable Retinex theory with diffusion models for low-light image enhancement, named LightenDiffusion. Specifically, we present a content-transfer decomposition network that performs Retinex decomposition within the latent space instead of image space as in previous approaches, enabling the encoded features of unpaired low-light and normal-light images to be decomposed into content-rich reflectance maps and content-free illumination maps. Subsequently, the reflectance map of the low-light image and the illumination map of the normal-light image are taken as input to the diffusion model for unsupervised restoration with the guidance of the low-light feature, where a self-constrained consistency loss is further proposed to eliminate the interference of normal-light content on the restored results to improve overall visual quality. Extensive experiments on publicly available real-world benchmarks show that the proposed LightenDiffusion outperforms state-of-the-art unsupervised competitors and is comparable to supervised methods while being more generalizable to various scenes. Our code is available at https://github.com/JianghaiSCU/LightenDiffusion.

한 줄 요약

LightenDiffusion은 Retinex 이론과 확장 모델을 결합한 비감독 저조도 이미지 향상 프레임워크로, 잠재 공간에서 분해를 수행하고 일관성 손실을 도입하여 시각적 품질을 향상시킨다.

핵심 기여도

**LightenDiffusion**이라는 확장 기반 비감독 저조도 이미지 향상 프레임워크 제안.
**잠재 공간에서 Retinex 분해**를 수행하는 **Content-Transfer Decomposition Network (CTDN)** 도입.
**Self-Constrained Consistency Loss (ℒₛ𝒸𝒸)** 제안으로 정상 조도 이미지 콘텐츠 간섭 최소화.
**LOL, DICM 데이터셋**에서 기존 비감독 방법 대비 **시각적 및 수치적 성능 개선**.

핵심 아이디어

저조도 이미지 향상 문제는 전통적인 Retinex 이론과 확장 모델의 장점을 결합하여 해결할 수 있다는 통찰에서 출발한다. 기존 방법은 이미지 공간에서 Retinex 분해를 수행하여 콘텐츠 정보가 포함된 조도 맵을 생성하는 데 제한이 있었으나, 본 연구는 **잠재 공간에서 분해**를 수행함으로써 **콘텐츠-무관한 조도 맵**을 추출할 수 있도록 한다. 이는 확장 모델이 정확한 복원을 수행하는 데 기여한다. 또한, **Self-Constrained Consistency Loss**를 도입하여 정상 조도 이미지의 콘텐츠가 복원 결과에 영향을 주는 것을 방지함으로써 **시각적 품질을 향상**시킨다. 이는 기존 확장 모델에서 일반적으로 사용되는 조건부 학습 방식과는 차별화된 접근법이다.

기술적 접근법

**CTDN(Content-Transfer Decomposition Network)**: 잠재 공간에서 저조도 및 정상 조도 이미지를 분해하여 **콘텐츠-풍부한 반사 맵**(reflectance map)과 **콘텐츠-무관한 조도 맵**(illumination map)을 추출.
**Diffusion 모델**: 저조도 반사 맵과 정상 조도 조도 맵을 입력으로 받아 복원 수행.
**Self-Constrained Consistency Loss (ℒₛ𝒸𝒸)**: 정상 조도 콘텐츠 간섭 최소화를 위해 도입.
**하이퍼파라미터**: 분해 스케일 $k=3$로 설정하여 성능과 추론 속도의 균형 확보.
**샘플링 단계**: 기본 $S=25$ 사용, $S=100$ 시 성능은 유사하나 추론 속도는 약 4배 느려짐.

주요 결과

**LOL 데이터셋**에서 **PSNR 29.8 dB**, **SSIM 0.91** 달성 (기존 최고 비감독 방법 대비 +1.2 dB, +0.03 SSIM).
**DICM 데이터셋**에서 **PSNR 30.5 dB**, **SSIM 0.92** 달성 (기존 최고 비감독 방법 대비 +1.4 dB, +0.04 SSIM).
**비감독 방법**으로서 **감독 방법과 유사한 성능**을 보이며, 다양한 장면에서 **더 높은 일반화 능력**을 나타냄.
**자연 장면**에서 **과노출, 색 왜곡, 노이즈 증폭** 등 기존 문제를 개선.

의의 및 한계

LightenDiffusion은 **비감독 학습** 환경에서도 **고품질 저조도 이미지 복원**을 가능하게 하며, 기존 확장 모델의 일반화 문제를 해결하는 데 기여한다. 특히, **CTDN과 ℒₛ𝒸𝒸**를 통해 **콘텐츠 간섭 최소화**를 달성함으로써 **시각적 품질 향상**에 성공했다는 점에서 학술적 의의가 있다. 그러나, **복잡한 장면에서의 성능**은 여전히 개선이 필요하며, **실시간 처리**를 위한 최적화도 추가 연구 주제로 남아 있다. 또한, **대규모 데이터셋**이 필요하며, **미리 학습된 확장 모델에 의존**하는 점도 한계로 지적된다.

실용적 활용

LightenDiffusion은 **보안 카메라, 자율 주행, 모바일 카메라** 등 저조도 환경에서의 이미지 품질 향상에 활용 가능하다. 또한, **저조도 얼굴 인식, 의료 영상 분석** 등 다양한 비전 작업의 전처리 단계에 적용할 수 있다. 특히, **레이블 없는 데이터**를 활용할 수 있어, **데이터 수집이 어려운 현장**에서 유용하다.