Zero-Reference Low-Light Enhancement via Physical Quadruple Priors

Understanding illumination and reducing the need for supervision pose a significant challenge in low-light enhancement. Current approaches are highly sensitive to data usage during training and illumination-specific hyper-parameters, limiting their ability to handle unseen scenarios. In this paper, we propose a new zero-reference low-light enhancement framework trainable solely with normal light images. To accomplish this, we devise an illumination-invariant prior inspired by the theory of physical light transfer. This prior serves as the bridge between normal and low-light images. Then, we develop a prior-to-image framework trained without low-light data. During testing, this frame-work is able to restore our illumination-invariant prior back to images, automatically achieving low-light enhancement. Within this framework, we leverage a pretrained generative diffusion model for model ability, introduce a by-pass decoder to handle detail distortion, as well as offer a lightweight version for practicality. Extensive experiments demonstrate our framework's superiority in various scenarios as well as good interpretability, robustness, and efficiency. Code is available on our project homepage.

한 줄 요약

저조도 이미지 향상에 있어 조도 정보를 학습하지 않고도 정상 조도 이미지만으로 훈련 가능한 Zero-Reference 프레임워크를 제안한다.

핵심 기여도

물리적 조도 전달 이론(Kubelka–Munk)을 기반으로 한 **Physical Quadruple Prior**를 제안하여, 조도 불변 특성을 추출.
**Prior-to-image framework**를 통해 정상 조도 이미지만으로 훈련 가능하며, 테스트 시 저조도 이미지를 자동으로 향상.
**Bypass decoder**를 도입하여 Stable Diffusion 기반의 세부 정보 손실 문제를 해결.
**가벼운 버전**을 통해 추론 속도 500배 향상 (0.03초/이미지, Tesla M40 기준).

핵심 아이디어

기존 Zero-Reference 저조도 향상 방법은 조도 관련 하이퍼파라미터에 의존하거나, 학습 과정에서 정확한 조도 정보가 필요하다는 한계가 있었다. 본 연구는 Kubelka–Munk 이론을 기반으로 **조도와 무관한 4개의 물리적 특성**(H, C, W, O)을 추출하는 **Physical Quadruple Prior**를 제안한다. 이 Prior는 정상 조도 이미지에서 조도 정보를 제거한 후, 저조도 이미지에 적용하여 향상된 결과를 생성한다.
이를 통해 **Low-light 데이터 없이도 훈련 가능한 Prior-to-image framework**를 구축하며, 테스트 시 저조도 이미지에서 Prior를 추출하고 이를 정상 조도 이미지로 복원한다. 이 과정에서 **Stable Diffusion** 모델을 활용하여 이미지 복원 능력을 높였으며, 세부 정보 손실 문제를 해결하기 위해 **Bypass decoder**를 도입했다.

기술적 접근법

**Physical Quadruple Prior**: Kubelka–Munk 이론 기반의 조도 불변 특성(Hue, Chroma, Intensity-normalized spatial derivatives, Objectness)을 추출.
**Prior-to-image framework**: 정상 조도 이미지만으로 훈련하며, Stable Diffusion 모델을 조건으로 활용.
**Bypass decoder**: SD 기반의 디코더 대신, 조도와 무관한 세부 정보를 복원하는 디코더를 도입.
**가벼운 버전**: CNN-Transformer 혼합 모델로, 다단계 확률적 확장을 단일 전방향 패스로 압축.
**데이터셋**: COCO 데이터셋을 사용하여 훈련하며, 데이터 품질에 민감하지 않음.

주요 결과

**LOL 데이터셋**에서 PSNR 20.45, SSIM 0.798, LPIPS 0.290, LOE 0.273 달성.
**가벼운 버전**은 추론 속도 0.03초/이미지 (Tesla M40 기준), 파라미터 수 327.36k로 기존 SOTA 모델 대비 500배 빠르고 4배 적은 파라미터 사용.
**Prior 요소 제거 실험**에서 H, C, W, O 중 하나라도 제거하면 색상 편차, 세부 정보 손실 등 성능 저하 발생.

의의 및 한계

**학술적 의의**: 조도 정보 없이도 저조도 이미지를 향상할 수 있는 Zero-Reference 프레임워크를 제시.
**실용적 가치**: Stable Diffusion과 Bypass decoder를 활용한 세부 정보 복원 기법은 다른 이미지 처리 작업에도 적용 가능.
**한계**: Prior는 물리적 이론에 기반하지만, 학습 과정에서 더 고차원적 특성을 학습할 수 있음. 또한, 확률적 생성 모델의 랜덤성으로 인해 일부 노이즈나 오류가 발생할 수 있음.

실용적 활용

본 연구는 보안 카메라, 모바일 이미지 향상, 자율주행 시스템 등에서 저조도 환경에서의 이미지 품질 향상에 활용 가능하다. 특히, **가벼운 버전**은 실시간 처리가 필요한 산업 현장에서 유용하며, **Bypass decoder**는 다른 이미지 복원 작업에도 적용 가능하다.