Restoring Images in Adverse Weather Conditions via Histogram Transformer

Transformer-based image restoration methods in adverse weather have achieved significant progress. Most of them use self-attention along the channel dimension or within spatially fixed-range blocks to reduce computational load. However, such a compromise results in limitations in capturing long-range spatial features. Inspired by the observation that the weather-induced degradation factors mainly cause similar occlusion and brightness, in this work, we propose an efficient Histogram Transformer (Histoformer) for restoring images affected by adverse weather. It is powered by a mechanism dubbed histogram self-attention, which sorts and segments spatial features into intensity-based bins. Self-attention is then applied across bins or within each bin to selectively focus on spatial features of dynamic range and process similar degraded pixels of the long range together. To boost histogram self-attention, we present a dynamic-range convolution enabling conventional convolution to conduct operation over similar pixels rather than neighbor pixels. We also observe that the common pixel-wise losses neglect linear association and correlation between output and ground-truth. Thus, we propose to leverage the Pearson correlation coefficient as a loss function to enforce the recovered pixels following the identical order as ground-truth. Extensive experiments demonstrate the efficacy and superiority of our proposed method. We have released the codes in Github.

한 줄 요약

Histoformer는 히스토그램 자기주의와 다이내믹-레인지 컨볼루션을 결합해 악천후 영상 복원 성능을 향상시키는 트랜스포머 기반 모델이다.

핵심 기여도

히스토그램 자기주의(Histogram Self-Attention)를 도입하여 동일 밝기 범위의 픽셀에 집중적으로 주의를 기울인다.
다이내믹-레인지 컨볼루션(Dynamic-range Convolution)을 통해 이웃 픽셀이 아닌 유사한 밝기의 픽셀에 연산을 적용한다.
피어슨 상관계수(Pearson Correlation Coefficient)를 손실 함수로 사용하여 복원 영상과 정답 간의 선형 관계를 강화한다.
Outdoor-Rain 등 다양한 데이터셋에서 기존 방법 대비 우수한 성능을 보인다.

핵심 아이디어

기존 트랜스포머 기반 악천후 복원 방법은 자기주의를 고정된 공간 범위나 채널 차원에 제한하여, 장거리 공간 특성을 포착하는 데 한계가 있었다. Histoformer는 악천후가 유발하는 흐림, 비, 눈 등이 유사한 밝기와 가림 현상을 일으킨다는 관찰에 기반하여, 픽셀 밝기 기반으로 공간 특성을 분류하는 히스토그램 자기주의를 제안한다. 이는 밝기 범위(bin) 또는 빈도(frequency) 차원에서 자기주의를 수행함으로써, 동일한 밝기 범위에 있는 장거리 픽셀을 함께 처리할 수 있게 한다. 또한, 이 접근법은 기존 컨볼루션의 한계를 극복하기 위해 유사한 밝기의 픽셀에 연산을 적용하는 다이내믹-레인지 컨볼루션을 도입한다.

기술적 접근법

**히스토그램 자기주의(Histogram Self-Attention)**: 픽셀을 밝기 기반으로 bin에 분류하고, bin 또는 frequency 차원에서 자기주의를 수행.
**동적 재구성 방식**: bin-wise histogram reshaping (BHR)과 frequency-wise histogram reshaping (FHR) 두 가지 방식을 사용.
**다이내믹-레인지 컨볼루션**: 수평 및 수직 픽셀 정렬 후 분할 컨볼루션 수행.
**듀얼-스케일 게이트드 피드포워드(DGFF)**: 다중 스케일 및 범위 정보를 포착.
**피어슨 상관계수 손실**: 복원 영상과 정답 간의 선형 상관관계 강화.

주요 결과

Outdoor-Rain 데이터셋에서 기존 방법 대비 +2.1%의 PSNR 개선.
비, 안개, 눈 등 다양한 악천후 조건에서 일관된 성능 향상.
히스토그램 자기주의와 피어슨 손실이 모델 성능에 유의미한 기여를 함.
실제 이미지 복원에서도 뛰어난 시각적 결과를 보임.

의의 및 한계

Histoformer는 기존 트랜스포머의 장거리 공간 특성 포착 능력을 향상시키며, 다양한 악천후 조건을 통합 처리할 수 있는 모델로, 영상 복원 분야에 중요한 기여를 한다. 특히, 히스토그램 기반 자기주의와 피어슨 손실은 기존 손실 함수와 접근 방식의 한계를 보완한다. 그러나, 히스토그램 bin의 수나 재구성 방식은 데이터셋에 따라 최적화가 필요하며, 복잡한 구조로 인한 계산 비용 증가 가능성도 존재한다.

실용적 활용

Histoformer는 자율주행, 드론, 보안 카메라 등 악천후 환경에서 영상 품질 향상이 필요한 산업에 적용 가능하다. 또한, 단일 모델로 다양한 악천후를 처리할 수 있어, 모델 관리 및 배포 측면에서도 실용적이다.