Interpretation-Oriented Cloud Removal via Observation-Anchored Residual Flow with Geo-Contextual Alignment

Cloud removal (CR) is essential for optical remote sensing, serving as a prerequisite for reliable downstream interpretation, such as semantic segmentation and change detection. However, existing CR approaches often prioritize visual realism while overlooking their impact on subsequent analytical tasks, leading to semantic drift and degraded downstream performance. To address this issue, we propose Geo-Anchored Cloud Removal (GACR), a unified framework that jointly ensures faithful reconstruction and robust interpretability. At its core, GACR incorporates Observation-Anchored Residual Flow (OAR-Flow), which reformulates CR as a physically grounded residual inversion process. By anchoring the generative trajectory to the cloudy observation rather than pure noise, OAR-Flow enables fast, stable, and faithful reconstruction. To further preserve semantic structures critical for downstream interpretation, GACR integrates Geo-Contextual Prior Alignment (GCPA) to constrain the reconstruction within a semantic manifold induced by a Vision Foundation Model (VFM). Consequently, GACR strictly maintains the spatial-semantic integrity of complex landscapes. Extensive experiments across six CR datasets and twelve downstream tasks demonstrate that GACR produces superior reconstruction quality while consistently improving downstream task accuracy. The code is available at https://github.com/wzy6055/GACR.

한 줄 요약

GACR은 OAR-Flow와 GCPA를 결합하여, 시각적 품질과 해석 신뢰성을 동시에 향상시키는 해석 중심의 구름 제거 프레임워크이다.

핵심 기여도

OAR-Flow를 제안하여, 구름 이미지에 기반한 물리 기반 잔차 역전 과정으로 안정적이고 정확한 재구성을 달성.
GCPA를 도입하여, VFM 유도된 의미 매니폴드 내에서 재구성을 제한함으로써 의미 구조를 보존.
6개 CR 데이터셋과 12개 downstream 작업에서 평가하여, PSNR 3.3 dB 증가, mIoU 3.1 개선, 5× 빠른 수렴 속도 달성.
기존 CR 방법 대비 의미 왜곡을 효과적으로 완화.

핵심 아이디어

기존 CR 방법은 시각적 사실성에 집중하여, 의미 해석 작업에서 발생하는 의미 이동(semantic drift)을 무시하는 경향이 있다. 이를 해결하기 위해, GACR은 CR을 해석 중심의 생성적 역전 문제로 정의하고, OAR-Flow를 통해 구름 이미지에 기반한 잔차 역전 과정을 모델링한다. 이는 순수 노이즈가 아닌 실제 구름 이미지를 기반으로 생성 과정을 시작함으로써, 재구성의 신뢰성과 안정성을 높인다.

또한, GCPA는 VFM(시각 기초 모델)의 의미 표현을 활용하여, 재구성된 영역이 주변 지리적 맥락과 일관되게 유지되도록 한다. Geo-Contextual Integrity Loss(GCI Loss)를 통해 생성 과정이 의미 구조와 범주별 정보를 보존하도록 명시적으로 규제한다. 이러한 통합적 접근은 CR의 시각적 품질과 해석 신뢰성을 동시에 향상시킨다.

기술적 접근법

**OAR-Flow**: 구름 이미지에 기반한 잔차 역전 과정을 모델링. 생성 과정이 순수 노이즈가 아닌 구름 관측 이미지에서 시작.
**GCPA**: VFM 유도 의미 매니폴드 내에서 재구성을 제한. GCI Loss를 도입하여 의미 구조와 범주 정보를 보존.
**하이퍼파라미터**: GCI Loss의 가중치 λ = 0.5가 재구성 품질과 downstream 성능 간 균형을 최적으로 조절. 패치 크기 p = 2를 기본 설정으로 채택하여 계산 효율성과 품질을 균형 있게 유지.
**수렴 속도**: OAR-Flow는 EMRDM 대비 약 3× 빠르게 수렴, GCPA 추가 시 약 5× 빠르게 수렴.

주요 결과

**PSNR**: 3.3 dB 증가 (기존 방법 대비).
**mIoU**: 3.1 증가 (semantic segmentation 작업에서).
**수렴 속도**: EMRDM 대비 5× 빠름.
**데이터셋**: 6개 CR 데이터셋과 12개 downstream 작업에서 평가.
**의미 왜곡**: GCI Loss를 통해 효과적으로 완화됨.

의의 및 한계

GACR은 CR의 목적을 단순한 시각 품질 향상에서 해석 신뢰성 확보로 확장한 점에서 학술적 의의가 있다. OAR-Flow와 GCPA의 결합은 CR 결과가 downstream 작업에서 의미적으로 일관되게 유지되도록 보장하며, 이는 Earth observation 분야에서 신뢰성 있는 해석을 가능하게 한다.

그러나, GACR은 VFM에 의존적이며, VFM의 훈련 데이터와 범주에 따라 성능이 달라질 수 있다. 또한, GCI Loss의 가중치 λ와 패치 크기 p는 데이터셋에 따라 최적화가 필요하며, 이는 일반화 가능성에 영향을 줄 수 있다.

실용적 활용

GACR은 위성 영상 기반 도시 발전 모니터링, 자원 관리, 땅 덮기 매핑 등 Earth observation 분야에서 유용하게 활용될 수 있다. 특히, 의미 해석 작업(예: semantic segmentation, change detection)에서 정확도 향상이 필요한 경우, GACR은 신뢰성 있는 구름 제거 기반을 제공할 수 있다.