Enhancing Photogrammetric Digital Surface Models with Pretrained Diffusion Models and Multimodal Conditioning

Large-scale Digital Surface Models (DSMs) can be produced cost-effectively from satellite images via stereo-photogrammetry. However, the resulting 3D maps are often contaminated by noise, outliers, and voids. On the other hand, aerial LiDAR provides high-accuracy elevation measurements at a substantially higher cost. In this work, we study diffusion models conditioned both on photogrammetric DSMs and Pléiades imagery to refine vertically co-registered DSMs. We introduce a modified Stable Diffusion 3 architecture with a pruned text stream and a patch-wise normalization strategy, enabling stable training on LiDAR data and transfer from natural images to elevation maps. Experiments in French cities demonstrate that multimodal conditioning improves elevation accuracy, reducing Dense Urban RMSE from 6.00 to 3.45 m in the in-context cities and from 4.16 to 2.77 m in the held-out city of Bordeaux.

한 줄 요약

이 연구는 Stable Diffusion 3를 수정하여, 사진측량 DSM을 고정된 LiDAR 수준으로 정제하는 다중모달 조건 확산 모델을 제안한다.

핵심 기여도

Stable Diffusion 3 아키텍처를 수정하여 텍스트 스트림을 제거하고 패치별 정규화 전략을 도입하여 LiDAR 데이터 학습 안정화.
DSM 및 Pléiades-HR 이미지에 조건을 부여하는 별도의 ControlNet을 사용한 다중모달 조건 접근법.
프랑스 도시에서 실험한 결과, Dense Urban RMSE가 6.00 m → 3.45 m (43% 감소), Bordeaux에서는 4.16 m → 2.77 m (33% 감소)로 개선됨.

핵심 아이디어

기존 사진측량 DSM은 노이즈, 외래값, 구멍이 많아 정밀도가 낮다. 반면, LiDAR는 정밀하지만 비용이 높다. 이 연구는 DSM과 Pléiades-HR 이미지를 동시에 조건으로 사용하는 확산 모델을 통해 DSM을 정제하는 방법을 제안한다. Stable Diffusion 3의 텍스트 스트림을 제거하고, 패치별 정규화를 도입하여 LiDAR 데이터에 안정적으로 학습할 수 있도록 했다. ControlNet을 사용해 DSM과 RGB 이미지를 별도로 조건으로 결합함으로써, 공간적 구조와 이미지 경계를 동시에 활용할 수 있다. 이는 기존의 단일 조건 기반 모델보다 정확도 향상에 기여한다.

기술적 접근법

**모델 아키텍처**: Stable Diffusion 3 Medium을 사용. 텍스트 스트림 제거 후, 이미지 전용 아키텍처로 변환. 파라미터 수는 약 2B → 1B로 감소.
**입력 처리**: DSM 패치는 단일 채널에서 3채널로 복제하여 VAE 처리. 추론 시 3채널 평균값을 사용해 미터 단위로 변환.
**조건 조합**: DSM과 Pléiades-HR 이미지를 각각 ControlNet을 통해 조건으로 결합.
**데이터셋**: 프랑스 20개 도시의 LiDAR-HD, Pléiades-HR, CARS DSM 데이터 사용. Bordeaux는 테스트 도시로 분리.

주요 결과

**Dense Urban RMSE**: In-context 도시에서 6.00 m → 3.45 m (43% 감소), Bordeaux에서 4.16 m → 2.77 m (33% 감소).
**Void Recovery**: 모든 평가 그룹에서 DSM + RGB가 DSM 단독보다 평균 void RMSE를 낮춤.
**정확도 향상**: VAE 재구성 오차는 0.573 m RMSE로 측정되지만, 전체 정확도 개선에 기여함.

의의 및 한계

이 연구는 사진측량 DSM을 LiDAR 수준으로 정제하는 새로운 접근법을 제시하며, 다중모달 조건 확산 모델의 유용성을 입증한다. 특히, DSM과 RGB 이미지를 결합한 조건 설정이 공간 구조와 이미지 경계를 동시에 활용하는 데 효과적임을 보여준다. 그러나 연구는 프랑스 도시 내에서만 평가되었으며, 다른 지역, 센서, 지형 유형으로의 전이 가능성은 아직 검증되지 않았다. 또한, 계절적 식생 변화나 건물 변경 등 A2 가정이 위배되는 경우에도 모델의 성능은 명시되지 않았다.

실용적 활용

이 연구는 저비용 사진측량 DSM을 고정된 LiDAR 수준으로 정제하는 데 활용될 수 있으며, 도시 모델링, 재해 후 지형 변화 분석, 지리정보 시스템(GIS) 개선 등 다양한 분야에서 적용 가능하다. 특히, 대규모 지역의 정밀 지형 맵 생성에 유용할 것으로 기대된다.