foundation-models self-supervised-learning satellite-imagery weakly-supervised change-detection watch-framework planetcope-satellite temporal-embedding-distance
Abstract
Monitoring archaeological sites at scale is vital for protecting cultural heritage, yet pinpointing when disturbances occur remains difficult because visual cues are subtle and ground-truth data are sparse. We introduce WATCH, a framework for month-level change-event localization over PlanetScope satellite mosaics (2017-2024, 4.7 m/px) that supports three complementary scoring approaches: (i) Temporal Embedding Distance (TED), a training-free method that scores month-to-month deviations from a local temporal reference; (ii) Self-Supervised Change Detection (SSCD), an ensemble of reconstruction, forecasting, and latent-novelty signals; and (iii) a Weakly Supervised (WS) temporal localization model trained with sparse event-month labels. We benchmark WATCH on 1,943 archaeological sites in Afghanistan using embeddings from six foundation models (CLIP, GeoRSCLIP, SatMAE, Prithvi-EO-2.0, DINOv3, and Satlas-Pretrain) alongside a handcrafted spectral and texture baseline, and assess cross-regional generalization on sites in Syria, Turkey, Pakistan, and Egypt. The unsupervised approaches (TED, SSCD) consistently outperform the weakly supervised alternative. TED with SatMAE achieves the highest exact-month recall (55% at m=0), while TED with GeoRSCLIP, CLIP, or Satlas-Pretrain reaches 92.5% within a three-month tolerance (m=3). Handcrafted features remain competitive for exact-month detection under weak supervision. Our directional margin analysis reveals systematic temporal biases: SSCD paired with GeoRSCLIP or Prithvi-EO-2.0 exhibits the strongest early-warning profile, detecting anomalies before the recorded event, while TED favors confirmation-oriented detection after a change has materialized. These results show that satellite imagery combined with foundation-model embeddings enables scalable, decision-relevant heritage monitoring. Code: https://github.com/microsoft/WATCH
한국어 요약
📋 한 줄 요약
**[원격 탐사 / 변화 탐지]** 광역 위성 시계열에서 월 단위 변화 시점을 찾는 WATCH 프레임워크로 1,943개 아프가니스탄 고고학 유적지를 벤치마킹, SatMAE 기반 TED가 정확 월 회수율 55% 달성.
🎯 핵심 기여도
- PlanetScope 위성 모자이크(2017–2024, 4.7 m/px)에서 “월 단위” 변화 이벤트를 국소화하는 프레임워크 WATCH 제안
- 학습 없는 TED, 자기지도 SSCD, 약지도 WS 세 가지 상호보완적 스코어링 도입
- CLIP, GeoRSCLIP, SatMAE, Prithvi-EO-2.0, DINOv3, Satlas-Pretrain 등 6개 파운데이션 모델 + 핸드크래프트 베이스라인 비교
- 시리아·터키·파키스탄·이집트 등 교차 지역 일반화 평가, 시계열 편향(directional margin) 정량 분석
💡 핵심 아이디어
유적 훼손 같은 변화는 시각 단서가 미세하고 라벨이 매우 희소하다. 본 연구는 “학습 없는 임베딩 거리 기반 시점 탐지(TED)”와 “재구성·예측·잠재 신호의 자기지도 앙상블(SSCD)”을 통해 라벨 의존성을 줄이고, 파운데이션 모델 임베딩의 시계열적 일관성을 직접 활용해 변화 시점을 찾는다.
🔬 기술적 접근법
- **TED (학습 없음)**: 로컬 시간 참조와의 월 단위 임베딩 거리 편차를 점수화
- **SSCD (자기지도)**: 재구성, 시계열 예측, 잠재 신규성 세 신호를 앙상블
- **WS (약지도)**: 희소한 사건-월 라벨로 학습된 시간 국소화 모델
- **임베딩 백본**: CLIP, GeoRSCLIP, SatMAE, Prithvi-EO-2.0, DINOv3, Satlas-Pretrain + 핸드크래프트 스펙트럼·텍스처 기준선
- **평가**: 1,943개 아프가니스탄 유적지 + 교차 지역(시리아·터키·파키스탄·이집트), 정확월/허용월 회수율
📊 주요 결과
- TED + SatMAE: 정확월(m=0) 회수율 55%로 최고
- TED + GeoRSCLIP/CLIP/Satlas-Pretrain: 3개월 허용(m=3) 회수율 92.5%
- 비지도 방법(TED, SSCD)이 약지도 대안을 일관되게 능가
- 핸드크래프트 특징도 정확월 탐지에서 약지도와 경쟁력 있음
- 방향성 마진 분석으로 체계적 시간 편향 존재 확인
💭 의의 및 한계
**의의**: 라벨이 거의 없는 광역 모니터링 시나리오에서 파운데이션 모델 임베딩의 “학습 없는 활용”이 강력한 베이스라인임을 입증, 문화유산 보호의 운영 가능한 도구를 제공한다. **한계**: PlanetScope의 시공간 해상도와 구름·계절 변화에 영향을 받으며, 비고고학 변화(농업·공사) 구분과 사건 “종류” 분류에는 추가 모델링이 필요하다.
🚀 실용적 활용
- 분쟁·재해 지역 문화재 위협 조기 경보 시스템
- 토지 이용·산림 변화 모니터링 등 광역 변화 탐지 일반화
- 위성 파운데이션 모델 임베딩 품질의 시계열적 평가 기준