EO-WM: A Physically Informed World Model for Probabilistic Earth Observation Forecasting

Earth Observation (EO) forecasting aims to predict future Earth surface dynamics from satellite observations under changing meteorological conditions. In this paper, we view this task as a partially observed, weather-driven world modeling problem, in which weather acts as a conditioning signal, while forecasting remains uncertain due to sparse observations and unobserved land-surface states. However, existing methods do not fully capture this setting: deterministic models collapse uncertainty into a single future prediction, while diffusion-based methods typically treat weather variables as undifferentiated conditioning signals, and existing benchmarks focus mainly on reconstruction accuracy rather than whether forecasts respond correctly to changed weather forcing.We introduce EO-WM, a video diffusion transformer for multispectral EO forecasting. EO-WM incorporates a physically informed conditioning framework that represents meteorological forcing through a climatological baseline, weather anomalies, and cumulative physical stress signals. Specifically, it separates baseline and anomaly through distinct conditioning pathways, and accumulates anomalous forcing over time to capture sustained heat and drought stress. To evaluate weather-response behavior beyond standard metrics, we introduce two diagnostic benchmarks: an Extreme Summer Benchmark for severity-aware prediction of vegetation degradation under extreme weather, and a Seasonal Matched-Pair Benchmark for testing response fidelity under changed weather forcing. Experiments show that EO-WM reduces the error in predicted Normalized Difference Vegetation Index (NDVI) decline amplitude by a relative 5.63% and improves directional hit rate by a relative 7.80%, while remaining competitive on standard pixel-level metrics. The benchmarks and model will be made open-source at https://github.com/Luo-Z13/EO-WM.

한 줄 요약

EO-WM은 기상 조건을 고려한 확률적 지구 관측 예측을 위한 물리 기반 월드 모델이다.

핵심 기여도

EO-WM이라는 비디오 디퓨전 트랜스포머 모델을 제안하여 다중 스펙트럼 지구 관측 예측을 수행.
기상 조건을 기후 기준선, 기상 이상, 누적 물리적 스트레스 신호로 구분하여 조건화 프레임워크를 도입.
극한 여름 벤치마크와 계절 매치드-페어 벤치마크를 새롭게 제안하여 기상 반응성을 평가.
NDVI 감소 진폭 예측 오류를 기존 대비 5.63% 감소시키고 방향적 히트율을 7.80% 개선.

핵심 아이디어

기존의 지구 관측 예측 모델은 기상 조건을 단일 신호로 처리하거나 확률성을 무시하는 경향이 있다. EO-WM은 이 문제를 해결하기 위해 물리 기반의 조건화 프레임워크를 도입하여 기상 변화에 따른 지표 반응을 더 정확하게 모델링한다. 이 모델은 기후 기준선과 기상 이상을 별도의 경로로 처리하고, 이상 기상의 누적 영향을 시간에 따라 반영함으로써 지속적인 열과 가뭄 스트레스를 포착한다. 이는 기존의 단일 예측 기반 모델과는 달리, 확률적이고 다중 조건에 민감한 예측을 가능하게 한다.

기술적 접근법

EO-WM은 비디오 디퓨전 트랜스포머 기반의 모델로, 다중 스펙트럼 EO 데이터를 처리.
기상 조건은 기후 기준선, 기상 이상, 누적 스트레스 신호로 분리되어 조건화.
기상 이상 신호는 시간에 따라 누적되어 지속적인 영향을 반영.
기존의 정확도 중심 평가 대신, EO-WM은 새로운 두 가지 진단 벤치마크를 도입하여 예측의 기상 반응성을 평가.

주요 결과

EO-WM은 NDVI 감소 진폭 예측 오류를 기존 대비 5.63% 감소.
방향적 히트율은 기존 대비 7.80% 개선.
극한 여름 벤치마크와 계절 매치드-페어 벤치마크에서 기상 반응성 평가가 가능.
표준 픽셀 수준 지표에서도 경쟁력 있는 성능을 보임.

의의 및 한계

EO-WM은 기상 변화에 민감한 지구 표면 예측을 가능하게 하며, 기존 모델이 무시했던 확률적 불확실성과 물리적 스트레스를 반영하는 데 기여한다. 특히, 새로운 진단 벤치마크는 기상 반응성을 정량적으로 평가할 수 있는 도구로 활용될 수 있다. 그러나 EO-WM은 다중 스펙트럼 EO 데이터에만 적용 가능한 모델이며, 다른 유형의 지구 관측 데이터에 대한 일반화 가능성은 명시되지 않음.

실용적 활용

EO-WM은 기상 변화에 따른 농업 피해 예측, 생태계 모니터링, 자연재해 대응 등에서 활용 가능하다. 특히, NDVI와 같은 식생 지표를 예측함으로써 심각한 기후 변화 상황에서의 식생 저하를 사전에 파악하는 데 유용할 수 있다.