LoCA: Enabling Multi-Modality in Geospatial Location Encoders

Location encoders map geographic coordinates to high-dimensional descriptors through contrastive alignment with paired Earth Observation imagery. We prove that this construction is structurally limited: any Lipschitz location encoder produces an output of intrinsic dimension at most 2, regardless of architecture or bandwidth, which forces the contrastive loss to strictly exceed its asymptotic optimum. Empirically, joint training also collapses the encoder's embedding covariance to low rank. Although dimension-limited, current location encoders sidestep this spectral collapse by training against a frozen image encoder, which we reinterpret as a covariance regularizer that supplies a high-rank target for the location encoder to fold onto. However, extending this approach to multimodal inputs is challenging, as location encoders should simultaneously map a single location to multiple, potentially incompatible, descriptors. We identify two requirements a regularizer must satisfy for location encoding in multimodal regimes: co-alignment across modalities, since adapters alone cannot align independently pretrained encoders; and high effective rank, since the location encoder inherits its target's spectrum. We propose LoCA (Location Contrastive Alignment), a two-stage pipeline that satisfies both. Stage 1 jointly trains Sentinel-1 and Sentinel-2 encoders with contrastive learning, producing a co-aligned, high-rank multimodal target. Stage 2 freezes the image encoders and trains a location and a tabular metadata encoder as projection adapters with multi-view contrastive learning. Against five state-of-the-art encoders on 17 tasks ranging from land cover and wildfire forecasting to geophysical, socio-economic, biodiversity and climate applications, LoCA achieves the most task wins, is the only model to outperform every other on a majority of tasks, and wins 68.8% of all per-task comparisons.

한 줄 요약

LoCA는 다중 모달 지리 인코딩을 위한 2단계 파이프라인으로, Sentinel-1과 Sentinel-2 이미지를 기반으로 고랭크, 공변량 정렬된 임베딩을 생성하여 17개 태스크에서 68.8%의 비교 우위를 달성한다.

핵심 기여도

**LoCA**는 다중 모달 지리 인코딩을 위한 2단계 파이프라인으로, **Stage 1**에서 **Sentinel-1과 Sentinel-2** 이미지 인코더를 **DHEL** 손실로 **공변량 정렬**하고, **Stage 2**에서 **MV-DHEL**을 사용해 **지리 인코더와 메타데이터 인코더**를 학습한다.
**이론적으로** 지리 인코더는 **Lipschitz 제약**으로 인해 **최대 2차원**의 임베딩만 생성할 수 있으며, **contrastive loss**는 **asymptotic 최적값**을 **엄격히 초과**한다.
**LoCA는 17개 지구관측 태스크**에서 **기존 5개 최고 성능 모델**을 **68.8%의 비교 우위**로 제쳤으며, **대다수 태스크에서 유일하게 모든 모델을 앞선다**.

핵심 아이디어

지리 인코더는 지리 좌표를 고차원 임베딩으로 매핑하는 기능을 수행하지만, **Lipschitz 제약**으로 인해 임베딩의 **고유 차원은 최대 2**에 불과하다. 이는 **contrastive learning**이 **uniform distribution**을 추구하는 성질과 충돌하여, **loss가 최적값을 엄격히 초과**하게 된다. 또한, **공변량이 낮은 랭크로 수렴**하는 **spectral collapse** 현상이 발생한다. 기존 모델은 **frozen 이미지 인코더**를 사용해 이 문제를 회피하지만, **다중 모달 확장은 어려움**이 있다.

LoCA는 이 문제를 해결하기 위해 **공변량 정렬(co-alignment)**과 **고랭크(high effective rank)** 두 가지 조건을 만족하는 **2단계 파이프라인**을 제안한다. **Stage 1**에서는 **Sentinel-1과 Sentinel-2 인코더**를 **DHEL** 손실로 **공변량 정렬**하여 고랭크 타겟을 생성하고, **Stage 2**에서는 **MV-DHEL**을 사용해 **지리 인코더와 메타데이터 인코더**를 학습한다. 이는 **다중 모달 간 일관된 정렬**과 **임베딩 공간의 다양성**을 동시에 달성한다.

기술적 접근법

**Stage 1**: **Sentinel-1과 Sentinel-2 인코더**를 **DHEL (Diverse High-Effective-Rank Learning)** 손실로 **공변량 정렬**하여 **고랭크 타겟**을 생성.
**Stage 2**: 이미지 인코더를 **고정(freeze)**하고, **지리 인코더**(MLP)와 **메타데이터 인코더**(MLP)를 **MV-DHEL (Multi-View DHEL)** 손실로 학습.
**DHEL**: **contrastive learning**을 확장한 손실 함수로, **고랭크 임베딩**을 유도.
**MV-DHEL**: **다중 뷰**(geolocation + tabular metadata)를 고려한 **multi-view contrastive learning**.
**모델 구조**: **MLP 기반 인코더**, **Sentinel-1과 Sentinel-2 이미지 인코더**, **projection adapters**.

주요 결과

**17개 태스크**(land cover, wildfire forecasting, climate 등)에서 **5개 기존 최고 성능 모델**을 비교했으며, **LoCA가 68.8%의 비교 우위**를 달성.
**대다수 태스크에서 유일하게 모든 모델을 앞선 모델**.
**SatBird 태스크**에서 **Top-10, Top-30 retrieval accuracy**를 기준으로 **높은 성능** 보임.
**reBEN**(multi-label land cover)에서는 **micro-F1** 기준으로 **높은 정확도** 달성.
**Mesogeos**(wildfire forecasting)에서는 **F1과 AUPRC** 기준으로 **높은 성능** 보임.

의의 및 한계

LoCA는 **다중 모달 지리 인코딩**의 이론적 한계를 **수학적으로 증명**하고, 이를 극복하는 **구조적 해결책**을 제시한다. 기존 모델이 **단일 모달에 제한**되었던 반면, LoCA는 **Sentinel-1과 Sentinel-2**를 **공변량 정렬**하여 **다중 모달 간 일관된 임베딩**을 생성한다. 이는 **지구관측 분야**에서 **다양한 태스크**(생물다양성, 기후, 사회경제 등)에 **유연한 활용**이 가능하다.

그러나 **LoCA는 시간 차원을 고려하지 않아**, **계절적 변화나 단기 동적 변화**는 **간접적으로만 반영**된다. 또한, **Stage 1은 Sentinel-1과 Sentinel-2만 사용**하며, 다른 센서나 기후 변수를 추가하면 **더 나은 구조**를 얻을 수 있다. 또한, **좌표 기반 평가**는 **공간 자기상관**에 민감하므로, **blocked 또는 leave-region-out 평가**가 필요하다.

실용적 활용

LoCA는 **지구관측**(Earth Observation) 분야에서 **다중 모달 데이터**(SAR, 광학 이미지, 메타데이터)를 통합하는 데 활용 가능하다. **야생화 예측**, **생물 분포 모델링**, **지표면 분류** 등 **복합적 지리 태스크**에서 **고랭크, 일관된 임베딩**을 생성하여 **다양한 모델링 요구**를 충족시킬 수 있다. 특히