Do Foundation Model Embeddings Improve Cross-Country Crop Yield Generalisation? A Leave-One-Country-Out Evaluation in Sub-Saharan Africa

Accurate predictions of smallholder maize yields across national boundaries are critical for food security planning in sub-Saharan Africa, yet most published benchmarks report within-country performance that overstates true generalisability. This paper evaluates whether geospatial foundation model embeddings, specifically Prithvi-EO-1.0-100M and ViT-Base, outperform traditional Sentinel-2 spectral features under a Leave-One-Country-Out cross-validation scheme on 6,404 maize field observations from five African countries. The results show a clear generalisability gap: within-country random cross-validation yields moderate R^2 values, but all feature sets perform poorly under cross-country testing, with universally negative R^2. Frozen Prithvi-EO embeddings provide no meaningful advantage over engineered spectral features for cross-country prediction in this setting. The paper argues that the main limitation is a shift in yield distribution between countries rather than representation quality and releases a reproducible negative benchmark for future work.

📋 한 줄 요약

**[지구관측 파운데이션 모델 / 농업 AI]** 사하라 이남 아프리카 5개국 옥수수 수확량 예측에서 지리공간 파운데이션 모델 임베딩(Prithvi-EO, ViT-Base)이 전통적 Sentinel-2 스펙트럼 특징보다 국가 간 일반화에서 실질적 이득을 주지 못한다는 부정적 벤치마크.

🎯 핵심 기여도

기존 농업 수확량 예측 벤치마크가 within-country 평가에 머물러 실제 일반화 성능을 과대평가해 왔다는 문제를 정량적으로 드러냄.
5개국 6,404개 옥수수 필드 관측을 활용한 Leave-One-Country-Out(LOCO) 평가 프로토콜을 정립.
Prithvi-EO-1.0-100M, ViT-Base의 frozen 임베딩과 전통 Sentinel-2 스펙트럼 특징을 동일 조건에서 비교.
향후 연구가 활용할 수 있는 재현 가능한 negative benchmark를 공개.

💡 핵심 아이디어

국가 간 일반화 실패의 주된 원인은 표현(representation) 품질이 아니라 수확량 분포 자체의 국가 간 이동(distribution shift)이라는 진단. 따라서 파운데이션 모델 임베딩 교체만으로는 문제가 해결되지 않는다.

🔬 기술적 접근법

**모델/방법론**: Prithvi-EO-1.0-100M(NASA-IBM의 지구관측 파운데이션 모델), ViT-Base, Sentinel-2 spectral feature를 각각 입력으로 사용하는 회귀기 학습.
**핵심 기법**: 5개국 데이터에 대해 한 국가를 검증 셋으로 빼는 LOCO cross-validation, within-country random CV와의 격차로 일반화 갭(generalisability gap) 측정.

📊 주요 결과

within-country random CV: 모든 feature set이 중간 정도의 $R^2$ 달성.
cross-country LOCO: 모든 feature set이 보편적으로 음의 $R^2$ — 즉 평균 예측보다 나쁨.
frozen Prithvi-EO 임베딩은 엔지니어링된 스펙트럼 특징 대비 의미 있는 이득 없음.

💭 의의 및 한계

**의의**: 파운데이션 모델 만능론에 제동을 거는 실증적 negative result로, 식량 안보 정책 수립 시 모델 성능 보고 방식을 재고하게 만듦. **한계**: 5개국·옥수수 단일 작물에 국한되며, 미세 조정·도메인 적응 등 적극적 전이학습은 다루지 않음.

🚀 실용적 활용

농업 ML 벤치마크의 LOCO 평가 도입 가이드.
사하라 이남 아프리카 식량 안보 계획 수립 시 현재 ML 모델 한계 인지.
후속 도메인 적응·분포 이동 보정 연구를 위한 표준 부정 베이스라인.