Proving and Improving the Platonic Representation Hypothesis with JEPAs

Whether models trained on different modalities converge to the same representation of the world is central to AI. The Platonic Representation Hypothesis (PRH) conjectures that they do as they scale, but without a proof it offers neither a guarantee nor a recipe. We turn the hypothesis into a theorem. First, we prove a Platonic Representation Theorem: Joint-Embedding Predictive Architectures (JEPAs) trained separately on any number of modalities learn the same representation up to one rotation whenever their positive pairs are two observations of one scene--good views--and their misalignment is bounded otherwise. Second, we show that next-token prediction is a JEPA with bad views, parts of a single document, which explains why language models align with vision only through scale. Third, we validate the theory from 145k captions to the texts of 940M web images, and uncover a scaling law of alignment that predicts unseen runs within seed noise. Good views need 42 times fewer training samples than next-token prediction on the same corpus to reach the same alignment, and a 109M-parameter text JEPA aligns with DINOv2 and CLIP's image encoders better than every language model we evaluated, up to 72B parameters, and than CLIP's text encoder: next-token prediction is a remarkably inefficient route to platonic representations. As a showcase, one rotation turns separately trained encoders into an image captioner (CIDEr .838 on COCO). Even that rotation needs no pair: on the latest pair-free benchmark, our text JEPA beats every zero-shot accuracy reported with language models up to 8B parameters, e.g., 64\% against at most 56\% top-5 on ImageNet-100. Positive views, and not scale alone, are thus the lever to build platonic representations.

한 줄 요약

JEPAs를 통해 플라톤적 표현 가설을 정리화하고, 좋은 뷰가 표현 정렬을 42배 적은 샘플로 향상시킴.

핵심 기여도

JEPAs가 동일한 세계 관측을 기반으로 회전 차이를 제외하고 동일한 표현을 학습한다는 **플라톤적 표현 정리**를 증명.
**Next-token prediction**은 단일 문서 내의 prefix-continuation을 사용하므로, **bad-view JEPA**로 분류됨.
**109M 파라미터**의 텍스트 JEPA가 72B 파라미터 언어 모델보다 **.184의 정렬 수치**를 달성.
**21.6M 샘플**로 next-token prediction이 **900M 샘플**과 동일한 정렬 성능을 보임.

핵심 아이디어

JEPAs는 **positive pair**가 동일한 장면의 두 관측일 경우, 회전 차이를 제외하고 동일한 표현을 학습한다는 것이 이 연구의 핵심이다. 이는 **스펙트럼 임베딩**을 통해 증명되며, **white JEPAs**가 **spectral gap** 조건 하에 유일한 최적해를 가진다는 점에서 유도된다.

**Good-view JEPA**는 동일한 장면의 두 관측을 **positive pair**로 사용하여 세계의 공통 표현을 학습하지만, **bad-view JEPA**는 단일 관측의 변형을 **positive pair**로 사용하여 모달 고유의 잡음을 학습하게 된다. 이 차이는 **next-token prediction**이 bad-view JEPA에 해당함을 보여주며, 언어 모델이 시각 모델과 정렬하는 데 **스케일**에 의존하는 이유를 설명한다.

기술적 접근법

**JEPAs**는 **positive pair**를 기반으로 **spectral embedding**을 학습하며, **anti-collapse term**을 통해 표현 공간의 분산을 유지.
**White JEPAs**는 **spectral gap** 조건 하에 유일한 최적해를 가짐.
**Next-token prediction**은 **softmax log-partition**을 anti-collapse term으로 사용하며, **prefix-continuation**을 **positive pair**로 정의.
**LeJEPA**는 full-distribution constraint를 사용하지만, **spectral solution**만 증명됨.
**DINOv2, DINOv3, CLIP**의 이미지 인코더와 **JEPA** 텍스트 인코더를 **선형 회전**으로 연결하여 이미지 캡션 생성.

주요 결과

**145k Flickr 캡션**에서 **109M 텍스트 JEPA**가 **.184**의 정렬 수치를 달성, **Qwen2.5-72B(.154)**, **CLIP 텍스트 인코더(.124)**를 초과.
**21.6M 샘플**로 good-view JEPA가 **next-token prediction**의 **900M 샘플**과 동일한 정렬 성능을 보임.
**COCO 데이터셋**에서 **CIDEr .838**의 이미지 캡션 생성 성능 달성.
**ImageNet-100**에서 **64%**의 zero-shot 정확도, 언어 모델 최대 56%를 상회.

의의 및 한계

이 연구는 **플라톤적 표현 가설**을 **수학적 정리**로 전환하여, 표현 정렬을 위한 **명확한 조건**을 제시한다. **Good-view JEPA**는 **스케일**에 의존하지 않고, **적은 샘플**로도 뛰어난 정렬을 달성함으로써, **자연어 처리 및 시각 인식** 분야에서의 실용적 활용 가능성을 제시한다.

그러나, **theorems**는 **무한 세계**와 **주입적 렌더링**을 가정하며, 실제 데이터는 **lossy**하고 **유한 샘플**에 의존하므로, **인덕티브 바이어스**에 영향을 받는다. 또한, **good-view**는 이미지-캡션 쌍이 필요한데, 이는 **캡셔닝 모델**에 의존할 수밖에 없어 완전한 **zero-shot** 조건에서는 한계가 있다.

실용적 활용

이 연구는 **다중 모달 학습**, 특히 **텍스트-이미지 정렬**, **이미지 캡션 생성**, **zero-shot 분류** 등에 적용 가능하다. **JEPAs**는 **적은 파라미터와 샘플**로도 뛰어난 성능을 보여주므로, **자원 제약이 있는 환경**에서 유용하며, **비교적 저비용으로 고정된 이미지 인코더와 텍스트 인코더를 연결**하여 활용할 수 있다.