The Platonic Representation Hypothesis

We argue that representations in AI models, particularly deep networks, are converging. First, we survey many examples of convergence in the literature: over time and across multiple domains, the ways by which different neural networks represent data are becoming more aligned. Next, we demonstrate convergence across data modalities: as vision models and language models get larger, they measure distance between datapoints in a more and more alike way. We hypothesize that this convergence is driving toward a shared statistical model of reality, akin to Plato's concept of an ideal reality. We term such a representation the platonic representation and discuss several possible selective pressures toward it. Finally, we discuss the implications of these trends, their limitations, and counterexamples to our analysis.

한 줄 요약

AI 모델의 표현이 시간과 도메인, 데이터 모달리티를 넘어 점점 더 일치하며 "플라톤적 표현"으로 수렴하고 있다는 가설을 제시한다.

핵심 기여도

다양한 도메인과 시간에 걸쳐 신경망 표현이 일치하는 수렴 현상을 조사.
시각 모델과 언어 모델이 데이터 포인트 간 거리를 유사한 방식으로 측정함을 실증.
수렴이 "플라톤적 표현"이라는 공통 현실 모델로 이어질 수 있다는 가설 제시.
표현 일치도를 측정하기 위한 `mutual nearest-neighbor metric` 사용.

핵심 아이디어

AI 모델이 학습할수록 데이터 표현이 점점 더 일치하고 있으며, 이는 단일한 현실의 통계적 모델을 추구하는 결과일 수 있다는 것이 핵심 통찰이다. 이 가설은 플라톤의 '동굴 비유'에서 유래하며, 센서로 관측된 '그림자' 데이터를 통해 실제 현실(Z)을 점점 더 잘 모델링한다는 의미이다.

본 논문은 표현 일치도를 측정하기 위해 `kernel` 기반의 `representational alignment` 개념을 도입하며, 이는 두 표현이 유사한 거리 구조를 유도하는지를 평가한다. 특히 `mutual nearest-neighbor metric`을 사용하여, 두 표현이 유사한 k-최근접 이웃 집합을 생성하는 정도를 평가한다. 이는 `CKA`, `SVCCA`, `nearest-neighbor metrics` 등과 유사한 개념이지만, 본 논문에서 구체적으로 정의된 새로운 측정 방식이다.

기술적 접근법

표현 일치도는 `kernel` 기반의 `representational alignment`로 정의.
`mutual nearest-neighbor metric`을 사용하여 두 표현의 k-최근접 이웃 집합의 교집합 비율을 측정.
시각 모델과 언어 모델의 표현이 데이터 포인트 간 거리를 유사하게 측정함을 실증.
`GPT4-V`, `Gemini`, `LLaVA` 등 다중 모달리티 모델에서 표현 일치 현상 분석.
`Centered Kernel Alignment (CKA)`, `SVCCA` 등과 비교하여 `mutual nearest-neighbor metric`의 효과 검증.

주요 결과

시각 모델과 언어 모델이 데이터 포인트 간 거리를 점점 더 유사한 방식으로 측정함을 실험적으로 확인.
`GPT4-V`, `Gemini`, `LLaVA` 등 다중 모달리티 모델에서 표현 일치도가 높음.
`mutual nearest-neighbor metric`을 통해 표현 일치도가 모델 크기와 학습 데이터량에 따라 증가함을 관찰.
표현 일치도는 `CKA`, `SVCCA` 등 기존 지표와 유사한 경향을 보이지만, 보다 직관적인 측정 가능.

의의 및 한계

이 연구는 AI 모델이 점점 더 현실의 통계적 구조를 정확히 반영하는 표현을 학습하고 있다는 가능성을 제시하며, 표현 학습 분야의 이론적 기반을 확장한다. 특히, `foundation models`가 다양한 도메인과 모달리티에 걸쳐 표현을 일치시키는 현상은 AI의 일반화 능력과 관련된 중요한 통찰을 제공한다.

그러나 센서의 한계(예: 카메라는 색을, 촉각은 모양을 측정하지 못함)로 인해 모든 표현이 완전히 일치하지 않을 수 있다는 한계가 존재한다. 또한, 표현 일치가 항상 "정답"을 반영하는 것은 아니며, 모델의 목적과 학습 데이터에 따라 달라질 수 있다는 점도 언급된다.

실용적 활용

이 연구는 다중 모달리티 AI 시스템(예: `GPT4-V`, `LLaVA`)의 설계와 평가에 활용될 수 있으며, 표현 일치도를 측정하는 `mutual nearest-neighbor metric`은 모델 간 비교 및 일반화 능력 평가에 유용하다. 또한, `foundation models`의 표현 일치 현상은 AI의 학습 과정을 이해하고, 더 나은 모델 설계를 위한 이론적 근거를 제공한다.