Information-Theoretic Limits of Reliability and Scaling in Language Models

Large language models (LLMs) are evaluated as though perfect reliability is achievable for any task given sufficient scale. We show this assumption is information-theoretically unjustified. Every generative task has a reliability ceiling that no model can exceed, determined by how much output uncertainty is resolvable from observable context. The gap decomposes into a resolvable component closable with additional context and a subjective component inherent to task ambiguity. Autoregressive generation further degrades this ceiling at a rate governed by the task's dependency kernel, which quantifies inter-token correlations in the output. From these two primitives, we derive a first-principles scaling law where LLM performance is bottlenecked by the scarcer resource: training data or model capacity. This law recovers the Chinchilla scaling law as a special case and provides a structural account of when scaling improves reliability. Beyond scaling, our framework unifies diverse practical phenomena, such as the benefits of retrieval-augmentation and the spectral mechanics of catastrophic forgetting. Our work formalizes the resource-complexity tradeoffs that govern model performance across domains, offering a unified theory of performance limits in generative language models.

한 줄 요약

LLM의 성능 한계를 정보 이론적 관점에서 정량화하고, Chinchilla 스케일링 법칙을 이론적으로 설명한다.

핵심 기여도

생성 작업의 최대 신뢰도 상한선(conditional entropy $H(Y|X)$)을 정의하고, 이는 작업의 모호성에 따라 달라진다.
자동 회귀 생성이 상한선을 악화시키는 속도는 작업의 dependency kernel에 의해 결정된다.
스케일링 법칙을 $ \mathcal{L}(N, D) = H(Y|X) + \max\left( \frac{c}{N^{\bar{\mu}}}, \frac{c}{D^{\nu_{\mathcal{T}}}} \right) $ 형태로 유도하며, Chinchilla 법칙을 특수한 경우로 포함한다.
RAG, few-shot learning, catastrophic forgetting 등을 이론적 틀 내에서 통합적으로 설명한다.

핵심 아이디어

기존 연구는 LLM의 성능이 충분한 규모로 확장되면 완벽해질 수 있다고 가정하지만, 본 연구는 이 가정이 정보 이론적으로 정당화되지 않음을 보인다. 모든 생성 작업에는 $H(Y|X)$로 정의되는 최대 신뢰도 상한선이 존재하며, 이는 입력에서 유추할 수 없는 출력의 불확실성에 의해 결정된다. 예를 들어, 코드 생성과 수학 증명은 $H(Y|X)$가 낮아 높은 신뢰도를 달성할 수 있지만, 창의적 글쓰기나 전문가 수준 추론은 $H(Y|X)$가 높아 성능 한계가 더 명확하다.

또한, 자동 회귀 생성 과정에서 토큰 간 상관관계(dependency kernel)가 오류 누적 속도를 결정하며, 이는 작업의 복잡도에 따라 달라진다. 이 두 가지 원칙(신뢰도 상한선, dependency kernel)을 기반으로, 스케일링 법칙을 유도하여 모델 크기 $N$과 훈련 데이터 $D$가 성능 향상에 미치는 영향을 정량적으로 설명한다.

기술적 접근법

**Reliability ceiling**: $H(Y|X)$로 정의, 작업의 모호성에 따라 달라짐.
**Dependency kernel**: 토큰 간 상관관계를 측정, 자동 회귀 생성의 오류 누적 속도 결정.
**Scaling law**: $ \mathcal{L}(N, D) = H(Y|X) + \max\left( \frac{c}{N^{\bar{\mu}}}, \frac{c}{D^{\nu_{\mathcal{T}}}} \right) $, 여기서 $\bar{\mu}$와 $\nu_{\mathcal{T}}$는 작업 혼합의 스펙트럼 특성에 의해 결정됨.
**Chinchilla scaling law**: 위 법칙의 특수한 경우로, $N$과 $D$가 균형 상태일 때 나타남.
**Retrieval-augmented generation (RAG)**, **few-shot learning**, **catastrophic forgetting** 등은 이 이론적 틀 내에서 설명 가능.

주요 결과

$H(Y|X)$는 작업의 신뢰도 상한선을 결정하며, 예를 들어 코드 생성은 $H(Y|X)$가 낮아 높은 신뢰도를 달성.
자동 회귀 생성은 dependency kernel에 의해 오류 누적 속도가 결정, 창의적 작업에서는 오류 누적이 더 빠름.
Chinchilla 스케일링 법칙은 $N$과 $D$가 균형 상태일 때 특수한 경우로 나타남.
RAG는 추가 컨텍스트를 통해 $H(Y|X)$를 줄이고, 오류 누적 속도를 감소시킴.
$ \mathcal{L}(N, D) $는 모델 크기와 훈련 데이터 중 한 가지 자원이 희소할 때 성능 향상이 제한됨.

의의 및 한계

본 연구는 LLM의 성능 한계를 정보 이론적 관점에서 정량화함으로써, 모델 확장의 효과와 한계를 명확히 설명한다. 특히, 창의적 작업과 수학적 작업 간 성능 차이를 $H(Y|X)$와 dependency kernel의 차이로 설명하며, RAG나 few-shot learning의 효과를 이론적으로 정당화한다. 이는 AI 연구와 개발에서 성능 평가 방식을 재정의할 수 있는 기초가 된다.

한계로는, 스케일링 법칙이 정상적인 학습 상황에서만 적용되며, 비정상적 학습이나 압축, in-context learning 등 다른 스케일링 현상은 다루지 않았다는 점이 있다. 또한, dependency kernel이 다양한 데이터 분포에 어떻게 안정적으로 적용되는지에 대한 이론적 분석이 필요하다.

실용적 활용

본 연구는 LLM의 성능 한계를 이해하고, 모델 확장 전략을 최적화하는 데 활용 가능하다. 예를 들어, $H(Y|X)$가 높은 작업에서는 RAG나 few-shot learning을 통해 성능을 향상시킬 수 있으며, 자원 투자 시 $N$과 $D$를 균형 있게 확장해야 효과적이다. 이는 코드 생성, 수학 문제 풀이, 법률 문서 작성 등 다양한 산업 분야에서 모델 개발 및 평가 전략 수립에 기여할 수 있다.