Forecasting Downstream Performance of LLMs With Proxy Metrics

Progress in language model development is often driven by comparative decisions: which architecture to adopt, which pretraining corpus to use, or which training recipe to apply. Making these decisions well requires reliable performance forecasts, yet the two commonly used signals are fundamentally limited. Cross-entropy loss is poorly aligned with downstream capabilities, and direct downstream evaluation is expensive, sparse, and often uninformative at early training stages. Instead, we propose to construct proxy metrics by aggregating token-level statistics, such as entropy, top-k accuracy, and expert token rank, from a candidate model's next token distribution over expert-written solutions. Across three settings, our proxies consistently outperform loss- and compute-based baselines: 1) For cross-family model selection, they rank a heterogeneous population of reasoning models with mean Spearman Rho = 0.81 (vs. Rho = 0.36 for cross-entropy loss); 2) For pretraining data selection, they reliably rank 25 candidate corpora for a target model at roughly $10{,}000\times$ less compute than direct evaluation, pushing the Pareto frontier beyond existing methods; and 3) for training-time forecasting, they extrapolate downstream accuracy across an $18\times$ compute horizon with roughly half the error of existing alternatives. Together, these results suggest that expert trajectories are a broadly useful source of signal for assessing model capabilities, enabling reliable performance forecasting throughout the model development life cycle.

📋 한 줄 요약

**[LLM 성능 예측 / Proxy Metrics]** Expert 답안의 token-level statistic(entropy·top-k accuracy·expert token rank) 집계 proxy가 cross-family 모델 선택(Spearman ρ=0.81 vs 0.36)·pretraining data 선택(10,000× 적은 compute)·training 성능 외삽(오차 절반)에서 일관 우수.

🎯 핵심 기여도

LM 개발 진전이 종종 비교 결정에 의해 견인 — 어떤 아키텍처 채택, 어떤 pretraining corpus 사용, 어떤 학습 레시피 적용 — 이러한 결정 잘 내리려면 신뢰성 있는 성능 예측이 필요하지만, 두 가지 흔한 signal이 근본적으로 제한적임을 지적.
Cross-entropy loss가 downstream 능력과 poorly 정렬, direct downstream 평가는 비싸고 sparse·early training 단계에서 종종 비정보적.
대안 — candidate model의 next-token distribution(expert가 작성한 solution에 대해)에서 token-level statistic(entropy·top-k accuracy·expert token rank) 집계로 proxy metric 구성.
3 설정에서 proxy가 loss·compute baseline을 일관 outperform — (1) cross-family 모델 선택에서 heterogeneous reasoning model 모집단을 평균 Spearman ρ=0.81(loss는 ρ=0.36)로 랭킹, (2) pretraining data 선택에서 25 candidate corpus를 target model에 대해 roughly 10,000× 적은 compute로 reliably 랭킹·기존 방법 Pareto frontier push, (3) training-time forecasting에서 18× compute horizon 너머 downstream 정확도를 기존 대안 오차의 절반 정도로 외삽.

💡 핵심 아이디어

LM의 downstream 성능 예측에는 expert가 작성한 solution에 대한 candidate model의 token-level distribution statistic이 cross-entropy loss·direct downstream 평가의 한계를 모두 우회하는 강력하고 보편적인 신호이며, 모델 선택·데이터 선택·학습 외삽 3 영역에서 일관 효과적이다.

🔬 기술적 접근법

**방법론**: Expert-trajectory token-level statistic 기반 proxy metric.
**핵심 기법**: (1) Expert가 작성한 solution을 reference로 사용, (2) Candidate model의 next-token distribution 추출, (3) Entropy·top-k accuracy·expert token rank 등 token-level statistic 집계, (4) Proxy metric으로 모델 선택·데이터 선택·training 외삽에 활용, (5) Cross-entropy·compute baseline과 비교.

📊 주요 결과

Cross-family 모델 선택: heterogeneous reasoning model 모집단 평균 Spearman ρ=0.81 (loss는 ρ=0.36).
Pretraining data 선택: 25 candidate corpus를 약 10,000× 적은 compute로 신뢰성 랭킹, 기존 Pareto frontier push.
Training-time forecasting: 18× compute horizon 너머 downstream 정확도를 기존 대안 오차의 약 절반으로 외삽.
3 설정 모두에서 loss·compute baseline 일관 outperform.

💭 의의 및 한계

**의의**: LM 개발 라이프사이클 전반에 사용 가능한 broadly 유용한 proxy 신호 발견, cross-entropy loss의 alignment 한계 우회, downstream 평가의 cost·sparsity 한계 우회로 실용 가치 큼. **한계**: Expert solution 의존(데이터 확보 비용), reasoning task 중심 — 다른 downstream task로 일반화 추가 검증, token-level statistic 집계의 최적 조합은 도메인 의존.

🚀 실용적 활용

LM 개발의 모델·데이터·레시피 선택 가이드.
저비용 pretraining corpus 평가.
학습 도중 downstream 성능 forecasting.