Reading Calibrated Uncertainty from Language Model Trajectories

The maximum softmax probability (MSP) represents a default approach when evaluating uncertainty quantification for language model generation with structured output. Although cheap, it is often miscalibrated. Methods that probe the model's internal activations feed raw hidden states into opaque classifiers, reading activations as static snapshots and leaving implicit the layer-wise trajectory by which a representation is formed. Yet, similar endpoints can arise from very different paths, and how evidence accumulates, reinforces, or reverses across depth might reveal uncertainty that final probabilities obscure. We extract eleven scale-invariant geometric features, tracing the cumulative path of per-layer MLP updates, and feed them to a sparse linear probe. The probe outperforms MSP under selective abstention, with gains scaling with baseline miscalibration up to 21 AURC points. Because every feature has a closed-form geometric meaning, the probe's coefficients trace how and where along depth errors take shape -- which layers commit prematurely, which contradict the running state, where trajectories drift away from their endpoint.

📋 한 줄 요약

**[LM Uncertainty / Layer Trajectory]** Per-layer MLP update의 cumulative 경로에서 11개 scale-invariant geometric feature를 추출해 sparse linear probe — MSP 대비 selective abstention에서 최대 21 AURC point 개선·각 layer의 commit·contradiction·drift 해석 가능.

🎯 핵심 기여도

Maximum softmax probability(MSP)가 구조적 출력에 대한 LM uncertainty 기본 접근이지만 저렴한 만큼 자주 miscalibrated 됨을 지적.
모델 내부 activation을 probing하는 기존 방법은 raw hidden state를 불투명 분류기에 넣어 activation을 정적 snapshot으로 읽고 representation 형성의 layer-wise trajectory를 implicit로 두는 한계 지적.
유사 endpoint가 매우 다른 경로에서 나올 수 있다는 통찰 — 깊이에 따라 evidence가 누적·강화·반전되는 양상이 final probability가 가리는 uncertainty를 드러낼 수 있음.
Per-layer MLP update의 cumulative path를 추적하는 11개 scale-invariant geometric feature를 추출, sparse linear probe에 입력 — selective abstention에서 MSP outperform·baseline miscalibration이 클수록 최대 21 AURC point 개선. 각 feature가 closed-form geometric 의미를 가져 probe coefficient가 깊이 따라 오류가 어디서·어떻게 형성되는지(prematurely commit·running state contradiction·endpoint drift) 추적 가능.

💡 핵심 아이디어

LM uncertainty는 final activation snapshot이 아니라 layer-wise update trajectory에 인코딩되며, scale-invariant 기하 특성으로 trajectory를 압축하면 MSP를 능가하면서 동시에 어느 layer에서 오류가 형성되는지 해석 가능한 신호를 얻는다.

🔬 기술적 접근법

**방법론**: 11개 scale-invariant geometric feature + sparse linear probe.
**핵심 기법**: (1) Per-layer MLP update의 cumulative path 추적, (2) 11개 scale-invariant geometric feature 추출, (3) Sparse linear probe로 uncertainty 예측, (4) 각 feature의 closed-form geometric 의미 보존, (5) Probe coefficient를 분석해 layer별 commit·contradiction·drift 진단.

📊 주요 결과

Selective abstention에서 MSP outperform.
Baseline miscalibration이 클수록 향상폭 증가 — 최대 21 AURC point.
해석 가능 — 어느 layer에서 prematurely commit·running state contradict·endpoint drift 하는지 추적.

💭 의의 및 한계

**의의**: Uncertainty quantification에 layer trajectory라는 새 정보 차원 도입, 해석 가능성과 성능을 동시 달성, miscalibrated 모델에서 가장 큰 효과로 실용 가치. **한계**: 11 geometric feature 선택의 도메인 의존성, MLP update 외 attention 경로 미커버, 매우 큰 모델에서의 효율성 추가 검증.

🚀 실용적 활용

LLM uncertainty 기반 selective abstention.
모델 내부 추론 경로 진단·디버깅.
안전 임계 LLM 응답의 calibrated 거절.