Confidence and Calibration of Activation Oracles for Reliable Interpretation of Language Model Internals

Activation oracles aim to make the activations of other models legible to humans and yield promising results compared to white-box interpretability techniques. However, uncertainty quantification (UQ) for the natural-language outputs of such activation oracles is so far understudied. Here, we investigate 6 different methods for estimating the confidence of activation oracles and evaluate how well-calibrated their confidence scores are. Our experiments on 6,000 samples per oracle (varying verbalizer and context prompts) reveal that bootstrap mode frequency is the best-calibrated method among those tested (ECE 5.7% vs. 25.5% for the answer-word log-probability on Qwen3-8B; 10.3% vs. 13.1% on Qwen3.6-27B), and that the log-prob baseline can serve as a fast triage signal at a fraction of the cost. Code and the patched trainer are available at https://github.com/federicotorrielli/probabilistic_activation_oracles.

📋 한 줄 요약

**[활성화 오라클 / 불확실성 정량화]** Bootstrap mode frequency가 6개 UQ 방법 중 가장 well-calibrated — Qwen3-8B ECE 5.7% (answer-word log-prob 25.5%), Qwen3.6-27B 10.3% vs 13.1%; log-prob baseline은 fast triage signal로 활용.

🎯 핵심 기여도

Activation oracle이 다른 모델의 activation을 사람에게 legible하게 만들고 white-box interpretability 대비 promising result 보이지만, natural-language 출력의 uncertainty quantification(UQ)이 so far understudied 함을 지적.
Activation oracle confidence 추정을 위한 6 가지 method 조사, confidence score의 calibration 정도 평가.
Oracle당 6,000 sample 실험 (verbalizer·context prompt 변화) — bootstrap mode frequency가 tested method 중 best-calibrated 임을 발견.
정량 비교 — Qwen3-8B에서 ECE 5.7% (answer-word log-probability 25.5% 대비), Qwen3.6-27B에서 10.3% (13.1% 대비). Log-prob baseline은 fast triage signal로 적은 비용에 활용 가능.

💡 핵심 아이디어

Activation oracle의 자연어 출력 신뢰도는 bootstrap mode frequency로 가장 well-calibrated하게 정량화 가능하며, 비용 효율적 triage가 필요한 경우 answer-word log-probability를 fast signal로 활용하는 2-단계 전략이 실용적이다.

🔬 기술적 접근법

**방법론**: 6 confidence estimation method 비교 — activation oracle UQ 체계 평가.
**핵심 기법**: (1) Oracle당 6,000 sample 실험 (verbalizer·context prompt 변화), (2) Bootstrap mode frequency 등 6 방법 비교, (3) Expected Calibration Error(ECE)로 calibration 정량 평가, (4) 두 모델 — Qwen3-8B·Qwen3.6-27B — 에서 cross-validation, (5) Log-prob baseline의 비용-효과 trade-off 평가.

📊 주요 결과

Bootstrap mode frequency가 6 method 중 best-calibrated.
Qwen3-8B: ECE 5.7% vs answer-word log-prob 25.5%.
Qwen3.6-27B: ECE 10.3% vs 13.1%.
Log-prob baseline이 fraction of cost로 fast triage signal로 활용 가능.
Code + patched trainer 공개: github.com/federicotorrielli/probabilistic_activation_oracles.

💭 의의 및 한계

**의의**: Interpretability 도구의 신뢰성 정량화라는 understudied 영역 개척, 6 method 체계 비교로 실용 지침 제공, fast triage + accurate 확인의 2단계 전략 제안, 6,000 sample/oracle 대규모 실험. **한계**: Qwen3 시리즈 중심으로 다른 모델 family 일반화 추가 검증, 6 UQ 방법 외 더 많은 방법 비교 여지, bootstrap의 계산 비용 부담.

🚀 실용적 활용

LM activation oracle의 신뢰도 평가.
Interpretability 도구의 production 배포.
모델 internals 분석의 신뢰성 향상.