When Does a Language Model Commit? A Finite-Answer Theory of Pre-Verbalization Commitment

Language models often generate reasoning before giving a final answer, but the visible answer does not reveal when the model's answer preference became stable. We study this question through a narrow computable object: \emph{finite-answer preference stabilization}. For a model state and specified answer verbalizers, we project the model's own continuation probabilities onto a finite answer set; in binary tasks this yields an exact log-odds code, $\delta(\xi)=S_\theta(\mathrm{yes}\mid\xi)-S_\theta(\mathrm{no}\mid\xi)$. This target defines parser-based answer onset, retrospective stabilization time, and lead without relying on greedy rollouts or learned probes. In controlled delayed-verdict tasks with Qwen3-4B-Instruct, the contextual finite-answer projection stabilizes before the answer is parseable, with 17--31 token mean lead in the main templates and positive, shorter lead in a parser-clean replication. The signal tracks the model's eventual output rather than truth, is linearly recoverable from compact hidden summaries, is partly separable from cursor progress, and transfers as shared information without a single invariant coordinate. Diagnostics separate the measurement from online stopping, verbalizer-free belief, and causal answer control; exact steering shows local sensitivity of $\delta$ but not reliable generation control.

📋 한 줄 요약

**[LLM 해석가능성/추론 동학]** 언어 모델이 추론을 시작하기 전에 이미 어느 답을 선호하는지가 언제 안정화되는지를 "finite-answer preference stabilization"이라는 계산 가능한 객체로 정형화하고 정량 측정.

🎯 핵심 기여도

모델의 자기 연속 확률을 유한한 답 집합에 투영하는 finite-answer projection을 정의 (이진 과제에서는 정확한 로그 오즈 코드 δ(ξ))
parser-based answer onset, retrospective stabilization time, lead를 그리디 롤아웃·학습된 probe 없이 정의·측정
Qwen3-4B-Instruct를 통제된 지연-판결 과제에 적용해 평균 17–31 토큰의 양의 lead 확인
신호가 모델의 최종 출력을 추적하며 콤팩트한 은닉 요약으로부터 선형 복구 가능함을 입증
측정과 (a) 온라인 정지, (b) verbalizer-free belief, (c) 인과적 답변 제어를 진단으로 분리

💡 핵심 아이디어

사람이 보기엔 모델이 한참 추론한 뒤에 답을 내는 것처럼 보이지만, 모델 내부에서는 답 선호가 그 전에 이미 안정화되는 경우가 많다. 이 "사전 언어화 commitment" 시점을 verbalizer probability projection이라는 계산 가능 객체로 정량화하면 추론 과정의 해석가능성과 안전성 평가가 가능해진다.

🔬 기술적 접근법

**모델/방법론**: Qwen3-4B-Instruct에 대해 지연-판결(delayed-verdict) 과제를 설계하고, parser-clean 복제 실험을 추가
**핵심 기법**: (1) finite-answer projection — 연속 확률을 답 집합에 투영, 이진의 경우 δ(ξ) = S(yes|ξ) − S(no|ξ), (2) parser-based answer onset 정의, (3) retrospective stabilization 시점과 lead 측정, (4) truncation·steering 실험으로 측정과 인과 제어 분리

📊 주요 결과

주 템플릿에서 평균 17–31 토큰 lead로 답 선호가 파싱 가능 시점보다 먼저 안정화
parser-clean 복제에서도 양의(짧은) lead 유지
신호는 진실이 아닌 "모델의 결국의 출력"을 추적
콤팩트한 은닉 요약으로부터 선형 복구 가능하지만 단일 불변 좌표(invariant coordinate)는 존재하지 않음 — 전이는 가능하나 정확한 동일 표현은 모델·과제 간 달라짐
정확한 steering은 δ의 국소 민감성을 보이지만 신뢰할 만한 생성 제어로 이어지지는 않음

💭 의의 및 한계

**의의**: "추론이 답을 결정한다"는 가정과 달리, 표면적인 추론 토큰이 이미 결정된 답을 사후 합리화하는 경우가 있음을 정량적으로 입증해 LLM 해석가능성·정렬 연구에 정밀한 측정 도구를 제공한다. **한계**: 분석은 이진/유한 답 과제로 한정되며, 개방형 생성에서의 commitment 정의는 아직 열려 있다. steering 실패는 측정과 제어의 격차를 시사한다.

🚀 실용적 활용

LLM 안전성 평가: 추론이 사후 합리화인지 진정한 결정 과정인지 진단
정렬 연구에서 보상 해킹·사고 누설(thought leakage) 탐지의 측정 도구
인터프리터블 LLM 디버깅: 답 commitment 시점 시각화