Train the Model, Not the Reader: Decodability Supervision for Verifiable Activation Explanations

Natural-language autoencoders score explanations of hidden activations by reconstruction: an explanation is deemed faithful if the activation can be regenerated from it. The test is structurally insensitive to individual false claims: if flipping a claim does not change the reconstruction, the claim is never penalized. We show the test is passed in two ways, neither faithful. On a released Qwen-2.5-7B verbalizer, explanations reconstruct well above chance while ~2% of specific claims are reconstruction-dependent, so the score tracks gist, not specific facts. Under exact synthetic ground truth, the standard recipe develops co-adapted private codes (false wording the reconstruction depends on) in 5/5 runs, and fixes that leave the target model unchanged do not help. We contribute two audit protocols, the grounded-vs-true cross and the evaluator swap, and RECAP (Readable Encodings via Co-trained Auxiliary Predictors): linear heads trained alongside the target model to keep designated content decodable. On RECAP-trained sandbox models, fresh verbalizers state the designated content truly and the codes vanish, at a +0.001-nat cost. This replicates on a pretrained Pythia-160M: the content becomes reliably probe-decodable, though a fresh verbalizer conveys it only in part (truth 0.44-0.46 vs a near-zero control). For interpretability, high reconstruction does not certify individual claims. For AI safety, RECAP makes designated internal content independently checkable against probes rather than asserted by prose a model can game: an independent probe scores the verbalizer's true claims above its false ones (AUC 0.96, vs 0.82 without RECAP). Against an adversary that edits an explanation to maximize the reconstruction score while lying (suppressing ~87% of its lie penalty), the RECAP probe still flags the lies (AUC 0.95) while the control probe collapses to chance (0.51).

한 줄 요약

RECAP은 활성화 설명의 신뢰성을 향상시키기 위해 타겟 모델 자체를 학습하는 새로운 접근법을 제시한다.

핵심 기여도

Qwen-2.5-7B 기반 NLA에서 설명 재구성이 0.84이지만, 실제 근거가 있는 클레임은 약 2%에 불과함을 밝힘.
합성 데이터 실험에서 5/5 실행에서 공동 적응된 프라이빗 코드가 발생함을 확인.
RECAP은 타겟 모델과 함께 학습하는 선형 헤드를 통해 지정된 콘텐츠의 해독 가능성을 유지.
Pythia-160M에서 RECAP 적용 시, 독립적 프로브가 진실 클레임을 AUC 0.96으로 구별함.

핵심 아이디어

기존 자연어 오토인코더(NLA)는 설명의 신뢰도를 재구성 정확도로 평가하지만, 이는 개별 클레임의 진위를 보장하지 못한다. 재구성이 잘 되더라도, 특정 클레임이 재구성에 기여하지 않는다면 해당 클레임은 평가에서 제외된다. 이는 구조적 한계이며, 모델이 프라이빗 코드를 생성해 재구성에 의존하게 만드는 경향이 있다. RECAP은 이 문제를 해결하기 위해, 타겟 모델 자체를 학습하는 방식을 제안한다. RECAP은 외부 타겟(예: 슬롯 값)을 예측하는 선형 헤드를 모델에 추가하여, 지정된 콘텐츠가 활성화에서 해독 가능하도록 유지한다. 이는 재구성에 의존하는 기존 접근법과 달리, 모델 내부에 신뢰 가능한 정보를 직접 인코딩하는 방식이다.

기술적 접근법

**RECAP**: 타겟 모델과 함께 학습하는 선형 헤드를 추가.
**헤드 손실**: 외부 타겟 예측을 위한 BCE(이진 교차 엔트로피)와 CE(교차 엔트로피)를 사용.
**모델 학습**: 헤드 손실을 언어 모델링 손실에 추가하여, 모델이 지정된 콘텐츠를 유지하도록 유도.
**프로브 사용**: 헤드가 아닌 독립적으로 학습된 프로브를 통해 해독 가능성 평가.
**데이터셋**: 합성 데이터, Qwen-2.5-7B, Pythia-160M.

주요 결과

Qwen-2.5-7B에서 재구성 정확도는 0.84이지만, 실제 근거가 있는 클레임은 약 2%에 불과.
합성 데이터 실험에서 5/5 실행에서 프라이빗 코드가 발생.
Pythia-160M에서 RECAP 적용 시, 진실 클레임의 프로브 해독 정확도는 0.44–0.46 (대조군 0.0).
RECAP 프로브는 AUC 0.96으로 진실 클레임을 구별, 대조군은 0.82.
적대적 공격 시, RECAP 프로브는 AUC 0.95로 거짓 클레임을 감지, 대조군은 0.51로 무작위 수준.

의의 및 한계

RECAP은 모델 내부 콘텐츠의 신뢰성을 독립적 프로브로 평가할 수 있도록 하여, 기존 재구성 기반 평가의 한계를 극복한다. 이는 AI 해석 가능성과 안전성 모두에 기여하며, 모델이 자체 설명을 조작하는 것을 방지할 수 있다. 그러나 RECAP은 타겟 모델과 함께 학습되어야 하며, 기존 학습된 모델에는 적용할 수 없다. 또한, 해독 가능성은 설명 가능성과 다를 수 있으며, 모델이 지정된 콘텐츠를 실제로 사용하지 않을 가능성도 존재한다.

실용적 활용

RECAP은 AI 모델의 내부 콘텐츠를 독립적으로 검증할 수 있는 기반을 제공하므로, 모델 감시 및 안전성 검증 시스템에 활용 가능하다. 특히, 모델이 자체 설명을 조작하는 경우에도 신뢰할 수 있는 프로브를 통해 진위를 확인할 수 있어, AI 감시 및 규제 분야에서 유용할 수 있다.