Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

Fine-tuning LLMs to inject new knowledge faces a critical challenge: LLMs can quickly memorize new facts, yet fail to use them for downstream reasoning tasks. We formalize this failure as the \textbf{Knowing--Using Gap}, characterized by an accuracy gap and a temporal lag between memorization and generalization. To understand this phenomenon, we fine-tune LLMs with unseen knowledge and monitor the spatial permeation dynamics of the knowledge internally using a novel intervention technique called self-patching. Self-patching identifies activation locations where relocating representations substantially improves failed generalization cases. These results are consistent with a knowledge-circuit misalignment hypothesis: memorized representations can exist internally but may not be routed to computation-effective layers. To demonstrate the practicality of this diagnostic finding, we design a simple heuristic strategy which recovers 58--75\% of the oracle headroom in generalization failure. Experiments are done cross-domain for the robustness of this finding.

한 줄 요약

LLM 미세조정 시 암기된 지식이 추론에 활용되지 않는 "Knowing–Using Gap"을 메커니즘적으로 분석하고, 이를 58–75% 개선하는 간단한 휴리스틱 전략을 제시한다.

핵심 기여도

"Knowing–Using Gap"이라는 개념을 정의: 암기 정확도와 추론 정확도 간의 격차(ΔA)와 시간 지연(ΔT)로 정량화.
Self-patching이라는 새로운 개입 기법을 도입: 암기된 지식이 LLM 내부에서 어떤 계층에 존재하는지 공간적 퍼메이션을 추적.
지식-회로 미스ALIGNMENT 가설 제시: 암기된 정보는 저장 계층에 존재하지만 추론에 필요한 중간 계층으로 전달되지 않음.
간단한 휴리스틱 전략으로 58–75%의 오라클 헤드룸을 회복.

핵심 아이디어

LLM은 새로운 지식을 빠르게 암기하지만, 이를 추론에 활용하지 못하는 문제, 즉 "Knowing–Using Gap"이 존재한다. 이는 단순히 모델의 용량 문제라기보다는 지식이 저장 계층에 머무르고, 추론에 필요한 중간 계층으로 전달되지 않는 회로 미스ALIGNMENT 문제로 설명된다. 연구팀은 Self-patching이라는 개입 기법을 통해 암기된 지식이 어떤 계층에 존재하는지, 그리고 이를 다른 계층으로 이동했을 때 추론 성능이 어떻게 변화하는지를 분석했다. 이는 LLM 내부의 지식 퍼메이션을 시간에 따라 추적하는 데 기여하며, 지식이 추론 회로에 도달하지 못하는 메커니즘적 원인을 밝혔다.

기술적 접근법

**Self-patching**: 앵커 위치의 히든 레이어 표현을 소스 실행에서 대상 실행의 대상 레이어로 복사하여, 정답 확률 변화를 측정.
**데이터셋**: STaRK-Prime(의학), STaRK-MAG(학술)에서 생성한 암기 및 추론 QA 쌍 데이터.
**추론 태스크**: Chaining task(다중 힌트), Intersection task(두 개체 속성 필터링)로 지식 전파 능력을 평가.
**모델 규모 실험**: 모델 크기 증가가 ΔT 감소를 유도하지 않음. 지식 개수 증가가 ΔA를 확대.

주요 결과

**STaRK-Prime 및 STaRK-MAG 데이터셋**에서, 암기 정확도는 높지만 추론 정확도는 낮아 Knowing–Using Gap 발생.
Self-patching을 통해 실패한 추론 사례에서 약 58–75%의 오라클 헤드룸을 회복.
지식-회로 미스ALIGNMENT 가설은 여러 도메인과 모델 규모에서 반복 가능.

의의 및 한계

이 연구는 LLM 미세조정 시 암기된 지식이 추론에 활용되지 않는 문제를 메커니즘적으로 설명하며, 회로 미스ALIGNMENT라는 새로운 관점을 제시한다. Self-patching은 LLM 내부 지식 퍼메이션을 추적하는 강력한 도구로, 향후 지식 업데이트 전략 개발에 기여할 수 있다. 그러나 실험은 특정 도메인과 모델에서 이루어졌으며, 일반화 가능성에 대한 추가 연구가 필요하다. 또한, 휴리스틱 전략은 오라클 정보를 사용하지 않는 제한된 범위에서만 효과적임을 명시해야 한다.

실용적 활용

이 연구는 지식 업데이트가 필요한 의료, 학술, 법률 등 다양한 도메인에서 LLM의 추론 능력을 향상시키는 데 활용될 수 있다. 특히, Self-patching 기법은 지식이 모델 내부에서 어디에 저장되어 있는지 분석하는 데 유용하며, 지식-회로 미스ALIGNMENT를 해결하는 교육적·산업적 훈련 전략 개발에 기초가 될 수 있다.