How LoRA Remembers? A Parametric Memory Law for LLM Finetuning

Large Language Models (LLMs) must continuously learn and update knowledge to remain effective in dynamic real-world environments. While Low-Rank Adaptation (LoRA) is widely used for such memory updates, existing studies mainly rely on qualitative downstream evaluations, leaving the quantitative capacity limits and underlying dynamics of exact parametric memory largely unexplored. To bridge this gap, we employ LoRA as a controlled memory capacity probe within the latent space to systematically quantify exact parametric memory. We introduce the Parametric Memory Law, a robust power law linking loss reduction Delta L to effective parameters and sequence length. At the token level, fine-grained analysis reveals a deterministic phase transition, demonstrating that a prediction probability of p > 0.5 constitutes a sufficient condition for verbatim recall under greedy decoding. Driven by these insights, we introduce MemFT, a threshold-guided optimization strategy that dynamically redistributes the training budget toward sub-threshold tokens. Empirical evaluations demonstrate that MemFT can enhance memory fidelity and efficiency. Code will be released at https://github.com/zjunlp/ParametricMemoryLaw.

📋 한 줄 요약

**[LoRA / Parametric Memory]** Parametric Memory Law — LoRA의 loss 감소(ΔL)가 effective parameter·sequence length에 멱법칙 따름, 토큰별 p>0.5가 verbatim recall 충분조건; MemFT가 sub-threshold 토큰에 budget 재분배.

🎯 핵심 기여도

LLM이 dynamic 실세계에 효과 유지하려면 지속적 지식 학습·업데이트가 필요, LoRA가 그런 memory update에 광범위 사용되지만 기존 연구가 주로 정성적 downstream 평가에 의존해 정확한 parametric memory의 정량적 capacity 한계·dynamics가 unexplored 상태임을 진단.
LoRA를 latent space의 controlled memory capacity probe로 사용해 정확한 parametric memory를 systematically 정량화.
Parametric Memory Law 도입 — loss 감소 ΔL을 effective parameter·sequence length에 연결하는 robust 멱법칙(power law).
토큰 수준 fine-grained 분석에서 deterministic phase transition 발견 — 예측 확률 p>0.5가 greedy decoding 하 verbatim recall의 충분조건; 이를 기반으로 MemFT(threshold-guided 최적화 전략) 제안, sub-threshold 토큰으로 학습 budget을 동적 재분배해 memory fidelity·효율 향상.

💡 핵심 아이디어

LoRA의 parametric memory는 effective parameter·sequence length에 대한 멱법칙으로 정량화되며, 토큰 단위의 phase transition(p=0.5) 발견이 학습 budget을 sub-threshold 토큰에 재분배하는 명시적 최적화 전략을 가능하게 한다.

🔬 기술적 접근법

**방법론**: Parametric Memory Law + MemFT.
**핵심 기법**: (1) LoRA를 controlled memory capacity probe로 활용, (2) ΔL을 effective parameter·sequence length로 잇는 멱법칙 도출, (3) 토큰 단위 분석으로 p>0.5 phase transition·verbatim recall 충분조건 식별, (4) MemFT — threshold-guided 최적화로 sub-threshold 토큰에 budget 동적 재분배, (5) 다양 LoRA 설정에서 경험 검증.

📊 주요 결과

효과 파라미터·sequence length 변화에 따른 ΔL의 멱법칙 robust 검증.
예측 확률 p>0.5가 greedy decoding verbatim recall의 deterministic 충분조건.
MemFT가 memory fidelity·효율 모두 향상.
Code 공개: github.com/zjunlp/ParametricMemoryLaw.

💭 의의 및 한계

**의의**: LoRA 기반 지식 업데이트의 capacity·dynamics의 첫 정량 법칙 제시, 토큰 단위 phase transition 발견의 실용 가치(budget 재분배 직접 가이드), 멱법칙·threshold optimization의 결합이 ML scaling 연구와 정합. **한계**: Greedy decoding 가정·다른 sampling에서의 동작 추가 검증, LoRA 외 다른 PEFT 방법으로 일반화 후속, 매우 long sequence·구조화 지식의 멱법칙 검증 범위.

🚀 실용적 활용

LLM 지식 update·continual learning 최적화.
LoRA 학습의 budget·rank 선택 가이드.
Verbatim memorization 평가 및 안전성 분석.