Continual Learning Mechanisms Compose for Long-Horizon Memorization

Language models may need to internalize information that arrives over time and retain it through many subsequent updates. To study this challenge, we introduce long-horizon memorization, a setting in which a model learns 100 query-answer tasks through continual supervised fine-tuning without retaining earlier training examples or receiving task identifiers at inference. Sequential updates cause catastrophic forgetting, and no single continual learning mechanism we evaluate maintains strong retention at this horizon. We hypothesize that mechanisms addressing complementary sources of forgetting will be more effective when composed. We organize these compositions along two design dimensions. Data, function, and weight anchors specify what prior information each update should preserve, while low-rank allocation rules determine where successive updates are retained. To test this hypothesis systematically, we construct three distinct 100-task memorization datasets. We introduce task-level successive halving to search the combinatorial design space and use a factorial experiment to measure individual and interaction effects. Our best method combines all three anchors with merged LoRA, ranks among the top 3 methods in all datasets, and raises average final retention from 1.2% under naive sequential fine-tuning to 34.9%, a 28-fold improvement. The data anchor and merged LoRA provide the largest average gains and interact super-additively on all three datasets. Together, these results show that composing complementary mechanisms substantially improves long-horizon memorization beyond what any individual mechanism achieves.

한 줄 요약

100개의 순차적 작업 학습에서 34.9%의 최종 기억률을 달성한 복합 메커니즘 조합 연구.

핵심 기여도

**100개 작업의 순차 학습 환경에서 34.9%의 최종 기억률 달성** (기존 1.2% 대비 28배 향상).
**데이터, 함수, 가중치 앵커**와 **merged LoRA**의 조합을 통해 상호작용 효과를 분석.
**3개의 100-task 메모리 데이터셋** (Symbol-QA, LLM 생성 허구적 사실, 자연 질문) 제시.
**task-level successive halving**과 **factorial experiment**를 통해 메커니즘 조합 평가 프레임워크 제안.

핵심 아이디어

기존 연구는 단일 메커니즘으로 지속 학습을 시도했으나, 이 연구는 **다양한 메커니즘이 서로 보완적으로 작용할 때 기억력이 향상될 수 있다는 가설**을 제시한다. 특히, **데이터 앵커**(generative replay), **함수 앵커**(self-distillation), **가중치 앵커**(importance-based regularization)가 각각 다른 유형의 잊음을 방지하는 역할을 하며, **low-rank allocation rules**(shared LoRA, merged LoRA)는 업데이트가 모델 내 어디에 저장될지를 결정한다. 이 연구는 이러한 메커니즘의 조합이 단일 메커니즘보다 훨씬 효과적임을 입증한다.

기술적 접근법

**메커니즘 조합**: 데이터, 함수, 가중치 앵커와 merged LoRA를 결합.
**데이터셋**: Symbol-QA, LLM 생성 허구적 사실, 자연 질문 기반 QA 데이터셋.
**실험 설계**: task-level successive halving으로 초기 후보군 탐색, 이후 factorial experiment로 개별 및 상호작용 효과 분석.
**하이퍼파라미터**: TSH에서 선택된 파라미터를 사용, 100-task 순서는 검색 순서와 다름.
**평가 방법**: 21개 메서드, 3개 시드로 평가.

주요 결과

**기본 순차 미세조정**(naive sequential fine-tuning)에서 1.2%의 최종 기억률 달성.
**가장 우수한 메서드**(모든 앵커 + merged LoRA)는 34.9%의 최종 기억률 달성.
**데이터 앵커 + merged LoRA** 조합이 모든 데이터셋에서 **상호작용 효과**(super-additive)를 보임.
**50-task 단계에서 standalone 메커니즘 실패**, 100-task 단계에서는 merged LoRA + 데이터 앵커 조합만 성공.

의의 및 한계

이 연구는 **지속 학습에서 단일 메커니즘의 한계를 극복하기 위해 복합 메커니즘 조합이 필요하다는 점을 실증적으로 입증**했다. 특히, **merged LoRA와 데이터 앵커의 상호작용이 기억력 향상에 가장 큰 기여도**를 보인다는 점이 주목할 만하다. 그러나, **모든 메커니즘의 조합이 항상 최적이라는 보장은 없으며**, 특정 작업에 따라 다른 조합이 더 효과적일 수 있다는 한계가 있다. 또한, **모델 크기나 하드웨어 자원에 따라 merged LoRA의 적용 가능성에 제약**이 있을 수 있다.

실용적 활용

이 연구는 **대규모 언어 모델이 시간에 따라 새로운 정보를 학습하면서 이전 정보를 잊지 않는 시스템 구축**에 활용될 수 있다. 예를 들어, **고객 지원 챗봇**이나 **지속적인 지식 업데이트가 필요한 정보 시스템**에서 유용하게 적용될 수 있다. 특히, **데이터 재생산이 어려운 환경**에서 merged LoRA와 데이터 앵커 조합은 기억력 향상에 효과적일 수 있다.