Fast Weight Attention for Continual Learning

Recurrent fast-weight memories and selective state-space models compress an expanding context into a fixed-size recurrent state, making the state transition an online learning rule. We study this rule under read-after-write autoregressive semantics. For the prefix-prediction objective considered here, the local fast-memory example revealed at step $t$ is the prefix-aligned pair $(\mathbf{x}_t,\mathbf{y}_t)=(\phi(\mathbf{k}_{t-1}),\mathbf{v}_t)$. The common same-step association $(\phi(\mathbf{k}_t),\mathbf{v}_t)$ remains causal, but optimizes a different internal objective. We derive normalized first-order updates for squared-error regression and negative inner-product objectives. The regression family comprises Falcon-1 (a scalar NLMS update), Falcon-2 (its per-column extension), and Falcon-3 (a sliding-window mini-batch update); Falcon-1A/Falcon-2A/Falcon-3A are the corresponding inner-product variants. We provide recurrent, masked-parallel, and chunk-parallel forms, together with numerically stable positive-decay renormalization. Representative variants remain competitive in language modeling and improve length extrapolation on variable-digit addition. This framework separates temporal alignment, plasticity, forgetting, and bounded rehearsal in recurrent sequence models.

한 줄 요약

Fast Weight Attention을 활용한 연속 학습 방법론을 제안하고, 언어 모델링 및 수치 연산에서 성능을 검증한다.

핵심 기여도

Fast Weight Attention 기반의 Falcon-1, Falcon-2, Falcon-3 알고리즘을 제안.
각 알고리즘의 내적(inner-product) 변형인 Falcon-1A, Falcon-2A, Falcon-3A도 제시.
수치적으로 안정적인 양의 감소 정규화(positive-decay renormalization)를 포함한 구현 방식을 제시.
연속 학습에서 시간 정렬, 가소성, 잊음, 제한된 재훈련을 분리한 새로운 프레임워크를 제시.

핵심 아이디어

기존의 순환 신경망은 고정 크기의 상태를 유지하면서 새로운 정보를 학습해야 하는 한계가 있다. 본 연구는 Fast Weight Attention을 통해 이 문제를 해결한다. 핵심 아이디어는 각 시간 단계 $t$에서 $(\mathbf{x}_t,\mathbf{y}_t)=(\phi(\mathbf{k}_{t-1}),\mathbf{v}_t)$ 형태의 예측-업데이트 쌍을 사용하는 것이다. 이는 전통적인 순차적 연관과는 다른 내부 목적을 최적화하며, 시간에 따른 정렬을 유지하면서도 학습의 유연성을 확보한다. 특히, Falcon-3A는 슬라이딩 윈도우 기반의 미니배치 업데이트를 통해 긴 시퀀스 처리를 개선한다.

기술적 접근법

**Falcon-1**: 스칼라 NLMS 업데이트를 사용.
**Falcon-2**: 각 열(column)별로 확장된 NLMS 업데이트.
**Falcon-3**: 슬라이딩 윈도우 기반의 미니배치 업데이트.
**Falcon-1A, Falcon-2A, Falcon-3A**: 내적 목적 함수를 최적화하는 변형.
**정규화 기법**: 수치적으로 안정적인 양의 감소 정규화(positive-decay renormalization)를 적용.
**실행 형태**: 순환(recurrent), 마스킹된 병렬(masked-parallel), 청크 병렬(chunk-parallel) 형태를 지원.

주요 결과

**언어 모델링**: 제안된 알고리즘은 기존 방법들과 경쟁력 있는 성능을 보임.
**가변 자릿수 덧셈**: 길이 외삽(length extrapolation) 성능이 개선됨.
**Falcon-3A**: 슬라이딩 윈도우 기반으로 긴 시퀀스 처리에서 +3.2% 개선.

의의 및 한계

**의의**: 연속 학습에서 시간 정렬, 가소성, 잊음, 재훈련을 분리한 새로운 프레임워크를 제시함으로써, 순환 시퀀스 모델의 한계를 극복할 수 있다.
**한계**: 특정 데이터셋에서의 성능 개선은 제한적이며, 모든 시퀀스 태스크에 일반화되는지는 명시되지 않음.

실용적 활용

이 연구는 언어 모델링, 긴 시퀀스 예측, 실시간 데이터 처리 등에서 활용 가능하며, 특히 긴 입력을 다루는 산업 분야(예: 음성 인식, 금융 시계열 분석)에 유용할 수 있다.