Copy-Paste Language Models

Transformers are intuitively considered to be efficient at copying from their inputs. We actually show that the ability of LLMs to copy in context can be improved through explicit modeling. We propose Copy-Paste Language Models (CPLMs), which add a lightweight Copy-Paste head to the conventional language modeling (LM) head. CPLMs improve training efficiency, downstream performance, and offer new operating points in long-context and retrieval setups. We validate our approach by pretraining models from 135M to 1.7B parameters, showing improvements across all scales and backbones with negligible training and inference overheads. We explain the success of CPLMs by showing that they partially mitigate the LM head gradient bottleneck through an alternative gradient path.

한 줄 요약

CPLM은 별도의 Copy-Paste 헤드를 추가하여 언어 모델의 복사 능력과 훈련 효율성을 동시에 향상시킨다.

핵심 기여도

CPLM은 기존 LM 헤드에 별도의 Copy-Paste 헤드를 추가하여 복사 기능을 강화함.
1.7B 파라미터 모델에서 훈련 및 추론 오버헤드는 각각 0.5%, 3% 미만.
135M~1.7B 파라미터 규모에서 모든 백본에서 퍼플렉시티가 0.5~1.5포인트 개선됨.
NanoGPT 스피드런 기록을 11.3% 개선하며, 2024년 이후 최대 아키텍처 중심 성능 향상 기록.

핵심 아이디어

기존 언어 모델은 복사 작업을 수행할 때 LM 헤드의 저랭크(linear projection) 구조로 인해 학습이 어려운 문제가 있다. 이는 복사된 토큰이 LM 헤드를 통해 디코딩되어야 하기 때문에 발생하며, 이는 학습 신호가 압축되어 모델 표현력과 훈련 효율성을 저하시킨다. CPLM은 이 문제를 해결하기 위해 별도의 Copy-Paste 헤드를 추가하여, 복사 토큰을 직접적으로 예측할 수 있도록 한다. 이 헤드는 LM 헤드와 병렬로 작동하며, 별도의 경로를 통해 학습 신호를 전달함으로써 LM 헤드의 그래디언트 병목 현상을 완화한다. 이는 복사 작업을 더 효율적으로 학습하게 만들고, 전체적인 모델 성능을 향상시킨다.

기술적 접근법

**CPLM 구조**: 기존 LM 헤드에 별도의 Copy-Paste 헤드를 추가.
**Copy-Paste 헤드**: 과거 컨텍스트 내 특정 위치를 가리키는 방식으로 다음 토큰을 예측.
**<copy> 토큰**: LM 헤드가 복사 여부를 결정.
**Sink 메커니즘**: 복사할 토큰이 없을 경우 CP 헤드가 LM 헤드로 되돌아감.
**추가 파라미터**: 2개의 가중치 행렬만 추가. 1.7B 모델 기준, 파라미터 오버헤드는 0.5%, 연산 오버헤드는 3% 미만.
**훈련 데이터**: 최대 200B 토큰, 다양한 백본(전체 어텐션, 슬라이딩-윈도우, 하이브리드, Gated DeltaNet)에서 사전 훈련.

주요 결과

**퍼플렉시티 개선**: 1.7B 모델 기준, FinePDFs 문서에서 0.5~1.5포인트 향상.
**훈련 속도**: CPLM은 기존 모델 대비 최대 2× 빠르게 수렴.
**슬라이딩-윈도우 모델 성능**: CPLM은 12× 적은 메모리로 전체 어텐션 모델과 동일한 성능 달성.
**NanoGPT 스피드런 기록**: 11.3% 개선, 2024년 이후 최대 아키텍처 중심 성능 향상 기록.
**다운스트림 성능**: 수학, 코드, 지시사항 따르기 작업에서 1~5% 정확도 향상.

의의 및 한계

CPLM은 복사 작업을 효율적으로 학습함으로써 언어 모델의 표현력과 훈련 효율성을 동시에 향상시키는 새로운 접근법을 제시한다. 특히, 복사 기능이 필요한 장문 컨텍스트 처리 및 검색 기반 생성(RAG) 시스템에서 유용하다. 또한, 별도의 헤드를 추가하면서도 파라미터와 연산 오버헤드가 매우 적어, 실용적 적용 가능성도 높다. 그러나 현재 실험은 1.7B 파라미터 모델까지만 진행되었으며, 더 큰 규모에서의 효과는 추가 연구가 필요하다. 또한, 복사 기능은 컨텍스트 내 토큰에만 적용되며, 외부 문서나 스팬 단위 복사 기능은 아직 확장되지 않았다.

실용적 활용

CPLM은 장문 컨텍스트 처리, 코드 생성, 문서 검색 기반 생성(RAG) 등 복사 작업이 중요한 분야에서 유용하게 활용될 수 있다. 특히, 메모리 효율적인 슬라이딩-윈도우 모델에서 전체 어텐션 모델과 동등한 성능을 내는 점에서, 대규모 모델의 효율적 배포에도 적합하다.