DeepLoop: Depth Scaling for Looped Transformers

Looped Transformers scale sequential computation by applying a compact stack of physical blocks for multiple rounds, increasing unrolled depth without increasing stored parameters. This reuse changes the residual-scaling problem: in an untied Transformer, each residual branch receives and applies its own parameter update, whereas in a looped Transformer one shared update aggregates gradients from repeated visits and is read back by those same visits in the next linearized forward pass. We formalize this tied-depth effect through a first-order perturbation bound controlled by a visit-alignment coefficient κ_R. The bound recovers the DeepNorm exponent when visits decorrelate, but in the conservative aligned regime it requires the exponent to increase from 1/4 to 1/2 as loop count grows at fixed physical depth. The resulting method, DeepLoop, keeps the Post-LN DeepNorm architecture and sets α=(2N)^{1/2} and β=(8N)^{-1/2} for unrolled depth N. On GPT-style looped language models at GPT-2 small and GPT-2 medium scale, DeepLoop is neutral when no physical block is revisited and improves validation loss and downstream accuracy once recurrent depth is activated. These results show that stable recurrent depth requires residual scaling rules that account for parameter visits, not only nominal layer count.

한 줄 요약

DeepLoop는 반복된 파라미터 재사용을 고려한 잔차 스케일링 규칙을 제안하여 Looped Transformer의 안정적 깊이 확장을 가능하게 한다.

핵심 기여도

Looped Transformer에서 파라미터가 반복적으로 재사용될 때 발생하는 tied-depth aggregation 메커니즘을 명확히 정의.
visit-alignment coefficient $ \kappa_R $를 도입하여 1차 편미분 경계를 유도, DeepNorm 조건을 확장.
DeepLoop 규칙 $ \alpha = (2N)^{1/2} $, $ \beta = (8N)^{-1/2} $를 제안하여 Post-LN 아키텍처에 적용.
GPT-2 small/medium 규모에서 반복 깊이 $ R > 1 $일 때 검증 손실 감소 및 다운스트림 정확도 향상.

핵심 아이디어

기존 Transformer는 깊이와 파라미터 수가 비례하지만, Looped Transformer는 동일한 물리적 블록을 반복 적용하여 깊이 $ N = KR $를 확장하면서 파라미터 수 $ K $는 동일하게 유지한다. 이는 잔차 스케일링 문제를 변화시킨다: 각 잔차 브랜치가 독립적인 업데이트를 받는 일반적인 경우와 달리, Looped Transformer는 공유된 업데이트가 여러 방문에서 누적되고 다시 읽히는 구조를 가진다. 이 현상을 tied-depth effect라 하며, 이는 visit-alignment coefficient $ \kappa_R $를 통해 정량적으로 분석된다.

DeepLoop는 tied-depth effect를 반영한 잔차 스케일링 규칙을 제안한다. $ \alpha $와 $ \beta $는 unrolled depth $ N $에 따라 $ \alpha = (2N)^{1/2} $, $ \beta = (8N)^{-1/2} $로 설정되며, 이는 DeepNorm의 $ p = 1/4 $에서 $ p = 1/2 $로의 변화를 반영한다. 이는 반복 방문이 일치할 경우, 즉 $ \kappa_R = \Theta(R) $일 때, 안정성을 유지하기 위해 필요한 조건이다.

기술적 접근법

**모델 아키텍처**: Post-LN DeepNorm 구조 유지.
**스케일링 규칙**: $ \alpha = (2N)^{1/2} $, $ \beta = (8N)^{-1/2} $, 여기서 $ N = KR $은 unrolled depth.
**수학적 분석**: 1차 편미분 경계를 통해 tied-depth effect를 정량화. visit-alignment coefficient $ \kappa_R $ 도입.
**하이퍼파라미터**: $ \alpha $, $ \beta $는 $ N $에 따라 자동적으로 결정되며, 추가적인 학습 파라미터나 게이트는 사용하지 않음.
**데이터셋**: GPT-2 small, GPT-2 medium 규모의 언어 모델 실험.

주요 결과

GPT-2 small/medium에서 $ R = 1 $일 때 DeepLoop는 성능에 영향 없음.
$ R = 3 $ 이상일 때, DeepLoop는 검증 손실 감소 및 다운스트림 정확도 향상.
8개 태스크 평가에서 $ R = 1 $일 때 유사한 성능, $ R > 1 $일 때 DeepLoop가 우수.
$ p $-sweep 실험에서 안정성 경계가 $ p = 1/2 $ 근처에 위치함을 확인.

의의 및 한계

**의의**: Looped Transformer의 안정적 깊이 확장을 위한 잔차 스케일링 규칙을 제안. 기존 DeepNorm이 단순한 레이어 수만 고려하는 것과 달리, DeepLoop는 파라미터 방문 횟수를 고려하여 더 정확한 규칙을 제공.
**한계**: $ \kappa_R $의 직접 측정이나 대규모 모델에서의 일반화 가능성은 추가 연구 필요. 또한, $ \kappa_R $가 일치할 경우 $ p = 1/2 $이 필수적이지만, 이는 보수적인 조건일 수 있음.

실용적 활용

DeepLoop는 반복 계산이 필요한 자연어 처리, 시계열 분석, 테스트 시 계산 확장이 필요한 모델에 적용 가능. 특히, 파라미터 증가 없이 깊이를 확장해야 하는 저자원 환경에서 유용. GPT-2 규모의 모델에서 실험적으로 검증되었으므로, 대규모 언어 모델 개발에도 활용 가능.