xHC: Expanded Hyper-Connections

Hyper-Connections (HC) expand the residual stream of Transformers into N parallel streams, providing a form of memory scaling beyond model width and depth. Manifold-Constrained HC (mHC) stabilizes this formulation at scale. The large gains from N{=}1 to N{=}4 suggest residual-stream expansion as a promising scaling axis. However, existing HC-family methods typically stop at N{=}4. Our experiments reveal why: scaling mHC beyond this point yields diminishing performance gains and rapidly increasing training cost. We attribute this limitation to two bottlenecks: insufficient write-back information for an expanding number of streams and residual-mixing generation whose cost scales cubically with N. To address both bottlenecks, we propose xHC (Expanded Hyper-Connections), the first HC-family method to achieve meaningful expansion beyond N{=}4. xHC combines temporal feature augmentation for richer write-back with a sparse residual-stream architecture that updates only k=4 of the N=16 streams while retaining dense access to the full residual state. Across 18B and 28B MoE models, xHC delivers strong and consistent downstream improvements. On an 18B MoE model, xHC improves the average downstream score by 4.0 points over mHC, while adding only modest training FLOPs over the vanilla baseline. Scaling-law experiments show that the vanilla and mHC require 1.50times and 1.19times the compute of xHC, respectively, to reach the same loss. Practical large-N training also requires controlling memory traffic from the expanded residual state. We therefore introduce xHC-Flash, which reduces the per-sublayer memory traffic from 73.5C to 40C, comparable to the 34C required by mHC at N{=}4, while retaining the gains of full xHC. Together, xHC and xHC-Flash make large-N residual-stream expansion effective and practical for LLM pre-training.

한 줄 요약

xHC는 N=4 이상의 잔류 스트림 확장을 효과적이고 계산 효율적으로 만드는 새로운 Hyper-Connections 기법이다.

핵심 기여도

xHC는 N=16까지 확장된 잔류 스트림을 사용하면서도 FLOPs 증가를 4.1%로 억제.
xHC는 18B MoE 모델에서 mHC 대비 평균 downstream 점수를 4.0 포인트 개선.
xHC-Flash는 하위 레이어당 메모리 트래픽을 73.5C → 40C로 줄이며, mHC(N=4) 수준과 유사한 효율성 달성.
xHC는 기존 mHC 대비 동일 손실 달성을 위해 1.19배 적은 컴퓨트 필요.

핵심 아이디어

기존 Hyper-Connections (HC)는 잔류 스트림을 N개로 확장해 메모리 스케일링을 가능하게 했으나, N=4 이상 확장 시 성능 향상이 감소하고 계산 비용이 급증하는 문제가 있었다. 이는 두 가지 병목 현상, 즉 **정보 병목**(write-back 정보 부족)과 **계산 병목**(residual-mixing의 O(N³C) 비용)에 기인한다. xHC는 이 두 병목을 해결하기 위해 **시간적 특징 증강**(temporal feature augmentation)과 **희소 잔류 스트림 구조**(sparse residual-stream architecture)를 결합한다. 시간적 증강은 인접 토큰의 저비용 특징을 활용해 write-back 정보를 풍부하게 하고, 희소 구조는 N=16일 때도 k=4 스트림만 업데이트함으로써 FLOPs 증가를 억제한다. 이 두 설계는 구조적으로 분리되지만 상호 보완적이다.

기술적 접근법

**Hyper-Connections (HC)**: 잔류 스트림을 N개로 확장, 각 레이어당 pre-mapping, post-mapping, residual mapping을 학습.
**Manifold-Constrained HC (mHC)**: residual mapping을 Birkhoff polytope 상의 이중 확률 행렬로 제한, Sinkhorn–Knopp 알고리즘 사용.
**xHC**:
**Temporal feature augmentation**: 인접 토큰의 다중 스케일 인과적 컨볼루션을 사용해 write-back 정보를 풍부하게 함.
**Sparse residual-stream architecture**: N=16 중 k=4 스트림만 업데이트, 전체 N 스트림에 대한 dense read 유지.
**xHC-Flash**: 하위 레이어 간 라우팅 및 dense read 계산 공유, 메모리 트래픽 73.5C → 40C 감소.

주요 결과

**18B MoE 모델**: xHC는 mHC 대비 평균 downstream 점수를 4.0 포인트 개선 (44.8 → 48.8), FLOPs 증가율은 4.1%에 불과.
**손실 감소**: xHC는 mHC 대비 18B 모델에서 1.776 → 1.758로 감소.
**Compute 효율성**: xHC는 mHC 대비 동일 손실 달성을 위해 1.19배 적은 컴퓨트 필요, vanilla 대비 1.50배 적은 컴퓨트 필요.
**메모리 트래픽**: xHC-Flash는 하위 레이어당 73.5C → 40C로 감소, mHC(N=4)의 34C와 유사한 수준.

의의 및 한계

xHC는 잔류 스트림 확장을 기존 N=4 이상으로 확장 가능하게 하며, FLOPs 증가를 억제함으로써 새로운 스케일링 축을 제시한다. 특히, xHC-Flash를 통해 메모리 트래픽 문제를 해결함으로써 대규모 사전 학습에 실용적이다. 다만, xHC는 N=16 이상의 확장성은 명시되지 않았으며, 실제 대규모 모델에서의 장기적 안정성 검증이 필요하다. 또한, xHC는 잔류 스트림의 다중 경로를 효과적으로 활용하는 새로운 학습 역학을 제시하지만, 이에 대한 이론적 분석은 부족한 상태이다.

실용적 활용

xHC는 대규모 MoE 모델의 사전 학습에서 계산 효율성을 향상시키며, 특히 메모리-성능 트레이드오프가 중요한 클라우드 기반 LLM 학습에 적합하다. xHC-Flash는 메모리 트래픽 최적화를 통해 고성능 GPU/TPU 환경에서의 대규모 학습을 가능하게 한다.