Rethinking Sequence Compression with Test-time Regression

Sequence compression is a fundamental operation and a critical information bottleneck in efficient language and multimodal models, and yet prevailing approaches based on pooling or learned projections remain underperforming. We revisit sequence compression through the lens of test-time regression: input tokens define a regression problem whose fitted coefficients form the compressed representation. Importantly, the regression problem is learned end-to-end via backpropagation, while its coefficients are computed efficiently in closed form during the forward pass. This leads to TTR-Compressor, a general alternative to conventional pooling and projection-based compression. We evaluate TTR-Compressor as the compressor for block-wise sparse attention and the visual token merger for multimodal large language models. On block-wise sparse attention, TTR-Compressor improves RULER performance over attention-based compressors by a large margin. For visual token merging, it consistently outperforms the standard MLP merger and matches its performance with 55.6% fewer visual tokens. These results establish test-time regression as an effective primitive for sequence compression in efficient language and multimodal models.

한 줄 요약

TTR-Compressor는 시퀀스 압축을 테스트 타임 회귀 문제로 재구성하여, 기존 풀링 및 프로젝션 기반 방법보다 뛰어난 성능을 보인다.

핵심 기여도

TTR-Compressor는 테스트 타임 회귀를 통해 입력 토큰을 기반으로 회귀 계수를 압축 표현으로 사용하는 새로운 시퀀스 압축 프레임워크를 제안.
RULER 데이터셋에서 블록-바이-블록 스파스 어텐션에서 기존 어텐션 기반 압축기 대비 성능 향상.
시각 토큰 병합에서 MLP 머지어 대비 55.6% 적은 토큰 수로 동일한 성능 달성.
Cholesky 분해를 활용한 효율적인 T×T 크기의 이중 문제 해결로, 학습 파라미터는 압축기당 2d개로 제한.

핵심 아이디어

기존 시퀀스 압축 방법은 토큰 간 상호 관계를 고려하지 않는 단순 가중 평균을 사용하여, 중복 정보가 강화되고 구별 정보가 희석되는 문제가 있었다. TTR-Compressor는 입력 토큰을 기반으로 회귀 문제를 정의하고, 그 계수를 압축 표현으로 사용하는 방식을 제안한다. 이는 토큰 간 상관관계를 Gram 행렬을 통해 명시적으로 포착하여, 중복 정보는 감소시키고 구별 정보는 유지하도록 한다. 회귀 문제는 end-to-end로 학습되며, forward pass에서는 닫힌 형태의 해를 효율적으로 계산한다. 특히, 정규화 매개변수는 학습 과정에서 자동으로 조정되어, 수동 튜닝이 필요 없다는 장점이 있다.

기술적 접근법

**TTR-Compressor**: 입력 토큰으로부터 self-supervised ridge regression 문제를 구성하고, 그 해를 압축 표현으로 사용.
**Gram 행렬**: 토큰 간 상관관계를 포착하여, 중복 정보의 영향을 줄이고 구별 정보를 강조.
**Cholesky 분해**: T×T 크기의 이중 문제를 효율적으로 해결.
**정규화**: 토큰 노름 기반 정규화(𝑘ₜ = 𝑥ₜ / ‖𝑥ₜ‖₂)를 통해 이상치 토큰의 영향을 억제.
**Learnable Diagonal Regularization**: 채널별로 다른 정규화 강도를 학습하여, 불필요한 특징 방향은 강하게 제한하고, 핵심 특징은 유지.

주요 결과

**RULER 데이터셋**: 블록-바이-블록 스파스 어텐션에서 TTR-Compressor는 기존 어텐션 기반 압축기 대비 성능이 크게 향상됨.
**시각 토큰 병합**: MLP 머지어 대비 55.6% 적은 토큰 수로 동일한 성능을 달성.
**정규화 실험**: Learnable Diagonal Regularization이 0.4971의 평균 정확도를 달성하며, 가장 우수한 성능을 보임.

의의 및 한계

TTR-Compressor는 기존 풀링 및 프로젝션 기반 압축 방법의 한계를 극복하고, 토큰 간 상관관계를 포착하는 새로운 프레임워크를 제시한다. 특히, 정규화 매개변수를 학습 과정에서 자동으로 조정함으로써, 대규모 사전 학습에서도 실용적이다. 그러나 압축 윈도우 크기(T)가 채널 차원(d)보다 작아야 효율적인 Cholesky 분해가 가능하다는 점에서, T가 d보다 큰 경우는 적용이 어려울 수 있다. 또한, 토큰 정규화가 성능에 큰 영향을 미치므로, 이 과정이 누락되면 성능 저하가 발생할 수 있다.

실용적 활용

TTR-Compressor는 블록-바이-블록 스파스 어텐션 및 시각 토큰 병합과 같은 대규모 언어 및 멀티모달 모델에서 효과적으로 활용될 수 있다. 특히, 토큰 수를 줄이면서도 정보 손실을 최소화하는 압축이 필요한 어플리케이션에서 유용하다.