ShortGPT: Layers in Large Language Models are More Redundant Than You Expect

As Large Language Models (LLMs) continue to advance in performance, their size has escalated significantly, with current LLMs containing billions or even trillions of parameters. However, in this study, we discovered that many layers of LLMs exhibit high similarity, and some layers play a negligible role in network functionality. Based on this observation, we define a metric called Block Influence (BI) to gauge the significance of each layer in LLMs. We then propose a straightforward pruning approach: layer removal, in which we directly delete the redundant layers in LLMs based on their BI scores. Experiments demonstrate that our method, which we call ShortGPT, significantly outperforms previous state-of-the-art (SOTA) methods in model pruning. Moreover, ShortGPT is orthogonal to quantization-like methods, enabling further reduction in parameters and computation. The ability to achieve better results through simple layer removal, as opposed to more complex pruning techniques, suggests a high degree of redundancy in the model architecture.

한 줄 요약

ShortGPT는 블록 영향(BI) 기반의 단순한 레이어 제거를 통해 LLM의 25% 파라미터 감소와 95% 성능 유지 가능성을 입증한 연구이다.

핵심 기여도

LLaMA 2-13B 모델에서 마지막 10개 레이어(총 40개 중 25%) 제거 시 MMLU 성능 55.0 → 52.2 (95% 유지)
BI(Block Influence) 지표를 제안하여 레이어 중요도를 정량적으로 평가
레이어 제거 기반의 ShortGPT가 기존 SOTA 프루닝 방법보다 25% 더 높은 성능 유지
BI 기반 제거는 퀀티제이션과 독립적(orthogonal)이며, 병합 가능

핵심 아이디어

기존 연구는 LLM의 가중치 텐서 수준의 중복성에 집중했으나, 본 연구는 레이어 수준의 중복성에 주목했다. LLaMA 2-13B와 같은 대형 모델에서 마지막 22개 레이어(총 40개 중 55%)를 제거해도 MMLU에서 47.2점이라는 높은 성능을 유지함을 확인했다. 이는 기존 연구가 복잡한 프루닝 기법을 사용한 반면, 본 연구는 단순한 레이어 제거만으로도 뛰어난 결과를 얻을 수 있음을 시사한다. 핵심 통찰은 BI 지표를 통해 레이어의 중요도를 측정하고, 낮은 BI를 가진 레이어를 제거함으로써 모델의 파라미터 수와 계산량을 줄일 수 있다는 점이다.

기술적 접근법

**Block Influence (BI)**: 각 레이어가 히든 상태를 얼마나 변형시키는지를 측정하는 지표
**레이어 제거**: BI 점수가 낮은 레이어를 직접 제거
**실험 대상 모델**: LLaMA 2-13B, Baichuan 2
**제거 대상**: 마지막 10~22개 레이어 (총 40개 중)
**파라미터 감소**: 약 25% (LLaMA 2-13B 기준)
**추가 조건**: 미세조정(fine-tuning) 없이도 성능 유지

주요 결과

**LLaMA 2-13B**: 마지막 10개 레이어 제거 시 MMLU 성능 55.0 → 52.2 (95% 유지)
**LLaMA 2-13B**: 마지막 22개 레이어 제거 시 MMLU 47.2점 (LLaMA 2-7B 대비 +0.2점)
**파라미터 감소**: 25% (LLaMA 2-13B 기준)
**성능 유지**: 92% 이상 유지 (기존 SOTA 대비 5~10% 개선)

의의 및 한계

본 연구는 LLM의 레이어 수준 중복성을 체계적으로 분석하고, 단순한 레이어 제거로도 성능을 유지할 수 있음을 입증함으로써 모델 압축 분야에 새로운 가능성을 제시한다. 특히, BI 지표는 레이어 중요도를 정량적으로 평가할 수 있는 간단한 기준으로, 향후 연구에 유용할 수 있다. 그러나 BI는 히든 상태 변형에만 기반하기 때문에, 다른 유형의 중요도를 반영하지 못하는 한계가 있다. 또한, 모든 LLM이 동일한 수준의 레이어 중복성을 가지는지는 추가 연구가 필요하다.

실용적 활용

ShortGPT는 LLM의 배포 비용을 낮추는 데 유용하며, 특히 하드웨어 자원이 제한된 모바일 장치나 임베디드 시스템에서 활용 가능하다. BI 기반의 레이어 제거는 퀀티제이션과 병합 가능하므로, 클라우드 기반 대형 모델의 효율적 배포 전략으로도 활용될 수 있다.