The Unreasonable Ineffectiveness of the Deeper Layers

How is knowledge stored in an LLM's weights? We study this via layer pruning: if removing a certain layer does not affect model performance in common question-answering benchmarks, then the weights in that layer are not necessary for storing the knowledge needed to answer those questions. To find these unnecessary parameters, we identify the optimal block of layers to prune by considering similarity across layers; then, to"heal"the damage, we perform a small amount of finetuning. Surprisingly, with this method we find minimal degradation of performance until after a large fraction (up to half) of the layers are removed for some common open-weight models. From a scientific perspective, the robustness of these LLMs to the deletion of layers implies either that current pretraining methods are not properly leveraging the parameters in the deeper layers of the network or that the shallow layers play a critical role in storing knowledge. For our study, we use parameter-efficient finetuning (PEFT) methods, specifically quantization and Low Rank Adapters (QLoRA), such that each of our experiments can be performed on a single 40GB A100 GPU.

한 줄 요약

LLM의 더 깊은 레이어가 지식 저장에 기여하지 않는다는 사실을 레이어 프루닝과 QLoRA를 통해 입증.

핵심 기여도

Llama-2-70B 모델에서 최대 절반의 레이어를 제거해도 QA 성능이 크게 저하되지 않음.
QLoRA 기반의 파인튜닝으로 GPU 1대(40GB A100)에서 실험 가능.
더 깊은 레이어는 QA 성능에는 중요하지 않지만, 추론 및 토큰 예측 성능에는 큰 영향을 미침.
레이어 간 유사도 기반 프루닝 전략과 단순히 끝에서부터 제거하는 전략의 성능 차이가 미미함.

핵심 아이디어

LLM의 레이어가 지식을 어떻게 저장하는지 파악하기 위해 레이어 프루닝을 적용했다. 레이어 간 유사도를 기준으로 제거할 블록을 선정하고, QLoRA를 사용한 파인튜닝으로 성능 손실을 보완하는 전략이다. 이는 기존 사전 학습이 깊은 레이어의 파라미터를 효과적으로 활용하지 못하고 있음을 시사한다. 특히, 잔차 구조를 고려하면, 레이어의 출력이 이전 레이어의 출력과 유사할 경우 해당 레이어는 제거 가능하다는 통찰이 핵심이다.

기술적 접근법

**프루닝 전략**: 레이어 간 유사도를 기준으로 제거할 블록을 선정.
**파인튜닝**: QLoRA(Quantized Low-Rank Adapter)를 사용하여 4-bit 정밀도로 모델을 양자화하고, C4 데이터셋(164M~328M 토큰)으로 파인튜닝.
**실험 모델**: Llama-2, Qwen, Mistral-7B, Phi-2 등 2.7B~70B 파라미터 규모의 모델.
**평가 데이터셋**: MMLU(세계 지식), BoolQ(논리적 추론), GSM8K(수학), HellaSwag(일상적 추론).
**하드웨어**: 40GB A100 GPU 단일 장치에서 실험 가능.

주요 결과

**MMLU**: Llama-2-70B에서 최대 50%의 레이어를 제거해도 QA 정확도는 69%에서 43%로 감소하지만, 이는 CoT-MMLU 평가에서 더 큰 감소(43%에서 20% 이하)보다는 낮은 감소 폭.
**GSM8K**: 레이어 제거 시 즉각적인 성능 저하 발생.
**HellaSwag**: 레이어 제거 시 성능 급격히 감소.
**Perplexity**: 레이어 제거 비율에 따라 연속적으로 상승. QA 성능은 단기 토큰 생성에만 의존하기 때문으로 추정.

의의 및 한계

**의의**: LLM의 깊은 레이어가 QA 성능에 기여하지 않음을 입증하여, 사전 학습 전략의 개선 가능성을 제시.
**한계**: 추론 및 토큰 예측 성능에는 레이어 제거가 큰 영향을 미치므로, QA 중심 평가만으로는 전체 모델 성능을 판단하기 어렵다.
**추가 분석 필요**: 레이어 제거가 다양한 평가 태스크에 미치는 영향을 더 깊이 분석해야 함.

실용적 활용

**모델 압축**: QLoRA 기반의 레이어 프루닝을 활용해 대규모 모델을 저비용 GPU에서 실행 가능.
**모델 최적화**: QA 성능 유지하면서도 추론 성능이 중요한 애플리케이션에서는 레이어 제거를 신중히 고려해야 함.
**학습 전략 개선**: 깊은 레이어의 파라미터 활용도를 높이기 위한 사전 학습 방법 연구 필요.