Superfiltering: Weak-to-Strong Data Filtering for Fast Instruction-Tuning

Instruction tuning is critical to improve LLMs but usually suffers from low-quality and redundant data. Data filtering for instruction tuning has proved important in improving both the efficiency and performance of the tuning process. But it also leads to extra cost and computation due to the involvement of LLMs in this process. To reduce the filtering cost, we study Superfiltering: Can we use a smaller and weaker model to select data for finetuning a larger and stronger model? Despite the performance gap between weak and strong language models, we find their highly consistent capability to perceive instruction difficulty and data selection results. This enables us to use a much smaller and more efficient model to filter the instruction data used to train a larger language model. Not only does it largely speed up the data filtering, but the filtered-data-finetuned LLM achieves even better performance on standard benchmarks. Extensive experiments validate the efficacy and efficiency of our approach.

한 줄 요약

GPT-2를 사용한 데이터 필터링으로 LLaMA2 학습 성능을 향상시키며, 필터링 비용을 대폭 절감하는 Superfiltering 방법을 제안한다.

핵심 기여도

GPT-2 (124M) 모델을 사용한 데이터 필터링으로 LLaMA2 (7B/13B) 학습 성능 향상.
기존 LLM 기반 필터링 대비 20배 이상의 가속화.
Perplexity와 IFD (Instruction-Following Difficulty) 점수 기반의 일관된 데이터 평가.
전체 데이터의 5%만 사용해 기존 전체 학습 모델과 유사하거나 더 높은 성능 달성.

핵심 아이디어

Superfiltering은 작은 모델(GPT-2)을 사용해 큰 모델(LLaMA2)의 학습 데이터를 필터링하는 새로운 접근법이다. 기존에는 LLM과 유사한 규모의 모델이 필터링에 사용되었으나, 본 연구는 GPT-2가 LLaMA2 학습 데이터의 질을 평가하는 데 충분히 효과적임을 밝혔다. 이는 GPT-2와 LLaMA2가 데이터의 난이도를 평가하는 데 높은 일관성을 보인다는 핵심 통찰에서 비롯된다. 특히, Perplexity와 IFD 점수를 사용해 데이터의 질을 평가할 때, 두 모델 간의 순위 상관 계수가 높아, 작은 모델이 큰 모델의 학습에 적절한 데이터를 선별할 수 있음을 입증한다.

기술적 접근법

**데이터셋**: Alpaca, LLaMA2-7B 사용.
**필터링 모델**: GPT-2 (124M)를 사용.
**평가 지표**: Perplexity, IFD (Instruction-Following Difficulty) 점수.
**필터링 전략**: 전체 데이터의 5%만 선택해 학습.
**비교 기준**: Random, Diversity, Perplexity, IFD 기반의 다양한 필터링 전략과 비교.
**성능 평가**: GPT-4 기반 WizardLM 테스트셋에서 Pair-wise Winning Score 사용.

주요 결과

GPT-2 기반 Superfiltering을 사용한 LLaMA2-7B 모델은 전체 데이터 학습 모델보다 Pair-wise Winning Score에서 더 높은 성능을 보임.
전체 데이터의 5%만 사용해 기존 전체 학습 모델과 유사하거나 더 높은 성능 달성.
GPT-2 기반 필터링은 기존 LLM 기반 필터링 대비 20배 이상의 가속화.
IFD 점수를 사용한 데이터 선택은 다른 모델(GPT-4, LLaMA2-7B)에서도 일관된 성능 향상을 보임.

의의 및 한계

Superfiltering은 데이터 필터링 과정에서 사용되는 모델의 규모를 대폭 줄이며, LLM 학습의 효율성을 향상시킨다. 특히, GPT-2와 같은 소형 모델이 LLaMA2 학습 데이터의 질을 평가하는 데 충분히 효과적이라는 점은 기존 관행을 재정의하는 중요한 발견이다. 그러나 Superfiltering은 특정 데이터셋(예: Alpaca)에서의 성능을 기반으로 하므로, 다른 종류의 데이터셋에서 동일한 효과가 나타날지는 추가 실험이 필요하다. 또한, GPT-2가 추론 능력이나 일반화 능력에서는 한계가 있으므로, 이러한 측면에서는 여전히 강력한 모델이 필수적이다.

실용적 활용

Superfiltering은 대규모 LLM 학습 시 데이터 필터링 비용을 절감하고, 학습 효율성을 높이는 데 유용하다. 특히, 데이터셋이 매우 크고, 학습 시간이 제한된 산업적 응용(예: 고객 서비스, 자동 번역)에서 효과적이다. 또한, 연구자들이 다양한 데이터셋을 빠르게 실험하고 비교할 수 있도록 도와줄 수 있다.