EAGLE-3: Scaling up Inference Acceleration of Large Language Models via Training-Time Test

The sequential nature of modern LLMs makes them expensive and slow, and speculative sampling has proven to be an effective solution to this problem. Methods like EAGLE perform autoregression at the feature level, reusing top-layer features from the target model to achieve better results than vanilla speculative sampling. A growing trend in the LLM community is scaling up training data to improve model intelligence without increasing inference costs. However, we observe that scaling up data provides limited improvements for EAGLE. We identify that this limitation arises from EAGLE's feature prediction constraints. In this paper, we introduce EAGLE-3, which abandons feature prediction in favor of direct token prediction and replaces reliance on top-layer features with multi-layer feature fusion via a technique named training-time test. These improvements significantly enhance performance and enable the draft model to fully benefit from scaling up training data. Our experiments include both chat models and reasoning models, evaluated on five tasks. The results show that EAGLE-3 achieves a speedup ratio up to 6.5x, with about 1.4x improvement over EAGLE-2. In the SGLang framework, EAGLE-3 achieves a 1.38x throughput improvement at a batch size of 64. The code is available at https://github.com/SafeAILab/EAGLE.

한 줄 요약

EAGLE-3는 훈련 시 테스트 기법을 도입해 LLM 추론 속도를 최대 6.5배까지 향상시키는 새로운 추론 가속화 방법이다.

핵심 기여도

EAGLE-3는 기존 EAGLE의 feature prediction 제약을 제거하고, 직접 토큰 예측을 도입함으로써 1.4배 더 빠른 성능을 달성.
multi-layer feature fusion 기법을 통해 top-layer feature에 의존하지 않고, low, mid, high-level feature를 통합하여 정보량을 증가.
훈련 데이터 확장 시 속도 향상 비율이 비례적으로 증가하는 추론 가속 스케일링 법칙을 발견.
SGLang 프레임워크에서 batch size 64일 때 1.38x의 처리량 향상.

핵심 아이디어

EAGLE-3는 기존 추론 가속 방법인 speculative sampling의 한계를 극복하기 위해 훈련 과정에서 실제 추론 과정을 시뮬레이션하는 **training-time test** 기법을 도입했다. 기존 EAGLE는 target model의 top-layer feature를 재사용하며 feature prediction loss를 사용했지만, 이는 토큰 예측의 유연성을 제한하고 훈련 데이터 확장 효과를 줄였다. EAGLE-3는 feature prediction loss를 제거하고, **direct token prediction**을 통해 draft model이 다양한 입력에 적응할 수 있도록 했다. 또한, **multi-layer feature fusion**을 통해 target model의 low, mid, high-level feature를 통합함으로써 풍부한 의미 정보를 활용한다. 이는 기존의 top-layer feature에만 의존하는 방식보다 더 정확한 토큰 예측을 가능하게 한다.

기술적 접근법

**Draft model 훈련**: AdamW 옵티마이저를 사용, learning rate 5e-5, gradient clipping 0.5 적용.
**Training data**: ShareGPT와 UltraChat-200K (각각 68K, 464K 데이터) 사용.
**Feature 활용**: EAGLE-2의 top-layer feature 재사용 대신, multi-layer feature fusion 기법을 도입.
**Loss function**: 기존 EAGLE의 feature prediction loss (l_fea)를 제거하고, token prediction loss (l_token)만 사용.
**Acceptance rate 계산**: chain-like draft 기반으로, n-α (n개의 추정값 포함 시 수용률)를 사용.

주요 결과

EAGLE-3는 최대 **6.5x의 속도 향상**을 달성.
EAGLE-2 대비 약 **1.4x 개선**.
SGLang 프레임워크에서 batch size 64일 때 **1.38x의 처리량 향상**.
다양한 모델 (Vicuna 13B, LLaMA-Instruct 3.1 8B 등)과 5가지 작업 (대화, 코드 생성, 수학 추론 등)에서 평가됨.
**Average acceptance length (τ)**와 **acceptance rate (n-α)** 모두 향상됨.

의의 및 한계

EAGLE-3는 추론 가속화 기법 중 가장 높은 성능을 보이며, 특히 훈련 데이터 확장 효과를 극대화할 수 있다는 점에서 학술적·실용적 가치가 크다. 기존 추론 가속 방법이 feature prediction에 의존해 유연성과 확장성을 제한했던 문제를 해결하고, 추론 과정을 훈련 시에 시뮬레이션함으로써 실제 성능을 향상시켰다. 그러나 405B, 671B 규모의 대형 모델에서는 GPU 제약으로 실험을 수행하지 못했으며, 추론 과정에서 발생하는 오류 누적(error accumulation) 문제는 여전히 존재한다. 또한, EAGLE-3는 generation quality를 유지하지만, 추론 과정에서 일부 토큰이 거부될 수 있어, 일부 애플리케이션에서는 수용률을 높이는 추가 최적화가 필요할 수 있다.

실용적 활용

EAGLE-3는 대규모 언어 모델의 추론 비용을 줄이면서도 성능을 유지할 수 있어, 클라우드 기반 LLM 서비스, 실시간 대화형 AI, 코드 생성 도구 등에 적용 가능하다. 특히, 훈련 데이터 확장 효과를 활용해 저비용으로 고성능 추론을 제공하는 데 유용하다.