How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus

Orthrus is a hybrid autoregressive-diffusion architecture that accelerates autoregressive language-model inference by generating multiple tokens in parallel while using a frozen autoregressive backbone. Its central claim is that an intra-model consensus mechanism enables lossless speculative decoding, producing the same output sequence as the autoregressive model. We independently reproduce Orthrus and examine this claim under different numerical precisions. Under BF16 inference, exact trajectory matching occurs in only 45% of cases for the authors' checkpoint and 43% for our independently trained model across 1,190 prompts from 12 domains. The probability of exact matching is also strongly associated with the response-conditional perplexity of the reference model. Despite this trajectory divergence, Orthrus does not show systematic degradation on downstream lm-eval-harness benchmarks. In contrast, repeating the trajectory evaluation with FP32 yields exact trajectory matching on all evaluated prompts. These results show that the practical losslessness of Orthrus depends on numerical precision and that exact trajectory equivalence should be evaluated separately from downstream task performance.

한 줄 요약

Orthrus는 BF16 정밀도에서 43~45%의 정확한 추론 경로 일치율을 보이며, 수치 정밀도가 "무손실 추론"의 실현에 결정적임을 밝힌다.

핵심 기여도

BF16 정밀도에서 Orthrus의 추론 경로 일치율은 43~45%에 불과함.
FP32 정밀도에서는 모든 평가 프롬프트에서 정확한 추론 경로 일치가 관찰됨.
교사 생성 데이터를 사용한 독립 학습 모델이 대부분의 도메인에서 Tokens Per Forward (TPF)가 높음.
수치 정밀도에 따라 "무손실" 추론의 정의가 달라져야 함을 제안함.

핵심 아이디어

Orthrus는 기존의 autoregressive 모델을 수정하지 않고, diffusion view를 결합하여 병렬 토큰 생성을 가능하게 하는 하이브리드 아키텍처이다. 이 모델은 intra-model consensus mechanism을 통해 "무손실" 추론을 주장한다. 그러나 연구 결과는 이 주장이 수치 정밀도에 크게 의존함을 보여준다. BF16에서는 토큰 생성 경로가 43~45%만 일치하는 반면, FP32에서는 100% 일치함. 이는 이산적 토큰 선택 과정에서 미세한 수치 차이가 누적되어 경로가 분기할 수 있음을 시사한다. 따라서 "무손실"이라는 개념은 수치 정밀도와 평가 기준을 명시해야 정확히 정의될 수 있다.

기술적 접근법

**모델 아키텍처**: Autoregressive backbone과 diffusion view를 결합한 하이브리드 구조.
**Consensus mechanism**: Autoregressive 모델이 diffusion 모델의 제안된 토큰을 검증.
**정밀도 실험**: BF16과 FP32에서 추론 경로 일치율 비교.
**데이터셋**: 12개 도메인, 총 1,190개 프롬프트.
**TPF 평가**: 교사 생성 데이터를 사용한 독립 학습 모델이 대부분의 도메인에서 TPF가 높음.
**Perplexity 분석**: 추론 경로 일치율과 response-conditional perplexity가 강한 상관관계를 보임.

주요 결과

BF16 정밀도에서 Orthrus의 추론 경로 일치율은 45% (저자 체크포인트), 43% (독립 학습 모델).
FP32 정밀도에서는 모든 평가 프롬프트에서 100% 일치.
lm-eval-harness 벤치마크에서 Orthrus가 시스템적 성능 저하 없이 높은 점수를 유지.
교사 생성 데이터를 사용한 모델이 12개 도메인 중 10개에서 TPF가 높음.

의의 및 한계

Orthrus는 병렬 추론을 통해 autoregressive 모델의 속도를 향상시키는 데 성공했으나, "무손실"이라는 주장은 수치 정밀도에 따라 달라져야 한다는 점이 밝혀졌다. 이는 딥러닝 추론 시스템에서 정밀도가 결과에 미치는 영향을 재조명하는 데 기여한다. 그러나 이 연구는 특정 정밀도 설정에서만 실험했기 때문에, 다른 하드웨어나 모델 구조에서 동일한 결과가 나올지는 추가 연구가 필요하다. 또한, 추론 경로 일치율과 실제 작업 성능 간의 관계도 명확히 규명되지 않았다.

실용적 활용

Orthrus는 대규모 언어 모델의 추론 속도를 향상시키는 데 유용하며, 특히 실시간 응답이 필요한 산업(예: 챗봇, 고객 지원)에서 활용 가능하다. 그러나 무손실 추론을 요구하는 상황에서는 FP32 정밀도 사용이 필수적일 수 있다. 연구 결과는 추론 가속 기술의 평가 기준을 명확히 정의하는 데도 기여할 수 있다.