Know When To Fold 'Em: Token-Efficient LLM Synthetic Data Generation via Multi-Stage In-Flight Rejection

While synthetic data generation with large language models (LLMs) is widely used in post-training pipelines, existing approaches typically generate full outputs before applying quality filters, leading to substantial token waste on samples that are ultimately discarded. To address this, we propose Multi-Stage In-Flight Rejection (MSIFR), a lightweight, training-free framework that detects and terminates low-quality generation trajectories at intermediate checkpoints before they reach full completion. MSIFR decomposes the generation process into sequential stages and applies fast rule-based validators to identify arithmetic inconsistencies, hallucination patterns, and formatting violations, enabling early rejection of faulty samples. We formalize in-flight rejection as a sequential decision process and show that any non-trivial discard policy reduces expected token consumption, with stage-wise savings increasing when rejection occurs earlier in the generation pipeline. We further demonstrate that conditional utility estimates form a martingale, ensuring that early, in-flight rejection does not bias the expected utility of retained samples. Across five instruction-tuned models and seven reasoning benchmarks, MSIFR reduces token consumption by 11%-77% as a standalone method, and up to 78.2% when combined with early-exit methods, while preserving or improving evaluation accuracy. These results confirm that MSIFR provides a practical mechanism for improving the efficiency of LLM-based synthetic data generation without additional training or architectural changes.

📋 한 줄 요약

**[합성 데이터 / LLM 효율]** 저품질 LLM 생성 궤적을 중간 체크포인트에서 조기 거부해 토큰 낭비를 줄이는 학습 불요(training-free) 프레임워크 MSIFR 제안.

🎯 핵심 기여도

합성 데이터 파이프라인이 결국 폐기될 샘플에도 끝까지 토큰을 소비한다는 비효율을 진단하고, 중간 단계에서 끊어내는 in-flight rejection 접근을 정식화.
산술 불일치·환각 패턴·포맷 위반을 빠르게 잡아내는 규칙 기반 검증기를 단계별로 적용하는 MSIFR(Multi-Stage In-Flight Rejection) 설계.
in-flight rejection을 순차 의사결정 과정으로 정식화하고, 임의의 비자명 discard 정책이 토큰 소비 기댓값을 줄이며 일찍 거부할수록 절감이 커짐을 이론적으로 증명.
조건부 유틸리티 추정이 martingale을 이룸을 보여, 조기 거부가 잔류 샘플의 기대 유틸리티에 편향을 주지 않음을 보장.

💡 핵심 아이디어

"끝까지 생성하고 사후 필터링"이라는 통념을 깨고, 생성 과정 자체를 단계별 검증과 결합한다. 잘못된 궤적을 일찍 끊을수록 토큰 절감 효과는 지수적으로 커지며, martingale 구조 덕분에 통계적 무편향이 보장된다.

🔬 기술적 접근법

**모델/방법론**: 생성 과정을 순차 단계로 분해 + 각 단계에 규칙 기반 빠른 검증기 + 거부 정책.
**핵심 기법**: 산술 일관성 체크, 환각 패턴 탐지, 포맷 위반 검사기를 결합한 게이트, early-exit 기법과의 결합 가능성, 5개 instruction-tuned 모델과 7개 reasoning 벤치마크에서 평가.

📊 주요 결과

단독 적용 시 토큰 소비 11%~77% 감소.
early-exit 기법과 결합 시 최대 78.2% 감축.
평가 정확도는 유지 또는 향상.

💭 의의 및 한계

**의의**: 추가 학습·아키텍처 변경 없이 LLM 합성 데이터 생성 비용을 극적으로 줄일 수 있는 실용 메커니즘 제공. **한계**: 규칙 기반 검증기 설계가 도메인 의존적, 매우 창의적이거나 비정형 출력에는 거부율이 비대해질 가능성.

🚀 실용적 활용

post-training 합성 데이터 파이프라인의 표준 비용 절감 레이어.
추론 시 자기 일관성 샘플링에서 저품질 trajectory 조기 종료.
대규모 RLHF/RLAIF 데이터 생성에서의 비용·시간 절감.