Decoding-Level Taboo: A Diagnostic Stress Test for LLM Robustness

Large language model evaluations typically focus on performance under nominal conditions, creating an illusion of capability where models comfortably walk a narrow, highly optimized generation corridor. In real-world deployments, however, complex system prompts, safety guardrails, and structural constraints continuously force models off this nominal path, driving a divergence between benchmark scores and deployment performance. To address this issue, we introduce Decoding-Level Taboo, a zero-prompt diagnostic stress test that intervenes directly in logit space at runtime, forcing models out of their nominal paths. By dynamically masking primary candidate tokens at word boundaries, Taboo forces machine circumlocution. Evaluating Taboo across several open-weight model families reveals that off-path robustness is heavily influenced by both parameter scale and post-training instruction alignment, with robustness generally improving with model size and alignment. Beyond the results presented in this paper, Taboo provides a novel primitive for generating diverse synthetic datasets, stress-testing runtime safety guardrails, and auditing model reliability prior to real-world deployment.

한 줄 요약

Decoding-Level Taboo는 생성 경로를 강제로 변경하여 LLM의 실제 세계 내구성을 진단하는 런타임 로짓 공간 개입 기법이다.

핵심 기여도

Decoding-Level Taboo: 런타임 로짓 공간에서 주요 후보 토큰을 동적으로 마스킹하여 모델을 명령 경로에서 벗어나게 하는 진단 스트레스 테스트를 제안.
4개의 오픈웨이트 모델 패밀리(Qwen2.5, Gemma-3, Llama-3, OLMo-2)와 4개의 벤치마크(GSM8K, MMLU, TriviaQA, HumanEval)에서 실험.
조건부 유지 비율(Conditional Retention Ratio, ℛ)을 도입하여, 모델이 정상 경로에서 성공한 경우에만 스트레스 조건하에서의 유지율을 측정.
모델 규모와 포스트-트레이닝 정렬이 오프-패스 내구성에 영향을 미치며, 정렬된 체크포인트는 더 높은 내구성을 보임.

핵심 아이디어

기존 평가 방식은 LLM이 제한된 경로에서 최적화된 토큰 시퀀스를 생성하는 능력을 평가하지만, 실제 운영 환경에서는 안전 가드레일, 구조적 제약 등이 모델을 명령 경로에서 벗어나게 만든다. 이에 따라, 모델이 내부 추론을 유지하면서 경로를 재구성할 수 있는지 여부가 중요하다.

Decoding-Level Taboo는 런타임 시점에서 로짓 공간에 직접 개입하여, 단어 경계에서 주요 후보 토큰을 마스킹함으로써 모델을 기존 경로에서 벗어나게 강제한다. 이는 단순한 토큰 금지가 아닌, 다단계 추론 경로를 재구성하는 ‘기계적 우회’(machine circumlocution)를 유도한다. 이 개입은 입력 프롬프트를 고정시키며, 스트레스를 프롬프트 해석과 분리하여, 모델의 내부 추론 엔진의 내구성을 정확히 평가할 수 있다.

기술적 접근법

**Decoding-Level Taboo**: 런타임 시점에서 로짓 공간에 개입, 단어 경계에서 주요 후보 토큰을 마스킹.
**Injected Surprisal**: 모델이 선호하는 경로에서 벗어날 때 유발되는 분포적 변화를 측정하여 스트레스 강도를 파라미터화.
**Conditional Retention Ratio (ℛ)**: 모델이 정상 경로에서 정답을 도출한 경우에만, 스트레스 조건하에서 유지율을 측정.
**모델 스위트**: Qwen2.5, Gemma-3, Llama-3, OLMo-2 패밀리, 0.5B~72B 파라미터 규모.
**실험 설정**: 4-bit, bf16 정밀도 비교. Qwen2.5-14B-Instruct의 4-bit 정밀도에서 0.62 vs. 0.44의 차이 발생.

주요 결과

**GSM8K**: Llama-3.1-8B-Instruct는 정상 조건에서 정확도 0.62, Taboo 조건에서 0.44 (−29.0%).
**MMLU**: 단일 토큰 마스킹으로 인해 선택지가 직접 가려져, 정확도 감소가 명확히 나타남.
**HumanEval**: 형식 언어에서 키워드 마스킹은 복구 불가능, 정확도 0%로 유지.
**모델 규모와 정렬**: 정렬된 체크포인트는 더 높은 ℛ 값을 보이며, Llama-3 패밀리에서는 7–8B에서는 효과 없으나 70B에서는 나타남.

의의 및 한계

Decoding-Level Taboo는 LLM이 실제 운영 환경에서 안정적으로 작동할 수 있는지를 사전에 진단하는 데 유용하며, 안전 가드레일 테스트, 합성 데이터셋 생성, 정책 정렬 등 다양한 활용이 가능하다. 특히, 기존 프롬프트 기반 평가 방식과 달리, 로짓 공간 개입을 통해 모델의 내부 추론 엔진을 분리하여 평가할 수 있어, 학술적·실용적 가치가 높다.

한편, Taboo는 형식 언어(예: HumanEval)에서는 효과가 제한적이며, 특정 모델 패밀리(예: Llama-3 7–8B)에서는 정렬 효과가 나타나지 않는 한계가 있다. 또한, 4-bit 정밀도에서 일부 모델의 성능 차이가 발생하는 점도 주의할 필요가 있다.

실용적 활용

Decoding-Level Taboo는 LLM을 실제 운영 환경에 배포하기 전에 내구성을 사전 진단하는 데 활용할 수 있으며, 안전 가드레일 테스트, 정책 정렬, 합성 CoT 데이터셋 생성 등 다양한 산업 및 연구 상황에서 사용 가능하다. 특히, 런타임 오버헤드가 낮고, 재학습 없이 사용할 수 있어 실용적이다.