More Thinking, More Bias: Length-Driven Position Bias in Reasoning Models

Chain-of-thought (CoT) reasoning and reasoning-tuned models such as DeepSeek-R1 are commonly assumed to reduce shallow heuristic biases by thinking carefully. We test this on position bias in multiple-choice QA and find a different story: within any reasoning-capable model, per-question position bias scales with the length of the reasoning trajectory. Across thirteen reasoning-mode configurations (two R1-distilled 7-8B models, two base models prompted with CoT, and DeepSeek-R1 at 671B) on MMLU, ARC-Challenge, and GPQA, twelve show a positive partial correlation between trajectory length and Position Bias Score (PBS) after controlling for accuracy, ranging from 0.11 to 0.41 (all p < 0.05). All twelve open-weight reasoning-mode configurations show monotonically increasing PBS across length quartiles. A truncation intervention provides causal evidence: continuations resumed from later points in the trajectory are increasingly likely to shift toward position-preferred options (16% to 32% for R1-Qwen-7B across absolute-position buckets). At 671B, aggregate PBS collapses to 0.019, but the length effect still manifests in the longest quartile (PBS = 0.071), suggesting that accuracy gates the expression of length-driven bias rather than eliminating the underlying mechanism. We additionally find that direct-answer position bias is a distinct phenomenon with a different footprint (strong in Llama-Instruct-direct, weak in Qwen-Instruct-direct, and uncorrelated with trajectory length): CoT reasoning replaces this baseline bias with length-accumulated bias. Our results argue that reasoning-capable models should not be treated as order-robust by default in MCQ evaluation pipelines, and offer a diagnostic toolkit (PBS, commitment change point, effective switching, truncation probes) for auditing position bias in reasoning models.

📋 한 줄 요약

**[LLM 평가/추론 모델]** 사슬 사고(CoT)와 추론 튜닝 모델이 길게 생각할수록 객관식 QA에서 위치 편향이 오히려 누적된다는 사실을 13개 설정에서 정량적으로 입증.

🎯 핵심 기여도

추론 궤적 길이와 위치 편향(Position Bias Score, PBS) 사이의 강한 양의 상관을 13개 설정 중 12개에서 확인 (편상관 0.11–0.41, 전부 p<0.05)
잘림(truncation) 개입 실험으로 인과적 증거 제시 — 나중에 잘린 궤적일수록 위치 선호 옵션으로 16–32% 더 이동
671B DeepSeek-R1에서도 가장 긴 quartile에서 길이 효과가 잔존(PBS=0.071) — 정확도가 표현을 게이팅할 뿐 메커니즘 자체는 사라지지 않음
CoT가 모델 고유의 직답 위치 편향을 길이 누적형 편향으로 "대체"한다는 새로운 현상 보고
PBS·commitment change point·effective switching·truncation probe로 구성된 진단 툴킷 제공

💡 핵심 아이디어

"더 많이 생각하면 더 객관적이 될 것"이라는 통념과 달리, 추론 토큰이 길어질수록 모델은 정답 정렬보다 위치 정렬에 더 끌리는 편향이 강해진다. 이는 정확도가 떨어진다는 의미보다, 추론 경로 자체가 "옵션 위치"라는 표면 신호를 누적적으로 강화한다는 메커니즘적 발견이다.

🔬 기술적 접근법

**모델/방법론**: 두 R1-distilled 7–8B 모델, CoT 프롬프트된 두 베이스 모델, 671B DeepSeek-R1 — 총 13개 추론 모드 설정을 MMLU·ARC-Challenge·GPQA에서 평가
**핵심 기법**: (1) Position Bias Score(PBS) 정의·측정, (2) 정확도 통제 후 길이-PBS 편상관 분석, (3) 길이 quartile별 monotonic 추세 확인, (4) truncation intervention으로 인과성 분리

📊 주요 결과

13개 중 12개 오픈 가중치 설정에서 길이-PBS 양의 편상관(0.11–0.41, p<0.05)
12개 설정 모두 길이 quartile에 따라 PBS가 단조 증가
truncation 시 위치 선호 옵션으로의 이동률 16% → 32% (R1-Qwen-7B 절대 위치 버킷 기준)
671B에서 aggregate PBS는 0.019로 붕괴되지만 longest quartile에서 0.071 잔존
Llama-Instruct-direct vs Qwen-Instruct-direct에서 직답 위치 편향의 모델 의존성도 별개 현상으로 확인

💭 의의 및 한계

**의의**: "추론 모델은 평가 입력 순서에 강건하다"는 암묵적 가정에 정면으로 반박하며, MCQ 기반 LLM 벤치마크 전반의 신뢰성 재검토를 요구한다. **한계**: 분석이 객관식 QA에 집중되어 개방형 생성·도구 사용 시 동일 메커니즘이 어떻게 나타나는지는 별도 연구가 필요하다.

🚀 실용적 활용

LLM 벤치마크 파이프라인에 위치 셔플·PBS 측정을 표준 검증 단계로 추가
추론 모델의 길이/온도 기반 디코딩 정책 설계 가이드
추론 길이가 늘어나는 agentic 시스템에서 위치·순서 의존성 모니터링