The Scaling Properties of Implicit Deductive Reasoning in Transformers

We investigate the scaling properties of implicit deductive reasoning over Horn clauses in depth-bounded Transformers. By systematically decorrelating provability from spurious features and enforcing algorithmic alignment, we find that in sufficiently deep models with a bidirectional prefix mask, implicit reasoning approaches explicit CoT performance across graph topologies and problem widths, though CoT remains necessary for depth extrapolation.

📋 한 줄 요약

**[추론/이론]** Horn 절 기반 암묵적 연역 추론에 대한 Transformer의 스케일링 특성을 깊이·양방향 마스크 관점에서 체계적으로 분석한다.

🎯 핵심 기여도

깊이 제한 Transformer의 implicit deductive reasoning 스케일링을 처음으로 체계 분석
증명 가능성과 부수 특성(spurious feature)을 분리하는 평가 설계
양방향 prefix mask를 갖춘 충분히 깊은 모델이 명시적 CoT 성능에 근접함을 입증
깊이 일반화(depth extrapolation) 측면에서는 여전히 CoT가 필수임을 명확히 함

💡 핵심 아이디어

Chain-of-Thought 없이도 Transformer는 깊이가 충분하고 양방향 prefix mask를 사용할 때 그래프 위상과 폭이 다양한 추론 문제에서 명시적 추론과 비슷한 정확도를 달성할 수 있다. 그러나 학습에서 본 적 없는 깊이로 외삽하려면 여전히 CoT가 필요하다.

🔬 기술적 접근법

**모델/방법론**: 깊이 제한 Transformer + 양방향 prefix mask 구성으로 implicit reasoning 평가
**핵심 기법**: 알고리즘적 정렬(algorithmic alignment) 강제 + 증명 가능성-부수특성 디코릴레이션 + 그래프 위상·폭 변화에 따른 스케일링 분석

📊 주요 결과

충분히 깊은 모델에서 implicit reasoning이 explicit CoT 성능에 근접
그래프 토폴로지와 문제 폭에 걸쳐 결과 일관됨
depth extrapolation 시나리오에서는 CoT가 여전히 우월

💭 의의 및 한계

**의의**: Transformer의 내재적 추론 능력을 모델 깊이·attention mask 관점에서 정량화하여, CoT의 필수성과 가용성 경계를 분명히 함. **한계**: Horn 절 형식의 합성 추론 과제에 한정된 분석으로, 자연어 reasoning과의 차이는 추가 연구 필요.

🚀 실용적 활용

CoT를 줄이고 추론 효율성을 높이는 모델 깊이·마스크 설계 지침
추론 전용 소형 LLM 개발 시 학습 깊이 결정 기준
알고리즘적 추론 성능 평가용 합성 벤치마크 설계 참고