Same Task, More Tokens: the Impact of Input Length on the Reasoning Performance of Large Language Models

This paper explores the impact of extending input lengths on the capabilities of Large Language Models (LLMs). Despite LLMs advancements in recent times, their performance consistency across different input lengths is not well understood. We investigate this aspect by introducing a novel QA reasoning framework, specifically designed to assess the impact of input length. We isolate the effect of input length using multiple versions of the same sample, each being extended with padding of different lengths, types and locations. Our findings show a notable degradation in LLMs' reasoning performance at much shorter input lengths than their technical maximum. We show that the degradation trend appears in every version of our dataset, although at different intensities. Additionally, our study reveals that the traditional metric of next word prediction correlates negatively with performance of LLMs' on our reasoning dataset. We analyse our results and identify failure modes that can serve as useful guides for future research, potentially informing strategies to address the limitations observed in LLMs.

한 줄 요약

LLM의 입력 길이가 증가할수록 추론 성능이 급격히 저하되며, 이는 기술적 최대치보다 훨씬 짧은 길이에서도 발생한다.

핵심 기여도

새로운 QA 추론 데이터셋 **FLenQA**를 제안하여 입력 길이의 영향을 분리적으로 평가.
입력 길이가 3000 토큰에 도달할 때 정확도가 평균적으로 **0.92 → 0.68**로 급격히 감소함을 밝힘.
**Chain-of-Thought (CoT)** 프롬프팅이 긴 입력에서는 성능 저하를 완화하지 못함을 확인.
**Next-word prediction** 성능은 추론 성능과 부정적 상관관계를 보임.

핵심 아이디어

본 연구는 LLM이 긴 입력을 처리할 때 추론 성능이 어떻게 변화하는지를 조사하는 데 초점을 맞춘다. 기존 연구는 입력 길이와 작업 난이도를 동시에 변화시키며 실험했지만, 이 연구는 **FLenQA** 데이터셋을 통해 입력 길이만을 독립 변수로 고정시켜 실험했다. 각 샘플은 동일한 질문과 문맥 정보를 포함하지만, **다양한 길이, 위치, 유사도의 패딩**을 추가하여 입력 길이의 영향을 분리적으로 평가한다. 연구는 LLM이 기술적으로 지원하는 최대 입력 길이보다 훨씬 짧은 길이에서도 성능이 급격히 저하됨을 밝힘으로써, 입력 길이가 추론 능력에 미치는 핵심적인 영향을 입증한다.

기술적 접근법

**FLenQA** 데이터셋: QA 형식으로, 각 샘플은 True/False 질문과 두 개의 문맥 정보로 구성.
샘플을 다양한 **패딩 길이, 위치, 유사도**로 변형하여 입력 길이의 영향을 분리.
**Chain-of-Thought (CoT)** 프롬프팅과 일반 프롬프팅 비교 실험 수행.
**Next-word prediction** 성능과 추론 성능 간의 상관관계 분석.
실험 대상 모델: GPT-4, GPT-3.5 등.

주요 결과

입력 길이가 3000 토큰에 도달할 때, 평균 정확도가 **0.92 → 0.68**로 감소.
**FLenQA** 데이터셋의 모든 버전에서 성능 저하 트렌드가 나타남.
**Next-word prediction** 성능은 추론 성능과 **부정적 상관관계**를 보임.
**CoT** 프롬프팅은 짧은 입력에서는 성능 향상 효과가 있으나, 긴 입력에서는 **성능 저하를 완화하지 못함**.
GPT-4는 CoT 프롬프팅이 긴 입력에서 더 큰 성능 차이를 보임.

의의 및 한계

본 연구는 LLM이 긴 입력을 처리할 때 추론 성능이 급격히 저하되는 현상을 체계적으로 밝혀내며, 입력 길이가 모델 성능에 미치는 핵심적인 영향을 입증한다. 이는 LLM의 평가 및 개선 전략에 중요한 시사점을 제공한다. 그러나 실험은 **FLenQA** 데이터셋에 국한되었으며, 실제 세계의 다양한 작업 환경에서의 일반화 가능성은 추가 연구가 필요하다. 또한, **Next-word prediction**과 추론 성능 간의 부정적 상관관계는 모델 학습 전략의 재고를 요구한다.

실용적 활용

본 연구는 긴 문서 분석, 대규모 데이터 추론, 복잡한 프롬프트 처리 등에서 LLM의 성능 한계를 이해하는 데 도움이 된다. 특히, **CoT 프롬프팅**의 효과가 긴 입력에서는 제한적이라는 점은, 프롬프트 설계 전략을 재고하는 데 유용하다. 또한, **FLenQA** 데이터셋은 입력 길이에 따른 모델 평가를 위한 표준 도구로 활용될 수 있다.