Are the Financial Reasoning from LLMs Credible? A Real World Test over Long-Horizon Statements

Do Large Language Models (LLMs) possess genuine structural reasoning, or merely rely on surface-level pattern matching? The financial domain, demanding numerical precision and multi-step logic over long contexts, is an ideal testbed. Existing benchmarks fail to capture real-world industrial complexity, predominantly relying on multiple-choice questions or single-hop QA over cropped tables while ignoring intricate cross-statement dynamics and temporal de-cumulation. To bridge this gap, we introduce FinIndices, a large-scale benchmark evaluating data-processing fidelity over uncropped financial statements (up to 32K tokens). Utilizing an automated synthesis pipeline with adversarial traps, FinIndices encompasses Single-Index computation and Table-Index tabulation to test complex domain, temporal, and caliber reasoning. Our evaluation reveals two severe LLM vulnerabilities. First, a "Knowledge Bottleneck": despite memorizing formulas during pre-training, models demonstrate fragile pattern matching. Removing explicit formula hints causes performance to collapse (e.g., Gemini-3.1-Pro drops from 70.70% to 38.22% on table tasks), exposing fatal flaws in temporal de-cumulation and stock-flow caliber mismatch. Second, a "Structural Bottleneck": the intense cognitive load of generating multi-metric, multi-period tables actively drains reasoning capacity. Under structural pressure, LLMs that flawlessly execute isolated derivations regress to shallow heuristics, such as fetching incorrect adjacent columns or substituting deep accounting adjustments with lazy literal arithmetic. Finally, Supervised Fine-Tuning (SFT) yields substantial zero-hint gains (+8.54% Single, +3.82% Table), validating that structured logic can be partially restored via data-centric alignment.

한 줄 요약

LLM이 금융 분석에서 진정한 구조적 추론을 수행하는지, FinIndices 벤치마크를 통해 실질적인 테스트를 진행한 연구.

핵심 기여도

**FinIndices** 벤치마크 도입: 금융 보고서(최대 32K 토큰)를 기반으로 **Single-Index** 및 **Table-Index** 추론을 평가.
**"Knowledge Bottleneck"** 발견: Gemini-3.1-Pro는 테이블 작업에서 70.70% → 38.22%로 성능 급락.
**"Structural Bottleneck"** 확인: Qwen3.7-Max는 테이블 작업에서 72.82%로 상대적으로 우수, 그러나 일반 모델은 심각한 추론 저하.
**Supervised Fine-Tuning (SFT)** 효과: Qwen3.5-35B-A3B 모델에서 **+8.54% (Single), +3.82% (Table)** 성능 향상.

핵심 아이디어

금융 분석은 수치 정확성과 다단계 논리적 추론이 요구되며, 기존 벤치마크는 실제 산업적 복잡성을 반영하지 못한다. 본 연구는 금융 보고서의 **전체 문맥**을 유지한 상태에서 **Single-Index** 및 **Table-Index** 추론을 평가하는 **FinIndices**를 제안한다. 이는 금융 분야의 **시간적 누적 해소**, **재무 흐름 구분**, **복합 테이블 생성** 등을 포함한 실제 업무 시나리오를 반영한다.

핵심 통찰은 LLM이 단순히 **표면 패턴 매칭**에 의존하며, **구조적 추론 능력**이 부족하다는 점이다. 특히, **Table-Index** 작업은 모델이 다중 지표와 시간대를 처리해야 하므로, **인지적 부하**가 증가함에 따라 추론 능력이 급격히 저하된다. 이는 Gemini-3.1-Pro가 힌트 없이 38.22%로 성능이 떨어지는 사례에서도 명확히 드러난다.

기술적 접근법

**FinIndices** 벤치마크: 금융 보고서(최대 32K 토큰)를 기반으로 **Single-Index** 및 **Table-Index** 작업을 평가.
**Adversarial Traps**: 자동 생성 파이프라인을 통해 **시간적 누적 해소**, **재무 흐름 구분**, **세부 회계 규칙** 등을 시험하는 **복잡한 유도 질문** 삽입.
**Supervised Fine-Tuning (SFT)**: Qwen3.5-35B-A3B 모델에 **6,301개의 Gemini-유도 추론 트래젝토리**를 사용해 훈련.
**평가 데이터**: 13,299개의 FinIndices 인스턴스(7,247개 Single, 6,052개 Table)로 실험 수행.

주요 결과

**Gemini-3.1-Pro**: 테이블 작업에서 힌트 제거 시 **70.70% → 38.22%**로 성능 급락.
**Qwen3.7-Max**: 테이블 작업에서 **72.82%**로 상대적으로 우수.
**DianJin-R1-32B**: 힌트가 있을 때 **41.29% (Single)**, 없을 때 **5.33% (Table)**로 심각한 성능 저하.
**SFT 효과**: Qwen3.5-35B-A3B에서 **+8.54% (Single), +3.82% (Table)** 성능 향상.
**FinMath**: SFT로 **+2.19%** 개선.

의의 및 한계

본 연구는 LLM이 금융 분석에서 진정한 구조적 추론을 수행하지 못하고, **표면 패턴 매칭**에 의존한다는 점을 명확히 밝혔다. 특히, **FinIndices**는 금융 분야의 **복잡한 테이블 생성**과 **시간적 누적 해소**를 시험하는 새로운 평가 기준을 제시하며, **SFT**가 구조적 추론 능력을 일부 복원할 수 있음을 보여준다.

그러나, **FinIndices**는 특정 금융 규칙(예: 중국 회계 기준)을 반영하고 있어 일반화 가능성에 한계가 있을 수 있다. 또한, **SFT**는 성능을 일부 개선하지만, **기본적인 구조적 추론 능력**을 완전히 회복하지는 못한다.

실용적 활용

본 연구는 금융 분석, 회계 자동화, 재무 보고 생성 등에서 LLM의 신뢰도를 평가하는 데 활용될 수 있다. 특히, **FinIndices**는 금융 기관이 모델의 **실제 업무 능력**을 평가하는 데 유용한 도구가 될 수 있으며, **SFT**는 모델의 **구조적 추론 능력**을 일부 복원하여 실제 업무에 적용 가능하다.