Abstract
Financial document question answering (QA) demands complex multi-step numerical reasoning over heterogeneous evidence--structured tables, textual narratives, and footnotes--scattered across corporate filings. Existing retrieval-augmented generation (RAG) approaches adopt a single-pass retrieve-then-generate paradigm that struggles with the compositional reasoning chains prevalent in financial analysis. We propose FinAgent-RAG, an agentic RAG framework that orchestrates iterative retrieval-reasoning loops with self-verification, specifically engineered for the precision requirements of financial numerical reasoning. The framework integrates three domain-specific innovations: (1) a Contrastive Financial Retriever trained with hard negative mining to distinguish semantically similar but numerically distinct financial passages, (2) a Program-of-Thought reasoning module that generates executable Python code for precise arithmetic rather than relying on error-prone LLM-based mental computation, and (3) an Adaptive Strategy Router that dynamically allocates computational resources based on question complexity, reducing API costs by 41.3% on FinQA while preserving accuracy. Extensive experiments on three benchmark datasets--FinQA, ConvFinQA, and TAT-QA--demonstrate that FinAgent-RAG achieves 76.81%, 78.46%, and 74.96% execution accuracy respectively, outperforming the strongest baseline by 5.62--9.32 percentage points. Ablation studies, cross-backbone evaluation with four LLMs, and deployment cost analysis confirm the framework's robustness and practical viability for financial institutions.
한국어 요약
📋 한 줄 요약
**[금융 RAG/추론]** 반복 검색-추론 루프와 자기 검증을 갖춘 에이전트형 RAG 프레임워크 FinAgent-RAG를 제안하여, FinQA·ConvFinQA·TAT-QA에서 강력한 베이스라인을 5.62–9.32pp 능가한다.
🎯 핵심 기여도
- 단일 패스 RAG의 합성 추론 한계를 지적하고, 반복적 retrieval-reasoning loop와 self-verification을 도입한 FinAgent-RAG 제안
- 하드 네거티브 마이닝으로 학습한 Contrastive Financial Retriever — 의미는 비슷하지만 수치가 다른 금융 패시지를 구분
- Program-of-Thought 모듈로 정확 산술을 보장(LLM의 머릿속 계산 대신 실행 가능 Python 생성)
- Adaptive Strategy Router로 질문 복잡도에 따라 계산 자원을 동적 배분, FinQA 기준 API 비용 41.3% 절감
💡 핵심 아이디어
금융 QA는 표·서술·각주에 흩어진 증거를 결합하는 다단계 수치 추론을 요구한다. 단일 검색 + LLM 산술이라는 표준 RAG는 정밀도가 부족하므로, 반복 검색·자기 검증·코드 실행을 결합한 에이전트가 필요하다.
🔬 기술적 접근법
- **모델/방법론**: Figure 2의 FinAgent-RAG 전체 아키텍처 — Contrastive Retriever + PoT + Strategy Router
- **핵심 기법**: Figure 3처럼 4종 도메인 특화 hard negative로 retriever 학습, Figure 4의 PoT 파이프라인이 샌드박스 Python으로 산술 수행, Figure 1의 단일 패스 vs FinAgent 비교가 동기를 보여줌
📊 주요 결과
- FinQA 76.81%, ConvFinQA 78.46%, TAT-QA 74.96% 실행 정확도 — 최강 베이스라인 대비 +5.62–9.32pp
- API 비용 41.3% 절감(FinQA), Figure 5: 최대 반복 횟수에 따른 효율-정확도 트레이드오프 분석
- 4개 LLM 백본에 걸친 cross-backbone 평가로 강건성 확인
💭 의의 및 한계
**의의**: 금융 같이 정밀 수치 추론이 핵심인 도메인에서 코드 실행 + 에이전트 RAG의 실용 효과를 정량적으로 입증. **한계**: 도메인 특화 retriever 학습 비용과 PoT 코드 실행 환경 구축이 필요하며, 비정형 표 구조에 대한 일반화는 추가 작업이 필요하다.
🚀 실용적 활용
- 기업 IR 분석·SEC filing 기반 자동 분석 어시스턴트
- 회계·세무 등 다단계 수치 추론이 필요한 도메인 RAG
- 금융기관의 비용 효율적 LLM QA 운영(라우터 기반 절감)