Abstract
Large language models (LLMs) are rapidly being adopted across various domains. However, their adoption in banking industry faces resistance due to demands for high accuracy, regulatory compliance, and the need for verifiable and grounded responses. We present a unified, data-efficient framework for training grounded domain-specific LLMs that optimizes answer quality, citation grounding, and calibrated refusal under real-world deployment constraints. First, we describe a data generation pipeline that combines LLM-as-a-Judge filtering, citation annotation, and curriculum learning with only 143M tokens. The resulting 12B model achieves high answer quality outperforming GPT-4.1 on citation grounding, with a modest citation tradeoff versus the untuned base. Second, we propose a calibrated refusal mechanism: training on 22% unanswerable examples yield a 12% "I don't know" rate, substantially improving over the base model's unsafe 4.3% rate while avoiding GPT-4.1's over-refusal (20.2%). Third, we present an end-to-end methodology spanning from data curation to quantized serving. The system is deployed at 40+ financial institutions, achieving a 7.1 percentage point improvement in query resolution (p < 0.001). Additionally, the model delivers 3-5x faster responses at 20-50x lower cost compared to GPT-4.1.
한국어 요약
📋 한 줄 요약
**[도메인 특화 LLM/금융]** 12B 규모 모델로 인용 그라운딩과 캘리브레이션된 거절(refusal)을 갖춘 은행 도메인 RAG QA 모델 FinRAG-12B를 제안하고, 40여 개 금융기관 실제 운영 결과를 함께 보고한다.
🎯 핵심 기여도
- LLM-as-a-Judge 필터링·인용 주석·커리큘럼 학습을 결합한 데이터 효율적 학습 파이프라인(143M 토큰)
- 12B 모델로 인용 그라운딩에서 GPT-4.1을 능가하는 답변 품질 달성
- "I don't know"를 22% 답변 불가 예시로 학습해 12% 거절률을 확보(GPT-4.1 20.2% 과거절 vs 베이스 4.3% 위험 거절률 사이 균형)
- 데이터 큐레이션부터 양자화 서빙까지 엔드투엔드 방법론 + 40+ 금융기관 배포 결과 (질의 해결률 +7.1pp, p<0.001)
💡 핵심 아이디어
은행권 LLM 도입의 장벽은 정확도, 규제 준수, 검증 가능한 근거 인용이다. 작은 12B 모델이라도 인용·거절을 명시적으로 학습하면 GPT-4.1보다 더 안전하고 비용·지연 시간 면에서 압도적인 운영형 모델을 만들 수 있다.
🔬 기술적 접근법
- **모델/방법론**: 12B 베이스 LLM에 LLM-as-a-Judge 필터·커리큘럼 학습 적용 (Table 1의 학습 데이터 구성, Table 3의 커리큘럼 단계)
- **핵심 기법**: 인용 주석으로 답변 그라운딩 학습 + unanswerable 22% 비율로 캘리브레이션된 거절 학습, 양자화 후 서빙(Figure 1의 TTFT 비교)
📊 주요 결과
- 인용 그라운딩에서 GPT-4.1 초과(소폭 인용 trade-off)
- Table 5: FinanceBench(150 SEC 문서 질문)에서 강력한 성능
- 운영 배포: 질의 해결률 +7.1pp(p<0.001), 응답 속도 3–5배, 비용 20–50배 절감
💭 의의 및 한계
**의의**: 규제 산업에서 소형 도메인 특화 LLM이 폐쇄형 거대 LLM을 실제 KPI로 능가할 수 있음을 입증한 산업 사례. **한계**: 인용은 베이스 대비 trade-off가 있고, 결과는 은행 도메인·기관 데이터에 특화되어 일반화에는 추가 검증 필요.
🚀 실용적 활용
- 은행 콜센터·사내 컴플라이언스 어시스턴트
- 규제 요건이 높은 보험·법률·헬스케어 RAG QA
- 폐쇄형 API 의존을 줄이려는 온프레미스 도메인 LLM 구축