E2A-Bench: Benchmarking Evidence-to-Action Reliability in Financial Chart Reasoning

Can financial vision-language models (VLMs) turn chart evidence into reliable action recommendations? Existing hallucination evaluations are mostly claim-centric; they assess whether generated statements are supported, but not whether evidence remains traceable through rationale, confidence, and final action. We introduce E2A-Bench, a 969-query benchmark for financial chart reasoning, constructed from 323 HS300 constituents under three input modalities with deterministic OHLCV-derived evidence anchors. E2A-Bench evaluates grounding, reasoning-action consistency, evidence-confidence calibration, and directional coverage through UCR, RCI, ECI, and NDR, where NDR measures coverage-aware evidence-to-action reliability rather than realized trading performance. Evaluating 20 VLMs reveals three failures hidden by scalar hallucination scores: the lowest-UCR model ranks near the bottom by NDR due to only 6.4% directional coverage; oracle-aided verification reduces unsupported claims but can collapse coverage; and financial fine-tuning amplifies the BUY:SELL ratio by factors of 4.21 to 4.68 across strict base-fine-tuned pairs. These results show that financial VLM evaluation should trace the full evidence-to-action chain rather than rely on a single hallucination score. Code and data: https://github.com/wanng-ide/E2A-Bench

한 줄 요약

E2A-Bench는 금융 차트 추론에서 증거-행동 신뢰도를 평가하는 969개 질문을 포함한 벤치마크로, 기존 홀루시네이션 점수의 한계를 드러낸다.

핵심 기여도

E2A-Bench: 323개의 HS300 종목, 3가지 입력 모달리티, 969개 질문을 기반으로 구성된 금융 차트 추론 신뢰도 평가 벤치마크.
NDR(NDR: Coverage-Aware Evidence-to-Action Reliability) 지표를 제안, 단일 홀루시네이션 점수에 의존하는 평가 방식의 한계를 보여준다.
20개 VLM 평가를 통해 6.4%의 방향성 커버리지로 인한 낮은 NDR(5.1%)와, 파인튜닝 후 BUY:SELL 비율 4.21~4.68배 증가 등의 실패 패턴을 밝힘.

핵심 아이디어

기존 홀루시네이션 평가가 단순히 생성된 진술의 정확성에만 집중하는 반면, 금융 차트 추론에서는 증거가 추론, 신뢰도, 최종 행동까지 일관되게 연결되어야 신뢰성이 확보된다. 이를 위해 E2A-Bench는 증거-행동 연결성을 평가하는 4개 지표(UCR, RCI, ECI, NDR)를 도입한다. 특히 NDR은 단순히 거래 성과가 아닌, 증거 기반 행동 신뢰도를 측정하며, 방향성 커버리지와 결합해 모델의 실제 의사결정 능력을 평가한다. 이는 기존 평가 방식이 커버리지와 체인 일관성을 간과한 점을 보완한다.

기술적 접근법

**E2A-Bench 구성**: 323개 HS300 종목, 30일 OHLCV 데이터, 10개 결정론적 증거 앵커를 기반으로 3,230개의 ground-truth 사실 생성.
**입력 모달리티**: 텍스트-오직, 차트-오직, 멀티모달.
**평가 지표**:
UCR (Unsupported Claim Rate): 생성된 진술 중 증거 없이 생성된 비율.
RCI (Reasoning-Action Consistency Index): 추론과 행동의 일관성.
ECI (Evidence-Confidence Calibration Index): 증거 강도와 신뢰도의 일치 여부.
NDR (Normalized Decision Reliability): 커버리지와 신뢰도를 종합한 행동 신뢰도 지표.
**실험 대상**: 20개 VLM (프로퍼리에타리, 오픈웨이트, 금융 적응 모델 포함).

주요 결과

**Gemma-4-E2B-It**: UCR 39.9%로 낮지만, 방향성 커버리지 6.4%, NDR 5.1%로 최하위 성적.
**Qwen2.5-VL-3B-Instruct**: NDR 32.1% (82.5% 커버리지)로 최상위 성적.
**파인튜닝 효과**: BUY:SELL 비율이 4.21~4.68배 증가.
**오라클 기반 검증**: 홀루시네이션 감소는 있으나 커버리지가 급격히 감소, ΔNDR 음수.

의의 및 한계

E2A-Bench는 단일 홀루시네이션 점수에 의존하는 평가 방식의 한계를 드러내며, 증거-행동 연결성을 종합적으로 평가하는 새로운 프레임워크를 제시한다. 특히 NDR은 단순히 거래 성과가 아닌, 모델이 실제로 신뢰할 수 있는 행동을 내는지를 측정한다. 그러나 E2A-Bench는 HS300 종목에만 기반하며, 다른 시장(예: 외환, 암호화폐)에 대한 일반화 가능성은 명시되지 않음. 또한, 모델의 실제 거래 성과는 평가 대상이 아니므로, 실용적 성과와의 연관성은 추가 연구가 필요하다.

실용적 활용

E2A-Bench는 금융 분석, 자동 투자 조언 시스템, 알고리즘 트레이딩 등에서 VLM의 신뢰도를 평가하는 데 활용 가능하다. 특히, 모델이 단순히 홀루시네이션을 줄이는 것이 아니라, 실제로 행동 가능한 추론을 내는지 확인하는 데 유용하다. 금융 기관이나 알고리즘 투자 플랫폼에서 모델 신뢰도 검증에 적합.