Rethinking LLMOps for Fraud and AML: Building a Compliance-Grade LLM Serving Stack

Fraud detection and anti-money-laundering (AML) compliance are high-value domains for large language models (LLMs), but their serving requirements differ sharply from generic chat workloads. Compliance prompts are often prefix-heavy, schema-constrained, and evidence-rich, combining reusable policy instructions, risk taxonomies, transaction or document context, and short structured outputs such as JSON labels or risk factors. These properties make prefix reuse, KV-cache efficiency, runtime tuning, model orchestration, and output validation first-order systems concerns. This paper introduces a workload-aware LLMOps stack for fraud and AML workloads using self-hosted open-weight models such as Meta Llama and Alibaba Qwen. The stack combines vLLM-style runtime tuning, PagedAttention, Automatic Prefix Caching, multi-adapter serving, adapter and prompt-length-aware batching, sleep/wake lifecycle management, speculative decoding, and optional prefill/decode disaggregation. To avoid exposing institution-specific data, the reproducibility track converts public synthetic AML datasets, including IBM AML and SAML-D, into prefix-heavy compliance prompts with reusable policy text, transaction evidence, typology definitions, and schema-constrained outputs. We also incorporate an LLM-as-judge quality gate using deterministic compliance checks, reference metrics, expert-adjudicated calibration data where available, and multi-judge rubric scoring. Across public-synthetic AML workloads and controlled serving benchmarks, workload-aware tuning improved throughput from 612-650 to 3,600 requests/hour, reduced P99 latency from 31-38 seconds to 6.4-8.7 seconds, and increased GPU utilization from 12% to 78%. These results show that regulated LLM performance is a workload-design, serving-optimization, and quality-gating problem, not only a model-selection problem.

📋 한 줄 요약

**[LLMOps / 컴플라이언스]** 사기 탐지·자금세탁방지(AML) 워크로드에 특화된 workload-aware LLM 서빙 스택 설계로 처리량 약 5.9배, P99 지연 약 4~5배 개선을 달성한 컴플라이언스급 LLMOps 청사진 제시.

🎯 핵심 기여도

사기·AML 컴플라이언스 프롬프트의 prefix-heavy, schema-constrained, evidence-rich 특성이 일반 채팅 워크로드와 다름을 운영 시스템 수준에서 정식화.
vLLM-style 런타임 튜닝·PagedAttention·Automatic Prefix Caching·다중 어댑터 서빙·prompt-length-aware 배칭·sleep/wake lifecycle·speculative decoding·prefill/decode disaggregation을 종합한 스택 설계.
공개 합성 AML 데이터셋(IBM AML, SAML-D)을 prefix-heavy 컴플라이언스 프롬프트로 재구성한 재현 가능 트랙 제공.
LLM-as-judge 품질 게이트와 결정론적 컴플라이언스 검사·전문가 보정 데이터·다중 judge 루브릭을 결합한 평가 프레임워크 제시.

💡 핵심 아이디어

컴플라이언스 LLM의 성능은 모델 선택만의 문제가 아니라 workload 특성에 맞춘 서빙 최적화와 품질 게이팅의 합작이다. 정책 텍스트·리스크 분류·증거를 결합한 prefix 재사용을 KV-cache 효율과 결합하면 처리량·지연·GPU 활용률을 동시에 개선할 수 있다.

🔬 기술적 접근법

**모델/방법론**: Meta Llama·Alibaba Qwen 자기 호스팅 + vLLM 스타일 서빙 런타임.
**핵심 기법**: PagedAttention + Automatic Prefix Caching(정책 재사용 극대화), prompt-length-aware 배칭, multi-adapter 서빙, sleep/wake lifecycle 관리, speculative decoding, 선택적 prefill/decode disaggregation, schema-constrained output, LLM-as-judge 다층 평가.

📊 주요 결과

처리량: 612~650 → 3,600 req/h (약 5.9배).
P99 지연: 31~38초 → 6.4~8.7초 (약 4~5배 개선).
GPU 활용률: 12% → 78%.
공개 합성 AML 데이터셋에서 재현 가능한 평가 트랙 확보.

💭 의의 및 한계

**의의**: 규제 산업에서 LLM 도입을 막던 지연·비용·검증 가능성 장벽을 시스템 수준에서 무너뜨리는 실용 청사진 제공. **한계**: 평가가 공개 합성 데이터·통제 벤치마크에 집중, 실제 금융 기관 데이터·규제 감사 환경에서의 검증은 추가 단계.

🚀 실용적 활용

은행·핀테크의 AML/사기 의심 거래 일차 스크리닝 자동화.
정책 prefix가 재사용되는 컴플라이언스 워크로드(KYC, 제재 스크리닝 등)에 동일 스택 이식.
규제 산업의 자체 호스팅 LLM 운영 시 표준 서빙 최적화 레퍼런스.