From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix

Data-residency constraints force enterprises to self-host LLMs, but continuous adoption of newer models without decommissioning their predecessors expands the serving fleet, fragmenting a finite GPU pool. We consolidate traffic from over 200 internal applications onto a single model by closing quality gaps identified through production error analysis along three axes: instruction following, function-calling, and internal task distribution. Quality is tracked by offline benchmarks stratified to production traffic and scored by deterministic verifiers or calibrated LLM judges. Rather than optimising all objectives jointly, which introduces cross-domain reward interference, we train a separate GRPO expert per axis and merge them via two-stage SLERP. Each expert's reward exposes a distinct failure mode, namely semantic collapse, over-calling, and verbosity hacking, each requiring a domain-specific fix. In non-reasoning mode the recipe surpasses a {sim}7times larger by total parameters baseline on the in-house Arena with 69.6 to 65.8, instruction following with 0.85 to 0.83, and function-calling with 0.79 to 0.77, while lifting general dialogue benchmarks. The model absorbs 50% of platform traffic, 116M requests per month, at a fraction of the serving cost.

한 줄 요약

기업 내 200개 이상의 애플리케이션 트래픽을 단일 모델로 통합하여 GPU 자원을 절약하고 성능을 개선한 내부 LLM 포스트 트레이닝 방법론을 제시한다.

핵심 기여도

**3개 주요 개선 축** (instruction following, function calling, internal task distribution)을 식별하고 개별 GRPO 전문가 모델로 학습한 후 two-stage SLERP로 병합.
**Qwen3-32B 모델**이 ~7× 더 큰 Qwen3-235B-A22B-Instruct-2507 모델보다 in-house Arena에서 69.57 vs. 65.83, BFCL에서 0.79 vs. 0.77의 성능을 보임.
**116M 월간 요청 처리**를 1개 GPU 복제본(vLLM)으로 수행하며, 토큰 단위 비용을 2.8~3.9×, 최대 9×까지 절감.
**공개 체크포인트**를 통해 내부 데이터 없이도 유사한 성능 증가를 재현함.

핵심 아이디어

본 연구는 기업 내 200개 이상의 애플리케이션에서 발생하는 트래픽을 단일 모델로 통합하여 GPU 자원을 절약하고, 유지보수 비용을 낮추는 전략을 제시한다. 기존 방식은 여러 모델을 병행 운용하면서 GPU 풀을 분산시키는 문제를 야기했으나, 본 연구는 **production error analysis**를 통해 식별된 3가지 주요 성능 저하 요인—**instruction following**, **function calling**, **internal task distribution**—을 개선하는 방식으로 단일 모델을 최적화했다.

각 축에 대해 **GRPO (Gradient-based Reward Policy Optimization)** 전문가 모델을 개별적으로 학습한 후, **two-stage SLERP (Spherical Linear Interpolation)**을 통해 병합함으로써 **cross-domain reward interference**를 방지했다. 이는 각 축에서 발생하는 고유한 실패 모드—**semantic collapse**, **over-calling**, **verbosity hacking**—를 개별적으로 해결할 수 있도록 했다.

기술적 접근법

**GRPO 전문가 모델**을 3개 축 (instruction following, function calling, internal task distribution)에 대해 개별적으로 학습.
**two-stage SLERP**을 사용하여 병합: 첫 번째 단계는 각 축의 전문가 모델을 병합, 두 번째 단계는 전체 성능을 조정.
**Qwen3-32B**를 기반으로 학습하며, **SFT (Supervised Fine-Tuning)** 후 GRPO를 수행.
**Offline benchmarks**는 **production traffic**을 기반으로 **stratified sampling**하여 구성. 평가 방법은 **deterministic verifiers**와 **calibrated LLM judges**를 사용.
**vLLM**을 사용한 GPU 복제본에서 **single-GPU FP8 replicas**로 월 116M 요청 처리.

주요 결과

**In-house Arena**에서 Qwen3-32B가 ~7× 더 큰 Qwen3-235B-A22B-Instruct-2507 대비 69.57 vs. 65.83 성능.
**Instruction following**에서 0.85 vs. 0.83, **Function calling**에서 0.79 vs. 0.77.
**ruWildChat**에서 52.0 → 80.7 (4.4점 차이), **SmartSearch F1**에서 0.478 → 0.557.
월 116M 요청 처리, **95th-percentile latency 3.2초**, **time-to-first-token 0.3초**.
토큰 단위 비용은 2.8~3.9×, 최대 9× 절감.

의의 및 한계

본 연구는 기업 내 다수의 애플리케이션 트래픽을 단일 모델로 통합함으로써 GPU 자원을 절약하고, 유지보수 비용을 낮추는 실용적인 방법론을 제시한다. 특히, **modular post-training**을 통해 각 축의 실패 모드를 개별적으로 분석하고 개선함으로써 **debugging**, **auditing**, **extending**이 용이한 구조를 구축했다. 또한, **공개 체크포인트**를 통해 내부 데이터 없이도 유사한 성능을 달성함으로써, 제안된 레시피가 핵심임을 입증했다.

그러나, **frontier-scale agentic capabilities**가 필요한 일부 팀에서는 32B 밀집 모델의 한계가 드러나 **few rollbacks**가 발생했다는 점에서 한계가 있다.

실용적 활용

본 방법론은 GPU 자원이 제한된 기업 환경에서 LLM을 효율적으로 운영하고, 유지보수 비용을 절감하려는 상황에 적합하다. 특히, **다수의 애플리케이션**이 존재하며 **내부 트래픽 분석**이 가능한 기업에서 **production error analysis 기반의 포스트 트레이닝**을 통해 단일 모델로 통합하는 데 활용 가능하다.