Despite efforts to improve the quality of service (QoS) and throughput in Large Language Model (LLM) serving systems, progress is often limited by the lack of publicly available real-world workloads. Consequently, evaluations usually depend on synthetic or oversimplified load patterns, and systems that appear promising in testing frequently underperform once deployed. This work presents BurstGPT, an LLM serving workload with 10.31 million traces from regional Azure OpenAI GPT services over 213 days. BurstGPT captures LLM serving characteristics from user, model and system perspectives: (1) User request concurrency: burstiness variations of requests in Azure OpenAI GPT services, revealing diversified concurrency patterns in different services and model types. (2) User conversation patterns: counts and intervals within conversations for service optimizations. (3) Model response lengths: auto-regressive serving processes of GPT models, showing statistical relations between requests and their responses. (4) System response failures: failures of conversation and API services, showing intensive resource needs and limited availability of LLM services in Azure. The details of the characteristics can serve multiple purposes in LLM serving optimizations, such as system evaluation and trace provisioning. In our demo evaluation with BurstGPT, frequent variations in BurstGPT reveal declines in efficiency, stability, or reliability in realistic LLM serving. We identify that the generalization of KV cache management, scheduling and disaggregation optimizations can be improved under realistic workload evaluations. BurstGPT is publicly available now at https://github.com/HPMLL/BurstGPT and is widely used to develop prototypes of LLM serving frameworks in the industry.
한 줄 요약
BurstGPT는 Azure OpenAI GPT 서비스에서 수집한 10.31만 건의 실제 LLM 서빙 워크로드 데이터셋으로, 서빙 시스템 최적화에 활용 가능하다.
핵심 기여도
- 213일간 Azure OpenAI GPT 서비스에서 수집한 10.31만 건의 실제 서빙 트레이스 제공.
- 사용자 요청 동시성, 대화 패턴, 모델 응답 길이, 시스템 실패율 등 4가지 서빙 특성 분석.
- KV 캐시 관리, 스케줄링, 디스어그리게이션 최적화의 일반화 한계를 실제 워크로드 평가를 통해 드러냄.
- BurstGPT-Perf 벤치마크 스위트를 오픈소스로 제공하여 서빙 프레임워크 개발에 활용.
핵심 아이디어
기존 연구는 LLM 서빙 시스템 평가에 합성 워크로드를 사용하여 실제 성능을 제대로 반영하지 못했다. BurstGPT는 Azure OpenAI GPT 서비스에서 실제 사용자 요청을 213일간 모니터링하여 수집한 데이터셋으로, 사용자, 모델, 시스템 3가지 관점에서 서빙 특성을 포착한다. 특히, 요청 동시성의 변동성, 대화 내 요청 간격, 응답 길이의 통계적 관계, 그리고 시스템 실패율을 분석함으로써, 서빙 최적화를 위한 구체적인 인사이트를 제공한다. 예를 들어, KV 캐시 관리의 비효율성은 BurstGPT의 변동성 패턴으로 인해 메모리 병목 현상으로 이어진다는 점이 밝혀졌다.
기술적 접근법
- **데이터 수집**: Azure OpenAI GPT 서비스에서 213일간 3,000명 이상의 사용자 요청을 모니터링.
- **트레이스 구성**: 요청 시작 시간, 토큰 길이, 서비스 유형(API/대화형), 모델 유형(ChatGPT/GPT-4) 포함.
- **데이터셋 구성**: ChatGPT API 8.69만 건, GPT-4 API 0.95만 건, ChatGPT 대화형 0.30만 건, GPT-4 대화형 0.16만 건.
- **평가 워크플로우**: Workload Generator, Concurrency Generator, Prompt Pool, Inference Engine 모듈을 활용한 시스템 성능 평가.
- **수치 모델링**: RPS 스케일링 또는 λ, α, β 파라미터를 사용한 트레이스 모델링 가능.
주요 결과
- **사용자 요청 동시성**: BurstGPT의 동시성 패턴은 API 서비스와 대화형 서비스 간 차이가 명확함.
- **모델 응답 길이**: 요청 길이와 응답 길이의 통계적 관계를 분석하여 미래 응답 예측 가능.
- **시스템 실패율**: BurstGPT의 실패율은 KV 캐시 관리의 비효율성으로 인한 메모리 병목 현상과 관련됨.
- **성능 평가**: BurstGPT-Perf를 사용한 평가에서, LLM 워크로드와 비-LLM 워크로드 간 성능 차이를 명확히 드러냄.
의의 및 한계
BurstGPT는 실제 LLM 서빙 환경을 반영한 최초의 대규모 워크로드 데이터셋으로, 서빙 시스템 최적화 연구에 중요한 기초 자료가 될 수 있다. 특히, KV 캐시 관리, 스케줄링, 디스어그리게이션 최적화의 일반화 한계를 드러내며, 실제 워크로드 기반 평가의 중요성을 강조한다. 그러나 BurstGPT는 Azure OpenAI GPT 서비스에만 기반한 데이터로, 다른 클라우드 플랫폼의 서빙 패턴은 반영하지 못한다는 한계가 있다.
실용적 활용
BurstGPT는 클라우드 기반 LLM 서빙 시스템의 성능 평가, 자원 할당 최적화, KV 캐시 관리 전략 개선 등에 활용 가능하다. 특히, BurstGPT-Perf 벤치마크 스위트는 산업 현장에서 LLM 서빙 프레임워크 프로토타입 개발에 널리 사용되고 있다.