TurboServe: Serving Streaming Video Generation Efficiently and Economically

Streaming video generation is emerging as a new serving workload in which users interact with long-lived sessions that generate video progressively, chunk by chunk. Unlike offline video generation or typical LLM serving, streaming video generation must preserve session state across active and idle periods, repeatedly schedule ongoing sessions, and deliver each chunk under a tight latency target. This creates two key serving challenges in multi-user, multi-GPU environments: session duration heterogeneity, where long-running sessions make placement decisions suboptimal over time, and temporal user-demand heterogeneity, where the number of active sessions fluctuates sharply across bursts and idle periods. We present TurboServe, the first serving system designed specifically for streaming video generation workloads. TurboServe formulates serving as an online scheduling problem that jointly coordinates session placement and GPU provisioning. Its closed-loop scheduling algorithm combines a migration-aware placement controller, which rebalances sessions across GPUs to reduce the maximum per-chunk latency, with a load-driven autoscaling controller, which adapts the GPU budget to workload variation for improved cost efficiency. To support these decisions at runtime, TurboServe implements coalesced chunk processing for batching concurrent active sessions on the same GPU, GPU-CPU offloading for session suspension and resumption, and NCCL-based GPU-GPU migration for online rebalancing. We evaluate TurboServe on real-world production traces from Shengshu Technology across multiple model sizes and GPU clusters with up to 64 NVIDIA B300 GPUs. Compared with baseline serving configurations, TurboServe reduces worst-case per-chunk latency by 37.5% and total GPU operating cost by 37.2% on average. Our code is publicly available at https://github.com/shengshu-ai/TurboServe.

한 줄 요약

TurboServe는 스트리밍 영상 생성 작업을 위한 최초의 서빙 시스템으로, 평균 37.5%의 최악의 경우 지연 감소와 37.2%의 GPU 운영 비용 절감을 달성한다.

핵심 기여도

**최초의 스트리밍 영상 생성 서빙 시스템**: TurboServe는 다중 사용자, 다중 GPU 환경에서 동작하는 최초의 스트리밍 영상 생성 서빙 시스템이다.
**클로즈드-루프 스케줄링 알고리즘**: 마이그레이션-어웨어 배치 컨트롤러와 로드-드리븐 오토스케일링 컨트롤러를 결합한 클로즈드-루프 스케줄링 알고리즘을 설계하여, 최악의 경우 지연을 최소화하고 비용 효율성을 높인다.
**실제 운영 트레이스 기반 평가**: Shengshu Technology의 실제 운영 트레이스를 사용하여 최대 64개의 NVIDIA B300 GPU 클러스터에서 평가했으며, 기존 시스템 대비 평균 37.5%의 최악의 경우 지연 감소와 37.2%의 GPU 운영 비용 절감을 달성했다.

핵심 아이디어

TurboServe는 스트리밍 영상 생성 작업이 오프라인 생성과는 달리, 장기 세션을 유지하면서 지속적으로 채결을 생성하고, 각 채결이 엄격한 지연 제약을 만족해야 한다는 점에서 기존 서빙 시스템과의 차이를 인식한다. 이에 따라, TurboServe는 세션 배치와 GPU 자원 할당을 **동시에 조율하는 온라인 스케줄링 문제**로 모델링한다.

기존 서빙 시스템은 단일 요청 중심의 무상태 작업을 가정하지만, 스트리밍 영상 생성은 **상태를 유지하는 장기 세션**을 기반으로 하므로, 세션의 상태를 반복적으로 스케줄링하고, GPU 간 마이그레이션을 통해 부하를 균형 있게 분배해야 한다. TurboServe는 이를 위해 **마이그레이션-어웨어 배치 컨트롤러**와 **로드-드리븐 오토스케일링 컨트롤러**를 결합한 클로즈드-루프 알고리즘을 설계하여, GPU 예산과 세션 배치 간의 상호작용을 최적화한다.

기술적 접근법

**클로즈드-루프 스케줄링 알고리즘**: 마이그레이션-어웨어 배치 컨트롤러는 GPU 간 세션 재배치를 통해 최악의 경우 채결 지연을 최소화하고, 로드-드리븐 오토스케일링 컨트롤러는 실시간 부하 피드백을 기반으로 GPU 예산을 조정한다.
**코알레스드 채결 처리 (coalesced chunk processing)**: 동일 GPU에서 병렬 실행 중인 세션의 채결을 배치 처리하여 효율성을 높인다.
**GPU-CPU 오프로딩**: 비활동 세션의 상태를 CPU로 이관하여 GPU 리소스를 절약하고, 필요 시 다시 GPU로 복귀한다.
**NCCL 기반 GPU-GPU 마이그레이션**: 온라인 재배치를 지원하며, 세션 상태를 다른 GPU로 이동시킬 수 있다.
**GPU 클러스터 최대 64개 (NVIDIA B300)**: Shengshu Technology의 실제 운영 트레이스를 기반으로 평가를 수행했다.

주요 결과

**Shengshu Technology의 실제 운영 트레이스**에서 평가한 결과, TurboServe는 기존 기반 서빙 구성 대비 **평균 37.5%의 최악의 경우 채결 지연 감소**와 **37.2%의 GPU 운영 비용 절감**을 달성했다.
**NVIDIA B300 GPU 클러스터 (최대 64개)**에서 평가되었으며, 다양한 모델 크기와 부하 조건에서 일관된 성능 개선을 보였다.

의의 및 한계

TurboServe는 스트리밍 영상 생성 작업의 고유한 특성, 즉 **장기 세션 유지**, **동적 부하 변화**, **엄격한 지연 제약**을 반영한 첫 번째 서빙 시스템으로, 클러스터 수준에서의 효율성과 비용 절감을 동시에 달성한다. 특히, **세션 배치와 GPU 자원 할당을 통합적으로 조율하는 클로즈드-루프 스케줄링**은 기존 서빙 시스템에서 해결하지 못한 문제를 해결한다.

그러나, TurboServe는 특정 GPU 아키텍처(NVIDIA B300)와 특정 모델 아키텍처에 기반한 평가를 수행했기 때문에, **다른 하드웨어나 모델 아키텍처에 대한 일반화 가능성**은 추가 연구가 필요하다. 또한, **초기 세션 배치 결정 시의 최적화**나 **세션 마이그레이션 비용**에 대한 상세한 분석도 제시되지 않았다.

실용적 활용

TurboServe는 **실시간 영상 생성**, **사용자 상호작용 기반 영상 편집**, **게임 또는 교육용 동영상 생성** 등에서 활용 가능하다. 특히, **다중 사용자 환경에서 GPU 자원을 효율적으로 관리하면서 지연을 최소화해야 하는 클라우드 서빙 플랫폼**에 적합하다.