Speculative Sampling in Interactive Video Generation

Interactive video generation commonly relies on small bidirectional chunks to reduce response latency. Yet our preliminary experiments show that larger chunks improve video quality and better utilize GPU parallelism, allowing more latents to be sampled with only a modest increase in sampling time. Motivated by these observations, we propose Speculative Sampling, a strategy that combines the modeling power of large bidirectional windows with the low-latency interaction of small ones. It expands the modeling window by appending noise latents as padding and caches the resulting predictions for reuse when the condition remains unchanged. Predictions are delivered incrementally, while the uncommitted future remains replaceable. Our latency analysis shows that this removes the waiting-time lower bound imposed by chunk boundaries, shifting the optimization focus from reducing chunk size to accelerating per-chunk sampling. Bidirectional window size thus becomes a decision variable for jointly optimizing visual quality and sampling time, rather than a necessary constraint on low-latency interaction. This opens a path to serving large bidirectional models in interactive streaming systems without complex streaming post-training.

한 줄 요약

Speculative Sampling은 대규모 양방향 창구를 활용하면서도 낮은 지연을 유지하는 대화형 동영상 생성 전략이다.

핵심 기여도

조건 도착, 생성, 출력 확정, 재생을 구분하는 간단한 서빙 시스템 모델 제안 (Section 3.1).
창구 크기(K)에 따른 영상 품질, 생성 시간, 중복 계산 분석 (Section 4).
예측을 재사용하고 조건 변경 시 부분 재계획을 수행하는 Recomputation-efficient Speculative Sampling 제안 (Section 3).
Self-Forcing-style post-training 없이 대규모 양방향 모델을 대화형 스트리밍 시스템에 제공하는 새로운 경로 제시.

핵심 아이디어

기존 대화형 동영상 생성은 작은 양방향 창구를 사용해 지연 시간을 줄이지만, 이는 시간적 결합 모델링과 GPU 병렬성 활용을 제한한다. 연구자들은 대규모 창구가 품질과 병렬 효율성을 향상시키며, 생성 시간 증가가 제한적임을 실험적으로 밝혔다. 이에 따라, Speculative Sampling은 창구 확장을 위해 노이즈 레이턴트를 패딩으로 추가하고, 조건이 변경되지 않으면 예측을 캐시하여 재사용한다. 이는 미래 예측을 조건 변경 시 교체 가능하게 유지하면서도, 창구 크기와 생성 시간을 동시에 최적화할 수 있는 새로운 접근법이다.

기술적 접근법

**DiT sampling**을 사용한 레이턴트 확장 창구 생성.
**Noise latents**를 패딩으로 추가하여 창구 확장.
**Two-state finite-state machine** 컨트롤러를 통해 예측 재사용 및 부분 재계획 수행.
**Chunk size K**를 변수로, K가 커질수록 GPU 병렬성 향상 및 레이턴트 샘플링 증가.
**Condition arrivals, generation, output commitment, playback**을 분리한 서빙 시스템 모델.

주요 결과

**Larger-chunk configurations**는 frame-wise 방식보다 평균적으로 더 높은 영상 품질을 보임 (Section 4).
**GPU 병렬성** 활용으로, 레이턴트 샘플링 증가가 생성 시간 증가보다 훨씬 적음.
**Speculative Sampling**은 chunk boundary에 의한 대기 시간 하한을 제거하여, **per-chunk sampling speed**를 최적화의 주요 요소로 전환.
**Self-Forcing-style post-training 없이** 대규모 양방향 모델을 대화형 스트리밍에 제공 가능.

의의 및 한계

Speculative Sampling은 대화형 동영상 생성에서 창구 크기와 지연 시간의 갈등을 해결하는 새로운 전략으로, **DiT sampling**과 **GPU 병렬성**을 활용한 효율적인 예측 재사용을 제안한다. 이는 대규모 모델의 실시간 적용 가능성을 높이고, 복잡한 post-training 없이도 대화형 시스템에 적용할 수 있다는 점에서 실용적 가치가 있다. 그러나, **조건 변경 시 부분 재계획**이 필요한 만큼, 예측의 불확실성과 재사용 효율성에 대한 추가 연구가 필요하다.

실용적 활용

이 방법은 **실시간 VR/AR**, **대화형 영상 편집**, **AI 기반 동영상 스트리밍 서비스** 등에서 적용 가능하다. 특히, **GPU 병렬성**을 최대한 활용하면서도 **낮은 지연 시간**을 유지해야 하는 산업 분야에 유용하다.