DirCast: Live Esports Directing and Commentary with a Single Streaming Video-Language Model

A live esports broadcast needs a director who chooses which camera goes on air and a caster who talks over that choice, every second and without knowing what comes next. Streaming video language models have learned to commentate, but only over a broadcast that a human director has already produced. We study live broadcast production, in which a model receives the raw camera of every player and must both direct and commentate from the past alone. We present DirCast, a single streaming video language model that does both. Every second it scans all cameras at low resolution, decides with a hold-or-switch director whether and where to cut, and reads the chosen camera at high resolution before it speaks. Its context keeps what went on air and what was said and lets the other views expire, which bounds the cost of a stream of any length. We build a dataset of 27 professional Dota 2 matches with a camera for every hero, the human director's choices and the casters' commentary. DirCast directs better than rule-based and zero-shot directors including GPT-5, and its commentary wins 29.2 percent of comparisons against GPT-4o under the Proact-VL protocol, against 19.4 percent for the strongest of eleven streaming commentators that watch the human broadcast.

한 줄 요약

DirCast는 단일 모델로 e스포츠 방송의 디렉팅과 캐스팅을 실시간 처리하는 스트리밍 영상 언어 모델이다.

핵심 기여도

**Live Broadcast Production**이라는 새로운 작업 정의 및 27개의 프로 Dota 2 경기 데이터셋 구축.
**DirCast**라는 단일 스트리밍 영상 언어 모델 제안: 디렉팅과 캐스팅을 동시에 수행.
**Hold-or-switch 디렉터** 모듈을 통해 매초 카메라 전환 결정.
**Proact-VL 프로토콜** 기준, GPT-4o 대비 29.2%의 비교 승률 달성 (기존 최고 모델 대비 9.8%P 상승).

핵심 아이디어

기존 스트리밍 영상 언어 모델은 인간 디렉터가 선정한 방송을 기반으로 캐스팅만 수행했으나, DirCast는 **원천 카메라 피드**만을 입력으로 받아 **디렉팅과 캐스팅을 동시에** 처리한다. 이는 두 작업이 서로 의존적이라는 통찰에서 출발한다: 디렉터가 어떤 장면을 선택하면, 캐스터는 그 장면을 설명해야 하며, 이전의 선택이 이후의 콘텐츠에 영향을 미친다. DirCast는 **단일 인과적 영상 언어 모델**로, 디렉팅 결정 이후에 캐스팅을 생성하며, **context 관리**를 통해 실시간 처리와 비용 최적화를 동시에 달성한다.

기술적 접근법

**Hold-or-switch 디렉터** 모듈: 매초 10개의 저해상도 카메라 피드를 스캔하고, 현재 장면을 유지할지 전환할지 결정.
**Low-resolution feed tokens**은 몇 초 후 context에서 제거되며, **on-air view와 캐스팅 내용**은 유지되어 메모리 사용을 제한.
**Perturbed programs**를 사용한 훈련: 디렉터가 인간의 선택과 다른 방송을 생성해도, 캐스터가 그 장면을 설명하도록 학습.
**Event-anchored targets**를 통해 킬 발생 시 해당 영웅의 카메라를 선택하는 것을 강화 학습.
**Inference 시 threshold 조정**: 모델의 전환 및 캐스팅 빈도를 인간 크루의 평균 수준에 맞춤.

주요 결과

**Proact-VL 프로토콜** 기준, GPT-4o 대비 29.2%의 비교 승률 달성 (기존 최고 모델 대비 19.4% 대비 9.8%P 상승).
**Dota 2 데이터셋**에서 89.1%의 킬 커버리지 달성.
**인간 크루와의 일치율**에서 GPT-5보다 높은 성능.
**캐스팅 시작 지연 시간**은 평균 0.30초 (인간 캐스터 대비 유사 수준).
**단일 모델**로 디렉팅과 캐스팅을 수행하면서, 두 개의 별도 모델 대비 **반 이상의 메모리 절감**.

의의 및 한계

DirCast는 e스포츠 방송 분야에서 **실시간, 통합형 AI 제작 시스템**의 가능성을 입증한다. 기존에는 디렉팅과 캐스팅이 분리되어 연구되었으나, DirCast는 두 작업의 **상호 의존성**을 모델링함으로써 전체 방송 품질을 향상시킨다. 특히, **인간 크루의 방식과 유사한 전환 빈도**와 **킬 커버리지**는 실용성과 학술적 가치를 동시에 입증한다. 그러나 모델은 **Dota 2에만 적용**되었으며, 다른 게임이나 방송 형식으로 확장 가능성은 명시되지 않음. 또한, **복잡한 전략적 분석**이나 **다양한 스타일의 캐스팅**은 여전히 한계가 있을 수 있음.

실용적 활용

DirCast는 **지역 리그나 아마추어 e스포츠 경기**의 방송 자동화에 활용 가능하며, **저예산 크리에이터**나 **실시간 스트리머**에게 실시간 캐스팅과 디렉팅을 제공할 수 있다. 또한, **AI 기반 방송 제작 플랫폼**에 통합되어 대규모 경기의 자동 방송 제작을 지원할 수 있음.