FilmFlow: Agentic System for 3D Virtual Film Cinematography

Complex camera motion is central to visual storytelling, yet translating cinematographic intent into controllable, executable camera trajectories remains challenging. We introduce FilmFlow, an agentic framework that converts natural-language instructions or reference videos into explicit camera trajectories for dynamic 3D environments. To generate these trajectories, a Director agent constructs executable camera plans by composing high-level motions from concurrent atomic operations that jointly control translation, rotation, and framing. The Director is supported by three specialized agents: an Interpreter that extracts scene-grounded cinematographic intent, a Scout that selects initial viewpoints, and a Critic that evaluates rendered results and provides visual feedback for iterative plan refinement. We also introduce CinemaBench, comprising 150 Blender scenes from self-created and licensed sources, with five camera instructions per scene for 750 text-directed tasks and 60 reference videos associated with a subset of scenes. CinemaBench supports evaluation of both text-directed camera generation and video reference-directed camera generation. Across a diverse set of evaluated baselines, FilmFlow achieves the strongest benchmark performance and the highest user preference, demonstrating effective spatial reasoning, temporal coordination, and visual composition for executable 3D cinematography.

한 줄 요약

FilmFlow는 자연어 또는 참조 영상 입력을 3D 환경에서 실행 가능한 카메라 트레젝토리로 생성하는 에이전트 기반 시스템이다.

핵심 기여도

**에이전트 기반 카메라 제작 프레임워크**: FilmFlow는 Interpreter, Scout, Director, Critic 4개의 에이전트를 통해 자연어 및 참조 영상 입력을 처리하여 카메라 트레젝토리를 생성한다.
**동시 원자적 연산을 통한 트레젝토리 구성**: Director는 병렬적으로 실행되는 원자적 연산을 조합하여 카메라 이동, 회전, 프레임 조정을 통합적으로 제어한다.
**CinemaBench 데이터셋**: 150개의 Blender 3D 장면, 750개의 텍스트 지시, 60개의 참조 영상으로 구성된 평가 데이터셋을 제시한다.
**최고 성능**: FilmFlow는 기존 베이스라인 대비 가장 높은 자동 평가 점수와 사용자 선호도를 기록한다.

핵심 아이디어

FilmFlow는 자연어 또는 참조 영상 입력을 기반으로 3D 환경에서 실행 가능한 카메라 트레젝토리를 생성하는 에이전트 기반 시스템이다. 이전 연구는 주로 단일 조건 또는 정적 환경에서 카메라 제어를 다루었으나, FilmFlow는 동적 환경에서 복합적인 카메라 동작을 처리할 수 있도록 설계되었다. 핵심 아이디어는 **Director 에이전트가 병렬적으로 실행되는 원자적 연산**(atomic operations)을 조합하여 카메라 이동, 회전, 프레임 조정을 통합적으로 제어하는 방식이다. 이는 기존 연구에서 단일 연산만 처리하는 방식과 구별된다. 또한, **Critic 에이전트는 시각 피드백을 통해 트레젝토리 수정을 반복적으로 수행**하여 최종적으로 사용자의 촬영 의도에 부합하는 결과를 도출한다. 이는 실행 가능성과 시각적 구성력을 동시에 고려한 반복적 최적화를 가능하게 한다.

기술적 접근법

FilmFlow는 4개의 주요 에이전트로 구성된다:

**Interpreter**: 입력 텍스트 또는 참조 영상에서 촬영 의도를 추출하고, 3D 장면의 객체와 관계를 구조화한 정보를 생성한다.
**Scout**: 초기 카메라 위치를 선택하며, **In-Context Learning (ICL)** 메커니즘을 통해 이전 성공 사례를 참조하여 효율적인 시작점을 제안한다.
**Director**: 병렬적으로 실행되는 원자적 연산을 조합하여 카메라 트레젝토리를 생성한다.
**Critic**: 생성된 트레젝토리의 렌더링 결과를 평가하고, **시각 피드백을 기반으로 트레젝토리 수정을 반복적으로 수행**한다.

모든 연산은 **시간 간격(interval)**을 명시하며, 이는 카메라 이동, 회전, 프레임 조정을 조율하는 데 사용된다. 평가 단계에서는 **VideoReward, DOVER, Probe** 등의 외부 평가 모델을 사용하여 점수를 산출하며, 이는 FilmFlow 내부 모델과 공유되지 않는다.

주요 결과

**CinemaBench 데이터셋 평가**: FilmFlow는 750개의 텍스트 지시(T2V) 및 60개의 참조 영상(V2V) 기반 작업에서 기존 베이스라인 대비 가장 높은 성능을 보인다.
**자동 평가 점수**: FilmFlow는 **DOVER, VideoReward, Probe** 등의 외부 평가 지표에서 최고 점수를 기록하며, 사용자 선호도 조사에서도 가장 높은 점수를 받는다.
**Ablation Study**: Scout, Critic, ICL 제거 시 성능이 감소하며, 특히 **Critic 제거 시 DOVER 점수가 1.6% 하락**하는 것으로 나타난다.
**비교 실험**: FilmFlow는 **모든 평가 지표에서 기존 베이스라인 대비 1~3% 포인트 이상 개선**되는 것으로 나타난다.

의의 및 한계

FilmFlow는 3D 환경에서 자연어 및 참조 영상 입력을 기반으로 실행 가능한 카메라 트레젝토리를 생성하는 최초의 에이전트 기반 시스템으로, **동적 환경에서 복합적인 카메라 동작을 처리할 수 있는 기술적 가능성을 제시**한다. 특히, 병렬 원자적 연산과 반복적 시각 피드백을 통한 트레젝토리 최적화는 기존 연구에서 다루지 못한 새로운 접근법이다. 그러나, **FilmFlow는 대규모 모델(gpt-6-astra)에 의존**하며, 추후 연구에서는 더 작고 효율적인 모델로 성능을 유지할 수 있는지 탐구할 필요가 있다. 또한, **CinemaBench는 Blender 기반의 3D 장면에만 적용**되므로, 실제 영화 제작 환경과의 호환성은 추가 연구가 필요하다.

실용적 활용

FilmFlow는 영화 제작, 게임 개발, VR/AR 콘텐츠 제작 등에서 **자동 카메라 제어 및 촬영 계획 수립에 활용**될 수 있다. 특히, **자연어 또는 참조 영상만으로도 정교한 카메라 트레젝토리를 생성**할 수 있어, 비전문가도 쉽게 3D 콘텐츠를 제작할 수 있도록 지원한다. 또한, **CinemaBench는 관련 연구 및 개발의 평가 기준으로 활용**될 수 있다.