video-generation video-quality motion-control controllable-video graph-conditioned interaction-graphs graphvid graphvid-bench
Abstract
Controllable video generation remains challenging due to the difficulty of specifying precise multi-object interactions using text prompts or motion-control inputs that primarily constrain pixel movement. In practice, trajectory-based control often requires users to draw accurate tracks for multiple objects, which scales poorly with scene complexity and becomes ambiguous under occlusion or overlap. To enable flexible yet precise multi-subject control, we introduce GraphVid, a graph-conditioned image-to-video generation model that enables interactive control through structured interaction graphs. We further curate GraphVid-Bench, a large-scale interaction-centric video dataset with structured relational annotations to enable training of interaction-aware video generation models. Despite using substantially less training data and fewer trainable parameters than prior motion-control methods, GraphVid delivers strong controllability and video quality. Compared with Motion-I2V, GraphVid reduces FID by up to 39.9% and FVD by 37.6%, while improving PSNR (9.87=>15.98) and SSIM (0.38=>0.61). Our results highlight the potential of structured semantic interfaces as a powerful paradigm for controllable video generation.
한국어 요약
한 줄 요약
GraphVid는 구조화된 상호작용 그래프를 기반으로 정밀한 멀티오브젝트 제어를 가능하게 하는 이미지-비디오 생성 모델이다.
핵심 기여도
- GraphVid는 구조화된 상호작용 그래프를 조건으로 사용하여 멀티오브젝트 비디오 생성을 제어한다.
- GraphVid-Bench라는 대규모 상호작용 중심 비디오 데이터셋을 제시한다.
- Motion-I2V 대비 FID 39.9%, FVD 37.6% 감소, PSNR 15.98 (9.87→), SSIM 0.61 (0.38→) 향상.
핵심 아이디어
기존 텍스트나 트래젝토리 기반 제어는 복잡한 상황에서 정밀도가 떨어지고 사용자 부담이 크다. GraphVid는 상호작용 관계를 그래프로 표현하여, 객체 간 관계를 명시적으로 제어할 수 있도록 한다. 이는 비디오 생성 과정에서 객체 간의 의미 있는 상호작용을 반영할 수 있게 하며, 특히 가리기나 겹침 상황에서도 명확한 제어가 가능하다. 구조화된 그래프 조건은 기존 픽셀 기반 제어와 달리 의미적 관계를 유지하면서도 유연한 제어를 가능하게 한다.
기술적 접근법
- GraphVid는 이미지-비디오 생성 모델로, 구조화된 상호작용 그래프를 조건으로 사용한다.
- GraphVid-Bench는 상호작용 중심의 비디오 데이터셋으로, 관계 기반 어노테이션을 포함한다.
- 학습 데이터와 파라미터 수가 기존 motion-control 방법보다 적음에도 우수한 성능을 보인다.
주요 결과
- Motion-I2V 대비 FID 39.9% 감소, FVD 37.6% 감소.
- PSNR 9.87에서 15.98로 향상, SSIM 0.38에서 0.61로 향상.
- GraphVid-Bench 데이터셋을 통해 상호작용 인식 비디오 생성 모델 학습 가능.
의의 및 한계
GraphVid는 구조화된 의미 인터페이스를 통해 비디오 생성의 제어성을 향상시키는 새로운 패러다임을 제시한다. 특히 복잡한 멀티오브젝트 상황에서 기존 방법보다 우수한 결과를 보인다. 그러나 사용 가능한 상호작용 그래프의 정확성과 품질에 따라 성능이 영향을 받을 수 있으며, 대규모 실시간 상호작용 지원은 아직 명시되지 않음.
실용적 활용
GraphVid는 콘텐츠 제작, 게임 개발, VR/AR 등에서 사용자 지정 멀티오브젝트 비디오 생성을 지원할 수 있다. 특히 복잡한 객체 상호작용이 필요한 산업 분야에서 유용하게 활용될 수 있다.