CineMobile: On-Device Image-to-Video Diffusion for Cinematic Camera Motion Generation

The growing demand for image-to-video creation on mobile devices has increasingly focused on cinematic motion effects like bullet time, dolly zoom, slow motion, etc. While Diffusion Transformers (DiTs) exhibit strong performance in video generation, their large parameter sizes and multi-step iterative denoising processes lead to substantial computational overhead, making efficient generation on mobile devices challenging. We propose CineMobile to bridge the gap. In particular, CineMobile adopts a three-fold optimization strategy: (1) leveraging a distillation-guided pruning approach to derive a compact yet efficient model that retains the essential video generation capabilities required for cinematic effects; (2) optimizing the compressed model into a 4-step generator via a combination of diffusion distillation and reinforcement learning; (3) employing a hybrid post-training quantization strategy to compress the model footprint to under 1 GB. Experimental results show that compared to the teacher model with the Wan 2.1 architecture, CineMobile achieves a 40x speedup in generation while maintaining comparable visual quality. Specifically, CineMobile generates 49-frame 480p videos with a per-step denoising latency of 0.6s on an NVIDIA H200 GPU and 20s on the MediaTek Dimensity 8400 Ultimate 5G platform, with a peak memory usage of 1.8 GB, demonstrating its practical applicability for mobile-based image-to-video creation.

한 줄 요약

CineMobile은 모바일 기기에서 영화적 카메라 효과를 생성하는 효율적인 이미지-비디오 생성 모델로, 40배 가속화된 생성 속도와 1GB 미만의 모델 크기를 달성했다.

핵심 기여도

**Distillation-guided pruning**을 통해 핵심적인 영상 생성 능력을 유지하면서 모델을 압축.
**Diffusion distillation + 강화학습**을 결합한 4단계 생성기로, 생성 속도를 대폭 향상.
**Hybrid post-training quantization**을 통해 모델 크기를 1GB 미만으로 압축.
**Wan2.1-I2V-14B** 기반 모델 대비 40배 빠른 생성 속도를 유지하면서 시각 품질 유지.

핵심 아이디어

CineMobile은 기존 Diffusion Transformer(DiT) 기반 모델이 모바일 기기에서 사용하기 어려운 문제를 해결하기 위해, **구조적 프루닝**, **스텝 디스틸레이션**, **하이브리드 정밀도 양자화**를 결합한 세 가지 최적화 전략을 제안한다.
특히, **PPCL(Pluggable Pruning with Contiguous Layer Distillation)** 방법을 이미지-비디오 생성에 확장하여, 모델의 깊이를 줄이면서도 히든 차원을 유지함으로써 얼굴 세부 표현과 카메라 제어 안정성을 보장한다.
이후, **AdvDMD(Advantage-based Distribution Matching Distillation)**에 강화학습(RL)을 통합한 방식으로 4단계 생성기를 학습하여, 디노이징 단계를 최소화하면서도 높은 품질의 영상 생성을 가능하게 한다.
마지막으로, **FFN 가중치를 4비트, 나머지를 8비트로 양자화**하여 메모리 사용량을 1.8GB 이하로 줄인다.

기술적 접근법

**모델 아키텍처**: Wan2.1-I2V-14B 기반, LoRA 모듈을 사용한 효과별 파인튜닝.
**프루닝**: PPCL을 확장하여 DiT 백본의 깊이를 줄이되 히든 차원은 유지.
**디스틸레이션**: AdvDMD + RL을 결합한 4단계 디노이징 생성기 학습.
**양자화**: FFN 4-bit, 나머지 8-bit로 하이브리드 정밀도 적용.
**하드웨어**: NVIDIA H200 GPU, MediaTek Dimensity 8400 Ultimate 5G 플랫폼에서 평가.

주요 결과

**Wan2.1-I2V-14B** 기반 모델 대비 **40배 빠른 생성 속도**.
**49프레임 480p 영상 생성** 시, H200 GPU 기준 **0.6초/단계**, Dimensity 8400 기준 **20초/단계**.
**메모리 사용량**은 **1.8GB**로, 모바일 기기에서 실행 가능.
**VBench 평가**에서 bullet time(88.35), dolly zoom(89.30), slow motion(88.05)에서 teacher 모델(89.27, 89.96, 88.51)과 유사한 품질 유지.

의의 및 한계

CineMobile은 모바일 기기에서의 영상 생성을 가능하게 하며, 특히 **영화적 카메라 효과**(bullet time, dolly zoom, slow motion)에 대한 **구조적이고 제어 가능한 생성**을 실현한 점에서 학술적·실용적 가치가 있다.
하지만, **프롬프트 세마틱 보존**이나 **복잡한 장면 생성**에 대한 평가는 명시되지 않았으며, **다양한 카메라 효과 확장 가능성**에 대한 연구는 앞으로의 과제로 남아 있다.

실용적 활용

CineMobile은 모바일 기반의 **영화적 효과 생성 앱**, **SNS 콘텐츠 제작**, **VR/AR 카메라 제어** 등에 적용 가능하며, **저비용 고성능 영상 생성**을 필요로 하는 산업 분야에서 활용도가 높다.