한 줄 요약
DragAnything은 엔티티 표현을 활용해 비디오 생성 시 배경 포함 모든 객체의 운동을 제어하는 새로운 트래젝토리 기반 방법이다.
핵심 기여도
- 엔티티 표현(Entity Representation)을 도입하여 개체 단위 운동 제어를 가능하게 함.
- 기존 DragNUWA 대비 사용자 투표에서 26% 개선된 성능 달성.
- 트래젝토리 기반 운동 제어로 사용자 친화적 인터페이스 제공 (마스크, 깊이 맵 등 복잡한 신호 불필요).
- 배경 및 다중 객체에 대한 동시 운동 제어를 지원.
핵심 아이디어
기존 트래젝토리 기반 운동 제어는 단일 픽셀을 기반으로 객체를 제어하지만, 이는 객체 전체를 표현하지 못한다는 한계가 있다. DragAnything은 객체를 표현하는 **엔티티 표현(Entity Representation)** 을 도입하여, 객체 단위로 운동을 제어한다. 이 표현은 **확산 모델의 잠재 특징(latent features)** 을 기반으로 하며, 객체 마스크의 좌표 인덱스를 통해 추출된다. 이는 객체의 의미적 특징을 유지하면서 공간적 위치를 조작하여 운동을 제어하는 방식이다. 또한, **2D 가우시안 표현(2D Gaussian Representation)** 을 결합하여 표현력을 높인다.
기술적 접근법
- **기반 모델**: Stable Video Diffusion (SVD)을 사용.
- **엔티티 표현 추출**: 첫 번째 프레임의 객체 마스크 좌표를 기반으로 확산 모델의 잠재 특징을 추출.
- **트래젝토리 추적**: CoTrack을 사용하여 객체의 중심 좌표를 추적하고, 이를 운동 트래젝토리로 활용.
- **가속화 및 훈련**: Tesla A100 GPU, AdamW 최적화기, 학습률 1e-5, 100k 스텝 훈련.
- **데이터셋**: VIPSeg 검증/훈련 세트를 사용, 256×256 해상도, 14프레임으로 리사이징.
주요 결과
- **FVD, FID, 사용자 투표(User Study)**에서 최고 성능 달성.
- **DragNUWA 대비 사용자 투표에서 26% 개선**.
- **ObjMC(객체 운동 제어)** 지표에서 Entity Representation 사용 시 318.4 달성 (기본 92.3 대비).
- **2D Gaussian Representation 사용 시 ObjMC 339.3**, 두 표현을 결합하면 305.7 달성.
- **Loss Mask 사용 시 ObjMC 약 5.4 개선**.
의의 및 한계
DragAnything은 객체 단위 운동 제어를 가능하게 하며, 특히 배경 제어와 다중 객체 동시 제어라는 기존 기술의 한계를 극복한다. 사용자 투표에서 26%의 성능 향상은 실용적 가치를 입증한다. 그러나 훈련 데이터에 내재된 편향이 모델에 반영될 수 있으며, 생성된 영상이 부정확하거나 부적절하게 사용될 가능성도 있다. 또한, 개인의 동의 없이 생성된 영상은 개인정보 침해의 위험도 존재한다.
실용적 활용
DragAnything은 영상 편집, 콘텐츠 제작, VR/AR 개발 등에서 사용자 친화적인 운동 제어를 요구하는 산업에 적용 가능하다. 특히, 배경 제어 기능은 영화 제작이나 게임 개발에서 효과적일 수 있다.