L4GM: Large 4D Gaussian Reconstruction Model

We present L4GM, the first 4D Large Reconstruction Model that produces animated objects from a single-view video input -- in a single feed-forward pass that takes only a second. Key to our success is a novel dataset of multiview videos containing curated, rendered animated objects from Objaverse. This dataset depicts 44K diverse objects with 110K animations rendered in 48 viewpoints, resulting in 12M videos with a total of 300M frames. We keep our L4GM simple for scalability and build directly on top of LGM, a pretrained 3D Large Reconstruction Model that outputs 3D Gaussian ellipsoids from multiview image input. L4GM outputs a per-frame 3D Gaussian Splatting representation from video frames sampled at a low fps and then upsamples the representation to a higher fps to achieve temporal smoothness. We add temporal self-attention layers to the base LGM to help it learn consistency across time, and utilize a per-timestep multiview rendering loss to train the model. The representation is upsampled to a higher framerate by training an interpolation model which produces intermediate 3D Gaussian representations. We showcase that L4GM that is only trained on synthetic data generalizes extremely well on in-the-wild videos, producing high quality animated 3D assets.

한 줄 요약

L4GM은 단일 뷰 영상에서 초고속으로 4D 가우시안 모델을 생성하는 첫 번째 4D 대규모 재구성 모델이다.

핵심 기여도

L4GM은 단일 뷰 영상에서 4D 재구성을 1초 이내에 완료하는 첫 번째 모델이다.
Objaverse-4D 데이터셋(44K 개체, 110K 애니메이션, 48 뷰, 12M 영상, 300M 프레임)을 새롭게 구축하여 학습에 활용.
기존 LGM 모델에 시간적 자기-어텐션 레이어를 추가하고, 인터폴레이션 모델을 통해 프레임레이트를 증가시켜 시간적 일관성을 확보.
합성 데이터만으로 훈련된 L4GM이 실제 영상에서도 뛰어난 일반화 성능을 보임.

핵심 아이디어

L4GM은 기존 3D 대규모 재구성 모델인 LGM을 기반으로, 시간 축을 추가하여 4D 재구성을 가능하게 한 모델이다. LGM은 다중 뷰 이미지에서 3D 가우시안을 생성하는 반면, L4GM은 단일 뷰 영상에서 프레임 단위로 3D 가우시안을 생성한 뒤, 인터폴레이션 모델을 통해 시간 축을 확장한다. 이 과정에서 시간적 자기-어텐션 레이어가 프레임 간 일관성을 학습하도록 도와준다. 또한, Objaverse-4D 데이터셋은 48개 뷰에서 렌더링된 12M 영상으로, 학습에 필요한 대규모 다중 뷰 애니메이션 데이터를 제공한다. 이는 기존 4D 재구성 연구에서 요구되는 수동적 다중 뷰 데이터 수집 문제를 해결한다.

기술적 접근법

**모델 아키텍처**: L4GM은 LGM의 비대칭 U-Net 구조를 사용하며, 입력 영상은 (B, T, V) H W C 형식으로 전달된다.
**시간적 자기-어텐션**: 각 cross-view self-attention 레이어 이후에 시간 축에 대한 자기-어텐션 레이어를 추가하여 프레임 간 일관성을 학습.
**인터폴레이션 모델**: 두 개의 연속된 3D 가우시안 표현을 입력으로 받아 중간 프레임을 생성하여 프레임레이트를 증가.
**훈련 손실**: 각 타임스텝에서 다중 뷰 렌더링 손실(per-timestep multiview rendering loss)을 사용하여 모델을 훈련.
**입력 처리**: 단일 뷰 영상에서 생성된 가상 뷰는 ImageDream을 통해 보완되어 LGM에 입력됨.

주요 결과

**데이터셋**: Objaverse-4D 데이터셋(44K 개체, 110K 애니메이션, 48 뷰, 12M 영상, 300M 프레임)을 사용.
**성능**: 합성 데이터만으로 훈련된 L4GM이 ActivityNet 및 Sora 생성 영상에서도 뛰어난 일반화 성능 보임.
**속도**: 기존 4D 재구성 방법 대비 100~1,000배 빠른 추론 속도를 달성.
**프레임레이트**: 인터폴레이션 모델을 통해 저프레임 영상을 고프레임으로 증가시켜 시간적 부드러움 확보.

의의 및 한계

L4GM은 4D 재구성 분야에서 AI 기반 툴링의 가능성을 열었다. 기존 4D 재구성은 다중 뷰 영상이 필수적이었으나, L4GM은 단일 뷰 영상에서도 빠르고 정확한 4D 재구성을 가능하게 하며, 산업적 활용 가능성이 높다. 그러나 현재 모델은 인간 참여가 필요한 고급 4D 편집 기능이 부족하며, 악의적인 사용(예: 디지털 인신 모방)에 대한 주의가 필요하다. 또한, 모델은 연구 목적으로만 제공되며, 상용화는 아직 이루어지지 않았다.

실용적 활용

L4GM은 게임, 영화, 가상 현실(VR) 등 3D 애니메이션 제작 분야에서 빠른 4D 자산 생성에 활용될 수 있다. 또한, 텍스트나 영상 기반 4D 콘텐츠 생성 도구와 결합하여 창의적 작업을 자동화하는 데 기여할 수 있다.