AsySplat: Efficient Asymmetric 3D Gaussian Splatting for Long-Sequence Scene Modeling

Recent generalizable 3D Gaussian Splatting models have advanced long-sequence novel view synthesis (NVS), but at the cost of substantial redundant computation. We identify that the redundancy can be mitigated based on two observations: (i) high-precision geometry is not strictly required for high-quality NVS; (ii) appearance learning is generally easier than geometry recovery. Motivated by these insights, we propose an asymmetric architecture that decouples geometry and appearance modeling. The geometry branch processes coarse-grained tokens with most of the parameters for multi-view reconstruction, while the appearance branch operates on fine-grained tokens to capture details using significantly fewer parameters. The two branches interact through bilateral connections, enabling mutual guidance for their respective tasks. This task-aware asymmetry reduces the computational redundancy and allocates the computation more judiciously, thereby increasing parameter efficiency and enabling smaller models to achieve strong performance. On 32-view 960P inputs, our model matches optimization-based methods while delivering nearly 800x speedup, and surpasses the zero-shot performance of state-of-the-art generalizable models with markedly fewer parameters and reduced training/inference overhead, achieving an overall efficiency improvement.

한 줄 요약

AsySplat은 3D Gaussian Splatting에서 계산 중복을 줄이기 위해 기하학과 외관 모델링을 분리한 비대칭 구조를 제안하여, 800× 가속과 30% 파라미터 감소를 달성한다.

핵심 기여도

기하학 분기(branch)는 대규모 파라미터로 조정된 대형 토큰을 처리하고, 외관 분기는 고해상도 토큰을 사용해 파라미터를 10%만 할당.
양 분기 간 양방향 연결(bilateral connection)을 통해 상호 가이드라인 제공.
32-view 960P 입력에서 기존 최적화 기반 방법과 동일한 성능을 유지하면서 800× 가속.
파라미터 30% 감소, 훈련 시간 30% 감소, 추론 FLOPs 감소.

핵심 아이디어

기존 3D Gaussian Splatting 모델은 고해상도, 장시퀀스 입력 처리 시 계산 중복이 발생한다. 이는 기하학 복원이 외관 학습보다 복잡하고, 고정밀 기하학이 NVS 품질에 필수적이지 않다는 두 가지 관찰에서 비롯된다. AsySplat은 이 관찰을 바탕으로 기하학과 외관 모델링을 분리한 비대칭 구조를 제안한다. 기하학 분기는 대형 토큰을 사용해 대부분의 파라미터를 할당하고, 외관 분기는 세밀한 토큰을 사용해 파라미터를 10%만 할당한다. 두 분기는 양방향 연결을 통해 상호작용하며, 외관 분기는 세부 정보를 기하학 분기로 주입하고, 기하학 분기는 깊이 정보를 외관 분기로 제공한다. 이는 기존 방법에서 발생하는 세밀한 토큰의 계산 집약적 상호작용을 피하면서도 고해상도 렌더링을 유지한다.

기술적 접근법

**기하학 분기**: 대형 토큰(patch size: large)을 사용, 대부분의 파라미터(약 90%) 할당.
**외관 분기**: 세밀한 토큰(patch size: small)을 사용, 파라미터는 10%만 할당.
**양방향 연결**: 외관 분기에서 기하학 분기로 세부 정보 주입, 기하학 분기에서 외관 분기로 깊이 정보 전달.
**스파스 어텐션 모듈**: 2D 격자 구조 기반으로 어텐션 계산량을 40% 감소시키며 훈련 시간을 줄임.
**MambaVision**: 외관 분기에 사용, 외관 모델링 성능 향상에 기여.
**레이어 구성**: 3단계, 각 단계 8개 레이어. Mamba와 어텐션 레이어의 비율 조절 실험.

주요 결과

**32-view 960P 입력**에서 기존 최적화 기반 방법과 동일한 성능을 유지하면서 **800× 가속**.
**파라미터 30% 감소**, **훈련 시간 30% 감소**, **추론 FLOPs 감소**.
**zero-shot 성능**에서 기존 최신 모델 대비 상승.
**PSNR 0.7 감소**는 단일 분기만 사용할 경우 발생, 양 분기의 상호작용이 필수적임을 보여줌.
**‘4m+4t’ 구성**은 정확도 유사하지만 훈련 시간 6초 → 10.5초 증가.

의의 및 한계

AsySplat은 3D Gaussian Splatting에서 파라미터 효율성을 높이고, 장시퀀스, 고해상도 입력 처리를 가능하게 하는 구조를 제안한다. 기존 방법에서 발생하는 계산 중복을 줄이고, 파라미터를 학습 난이도와 정밀도 요구에 따라 분배함으로써, 동일한 성능을 유지하면서도 모델 크기와 계산 비용을 감소시킨다. 특히, 양방향 연결과 스파스 어텐션 모듈은 실용적 효율성 향상에 기여한다. 그러나, MambaVision에 대한 과도한 의존은 성능 저하를 유발할 수 있으며, 이는 외관 모델링에서 명확한 매칭이 필요한 경우에 한계가 있다. 또한, 실험은 256×256 해상도에서 수행되었으며, 더 높은 해상도에서의 성능은 추가 연구가 필요하다.

실용적 활용

AsySplat은 고해상도 장시퀀스 영상의 실시간 렌더링, VR/AR 환경에서의 3D 콘텐츠 생성, 대규모 장면의 효율적 모델링 등에 적용 가능하다. 특히, 파라미터와 계산 비용을 줄이면서도 높은 품질의 렌더링을 유지할 수 있어, 자원 제한이 있는 모바일 장치나 클라우드 기반 시스템에서도 유용하게 활용될 수 있다.