Lite3R: A Model-Agnostic Framework for Efficient Feed-Forward 3D Reconstruction

Transformer-based 3D reconstruction has emerged as a powerful paradigm for recovering geometry and appearance from multi-view observations, offering strong performance across challenging visual conditions. As these models scale to larger backbones and higher-resolution inputs, improving their efficiency becomes increasingly important for practical deployment. However, modern 3D transformer pipelines face two coupled challenges: dense multi-view attention creates substantial token-mixing overhead, and low-precision execution can destabilize geometry-sensitive representations and degrade depth, pose, and 3D consistency. To address the first challenge, we propose Lite3R, a model-agnostic teacher-student framework that replaces dense attention with Sparse Linear Attention to preserve important geometric interactions while reducing attention cost. To address the second challenge, we introduce a parameter-efficient FP8-aware quantization-aware training (FP8-aware QAT) strategy with partial attention distillation, which freezes the vast majority of pretrained backbone parameters and trains only lightweight linear-branch projection layers, enabling stable low-precision deployment while retaining pretrained geometric priors. We further evaluate Lite3R on two representative backbones, VGGT and DA3-Large, over BlendedMVS and DTU64, showing that it substantially reduces latency (1.7-2.0x) and memory usage (1.9-2.4x) while preserving competitive reconstruction quality overall. These results demonstrate that Lite3R provides an effective algorithm-system co-design approach for practical transformer-based 3D reconstruction. Code: https://github.com/AIGeeksGroup/Lite3R. Website: https://aigeeksgroup.github.io/Lite3R.

📋 한 줄 요약

**[3D 비전 / 효율적 추론]** Transformer 기반 3D 재구성 모델에 희소 선형 어텐션과 FP8-aware QAT를 결합한 모델 불가지론적 Lite3R 프레임워크로, 1.7-2.0배 지연시간 및 1.9-2.4배 메모리 감소를 달성한다.

🎯 핵심 기여도

모델 불가지론적 교사-학생 프레임워크 Lite3R 제안 - 기존 3D 트랜스포머 백본에 적용 가능
밀집 다시점 어텐션을 희소 선형 어텐션(Sparse Linear Attention)으로 대체하여 기하학적 상호작용을 보존
파라미터 효율적 FP8-aware 양자화 인식 학습(QAT)과 부분 어텐션 증류를 결합하여 백본은 동결한 채 선형 분기만 학습
VGGT와 DA3-Large 두 백본에서 BlendedMVS, DTU64 데이터셋으로 효율성-품질 트레이드오프 검증

💡 핵심 아이디어

3D 재구성에는 밀집 어텐션의 토큰 혼합 비용과 저정밀도 실행의 기하 표현 불안정성이 결합된 문제가 있다. 어텐션은 희소 선형으로 갈아끼우고, FP8 양자화는 백본 전체를 흔들지 않도록 선형 분기만 골라 학습한다. 사전 학습된 기하 사전(prior)을 최대한 보존하는 것이 핵심이다.

🔬 기술적 접근법

**모델/방법론**: VGGT, DA3-Large 등 사전 학습 3D 트랜스포머 백본에 적용되는 교사-학생 증류 구조
**핵심 기법**: 희소 선형 어텐션으로 토큰 혼합 비용 절감 + FP8-aware QAT로 부분 어텐션 증류, 대부분의 백본 파라미터는 동결하고 경량 선형 분기 투영층만 학습

📊 주요 결과

지연시간 1.7-2.0배 감소
메모리 사용량 1.9-2.4배 감소
BlendedMVS, DTU64에서 재구성 품질을 경쟁력 있게 유지
VGGT와 DA3-Large 두 가지 백본 모두에서 일관된 개선

💭 의의 및 한계

**의의**: 알고리즘-시스템 공동설계 관점에서 무거운 3D 재구성 모델을 모바일·엣지 환경에 배포 가능한 수준으로 효율화하는 일반적 레시피를 제시한다. **한계**: 두 개 백본과 두 개 데이터셋으로 검증 범위가 한정되며, 동적 장면이나 극한 조명 같은 까다로운 실제 조건에서의 성능 저하 여부는 추가 평가가 필요하다.

🚀 실용적 활용

AR/VR 디바이스에서 실시간 멀티뷰 3D 재구성
자율주행·로봇용 효율적 깊이/포즈 추정 백본
모바일 3D 스캐닝 앱과 클라우드 inference 비용 절감