RLSplat: Resource-Linear Budget Control for Feed-forward 3D Gaussian Splatting

Feed-forward 3D Gaussian Splatting (FF3DGS) reconstructs 3D scenes from images in a single forward pass, making it well-suited to applications that must operate within limited resource budgets. To further improve its practicality, recent budget-controllable FF3DGS methods allow the number of Gaussians to be adjusted at inference, so that the output meets a given storage limit or rendering-latency constraint. However, these methods overlook the cost of inference itself: to produce a representation with the target number of Gaussians, they first predict a dense set of Gaussians and then prune or select from it, requiring nearly constant latency and peak memory regardless of the budget. We therefore propose RLSplat, a resource-linear budget-controllable FF3DGS framework whose representation size, inference latency, and peak memory all decrease linearly as the Gaussian budget is reduced. Instead of pruning or selection, RLSplat learns a Gaussian allocation policy that distributes the budget across local scene regions, so that exactly the requested number of Gaussians is generated. These Gaussians are then refined through resource-linear Gaussian decoding, in which each Gaussian attends only to nearby Gaussians found via an efficient hierarchical neighbor search, so that the decoding cost decreases linearly with fewer Gaussians. In zero-shot evaluation, RLSplat outperforms prior budget-controllable methods at every budget, surpassing the strongest baseline even with 4times fewer Gaussians, while running up to 4.1times faster with 9.6times less peak memory at low budgets.

한 줄 요약

RLSplat은 가우시안 수, 추론 지연, 피크 메모리가 예산에 따라 선형으로 감소하는 3D 가우시안 스플래팅 프레임워크이다.

핵심 기여도

기존 예산 제어 FF3DGS는 추론 비용을 고려하지 않았으나, RLSplat은 예산 B가 줄어들수록 추론 지연과 피크 메모리가 선형 감소.
가우시안 할당 정책(Gaussian Allocation Policy)을 통해 정확히 B개의 가우시안을 생성하며, 이는 GSPO를 사용해 학습.
리소스-선형 디코더(Resource-Linear Decoder)를 도입, 가우시안 간 로컬 크로스 어텐션과 계층적 이웃 검색으로 디코딩 비용을 O(BK_gs)로 줄임.
2K 가우시안 예산에서 F⁴Splat 대비 PSNR 0.9 dB 개선, 9.6× 적은 피크 메모리, 4.1× 빠른 속도 달성.

핵심 아이디어

기존 FF3DGS는 가우시안 수를 조절할 수 있지만, 이 과정에서 많은 수의 가우시안을 먼저 생성한 후 정제(prune or select)하여, 예산 B가 줄어도 추론 비용이 거의 동일하게 유지되는 문제가 있었다. RLSplat은 이 문제를 해결하기 위해, 가우시안 생성을 "할당 문제"로 정의하고, 정확히 B개의 가우시안을 생성하는 정책을 학습한다. 이 정책은 GSPO를 사용해 렌더링 품질을 보상으로 최적화하며, 가우시안이 필요한 지역에만 분배한다. 이후 디코딩 단계에서는 각 가우시안이 주변 가우시안만 참조하는 로컬 크로스 어텐션을 통해, 전체 비용을 O(BK_gs)로 줄인다. 이는 기존의 O(B²) 비용을 가진 글로벌 어텐션 대비 효율성이 훨씬 높다.

기술적 접근법

**가우시안 할당 정책**: 정책 최적화(GSPO)를 사용해, 가우시안 수 B를 정확히 할당. 각 앵커 토큰에 가우시안 수를 할당하며, 렌더링 품질을 보상으로 학습.
**리소스-선형 디코더**: 가우시안 간 로컬 크로스 어텐션을 통해 디코딩. K_gs=16개의 이웃만 참조하여, 디코딩 비용을 O(BK_gs)로 줄임.
**계층적 이웃 검색**: 효율적인 이웃 탐색을 위해 계층적 구조 사용. 이는 정확도 유지하면서도 검색 속도를 27× 향상.
**예산 B**: 2048~16384 범위에서 샘플링. K_anc=K_gs=16으로 고정.

주요 결과

ACID 데이터셋에서 2K 가우시안 예산에서 F⁴Splat 대비 PSNR 0.9 dB 개선.
F⁴Splat 대비 9.6× 적은 피크 메모리, 4.1× 빠른 추론 속도.
예산 B가 줄어들수록 추론 지연과 피크 메모리가 선형 감소.
K_gs=16일 때, 정확한 이웃 검색률 99.0% 달성.

의의 및 한계

RLSplat은 예산 B가 줄어들수록 추론 비용이 선형으로 감소함으로써, 실제 애플리케이션에서 자원 효율성을 극대화할 수 있다. 특히, 가우시안 할당 정책과 리소스-선형 디코더는 기존 FF3DGS의 한계를 극복한 핵심 기술로, 실시간 렌더링 및 자원 제한 환경에서 유용하다. 그러나, 정책 최적화는 추가적인 튜닝과 학습 비용이 필요하며, K_gs 값 조절이 필요하다는 점은 사용자에게 부담이 될 수 있다. 또한, 정책 기반 할당은 학습 데이터에 의존적이므로, 다양한 환경에서의 일반화 능력은 추가 연구가 필요하다.

실용적 활용

RLSplat은 AR/VR, 로봇, 디지털 콘텐츠 제작 등 실시간 3D 렌더링이 필요한 산업에 적용 가능하다. 특히, 자원 제한 환경(예: 모바일 기기, 임베디드 시스템)에서 예산 B를 유연하게 조절하면서도 품질을 유지할 수 있어, 효율적인 3D 씬 생성에 적합하다.