FLAT: Feedforward Latent Triangle Splatting for Geometrically Accurate Scene Generation

Generating explorable 3D scenes from a single image requires strong generative priors and accurate geometric representations suitable for downstream use. Current video diffusion models offer high-quality generation and implicitly encode multi-view geometric structure in latent space. However, existing feedforward latent scene decoders typically output volumetric 3D Gaussians that lack a well-defined surface, limiting their use in simulation or standard graphics pipelines. This motivates decoding surface-aligned primitives that are not only renderable but also closer to explicit geometric assets. We ask whether compressed video diffusion latents can be mapped directly to explicit surface primitives in a single pass. To this end, we introduce FLAT and, for the first time, show that triangle splats can be decoded directly from video diffusion latents. Compared with decoding 3D Gaussians, predicting flat primitives is notoriously more challenging due to high sensitivity to primitive orientations, oftentimes leading to poor gradient flow. FLAT solves with two key ingredients: a ray-centered rotation parameterization for triangle regression and a novel product window function that improves gradient flow during differentiable triangle rendering. On standard benchmarks, FLAT achieves significantly better geometric accuracy while maintaining competitive visual quality compared to state-of-the-art feedforward baselines. We further show that a lightweight test-time refinement step converts the predicted triangle soup into a fully opaque, game-engine-ready representation that supports real-time rendering. By evaluating 3DGS, 2DGS, and triangle splatting variants under an identical training setup, we provide the first systematic analysis of representation tradeoffs in feedforward scene generation. The project page is available at https://flat-splat.github.io

한 줄 요약

FLAT은 단일 이미지에서 게임 엔진 호환 3D 장면을 생성하는 피드포워드 모델로, 삼각형 스플래팅 기법을 통해 기하 정확도를 향상시킨다.

핵심 기여도

**FLAT**이라는 새로운 피드포워드 모델을 제안하여, 동영상 확산 모델의 레이턴트 공간에서 직접 삼각형 스플래팅을 생성한다.
**ray-centered rotation parameterization**과 **product window function**을 도입하여, 삼각형 렌더링 중 기울기 흐름을 개선하고 안정적인 학습을 가능하게 한다.
**3DGS, 2DGS, triangle splatting**을 동일한 조건에서 비교하여, 각 표현 방식의 장단점을 체계적으로 분석한다.
**lightweight test-time refinement**를 통해 예측된 삼각형 집합을 실시간 렌더링 가능한 완전 불투명한 메시로 변환한다.

핵심 아이디어

기존의 3D 장면 생성 모델은 3D 가우시안을 사용하여 렌더링 가능하지만, 표면 정의가 불확실하여 게임 엔진이나 시뮬레이션에 적합하지 않다. FLAT은 이 문제를 해결하기 위해, 렌더링 가능한 **표면 정의가 명확한 삼각형 스플래팅**을 직접 생성한다. 이는 레이턴트 공간에서 단일 패스로 삼각형을 예측하는 것이므로, 별도의 최적화 과정 없이도 실시간 렌더링이 가능하다. 핵심 아이디어는 다음과 같다:

**ray-centered rotation parameterization**: 레이어 기반 회전 파라미터화를 통해 삼각형의 방향을 안정적으로 예측한다.
**product window function**: 삼각형 경계에서 기울기 흐름을 개선하여, 렌더링 과정에서의 불안정성을 줄인다.
**Cholesky-style shape transform**: 삼각형의 형태를 안정적으로 정의하여, 퇴화된 삼각형 생성을 방지한다.

기술적 접근법

**입력**: 단일 RGB 이미지 $ \mathbf{I}_0 \in \mathbb{R}^{H \times W \times 3} $와 카메라 궤적 $ \{ \mathbf{P}_t \}_{t=1}^T $
**모델 구조**: 동결된 **video diffusion model**의 레이턴트를 기반으로 **scene decoder**를 학습한다.
**decoder token**: 각 토큰은 **ray-centered triangle**을 정의하며, **residual rotations**과 **constrained Cholesky-style shape transform**을 사용한다.
**differentiable rendering**: **product window function**을 도입하여, 삼각형 경계에서 기울기 흐름을 개선한다.
**학습 데이터**: 카메라 궤적, 깊이, 노멀 맵이 포함된 동영상 데이터셋을 사용한다.
**후처리**: **lightweight refinement step**을 통해 예측된 삼각형 집합을 불투명한 메시로 변환한다.

주요 결과

**FLAT**은 기존 피드포워드 기반 3DGS, 2DGS 대비 **기하 정확도**가 훨씬 높다.
**삼각형 스플래팅**은 **3DGS**에 비해 **렌더링 품질은 비슷하지만, 표면 정의가 명확**하여 게임 엔진 호환성이 뛰어나다.
**test-time refinement**를 적용하면, 예측된 삼각형 집합이 **실시간 렌더링 가능한 완전 불투명한 메시**로 변환된다.
**FLAT**은 **단일 패스**로 생성되며, 별도의 최적화 없이도 **실시간 렌더링**이 가능하다.

의의 및 한계

FLAT은 기존 3D 장면 생성 모델에서 빈번히 발생하는 **표면 정의 불확실성** 문제를 해결하며, **게임 엔진 및 시뮬레이션**과의 호환성을 높인다. 특히, **표면 정의가 명확한 삼각형 스플래팅**을 레이턴트 공간에서 직접 예측하는 것은 기존 연구에서 거의 다루어지지 않았던 문제를 해결한 점에서 학술적 의의가 크다. 그러나, **삼각형 방향 예측의 민감성**으로 인해 **기울기 흐름의 불안정성**이 여전히 존재하며, 이는 **초기 학습 단계에서 성능 저하**를 초래할 수 있다. 또한, **복잡한 장면**에서는 **삼각형 수가 많아져 메모리 사용량이 증가**할 수 있다.

실용적 활용

FLAT은 **게임 개발**, **로봇 시뮬레이션**, **자율주행 시스템** 등에서 **실시간 3D 장면 생성**이 필요한 상황에 적용 가능하다. 특히, **게임 엔진 호환성**을 고려한 삼각형 기반 표현은 **렌더링 성능**과 **물리 시뮬레이션 정확도**를 동시에 담보할 수 있어, **산업 현장에서의 즉각적 활용**이 기대된다.