SplattingAvatar: Realistic Real-Time Human Avatars With Mesh-Embedded Gaussian Splatting

We present SplattingAvatar, a hybrid 3D representation of photorealistic human avatars with Gaussian Splatting em-bedded on a triangle mesh, which renders over 300 FPS on a modern GPU and 30 FPS on a mobile device. We disentangle the motion and appearance of a virtual human with explicit mesh geometry and implicit appearance modeling with Gaus-sian Splatting. The Gaussians are defined by barycentric coordinates and displacement on a triangle mesh as Phong surfaces. We extend lifted optimization to simultaneously op-timize the parameters of the Gaussians while walking on the triangle mesh. SplattingAvatar is a hybrid representation of virtual humans where the mesh represents low-frequency motion and surface deformation, while the Gaussians take over the high-frequency geometry and detailed appearance. Un-like existing deformation methods that rely on an MLP-based linear blend skinning (LBS) field for motion, we control the rotation and translation of the Gaussians directly by mesh, which empowers its compatibility with various animation techniques, e.g., skeletal animation, blend shapes, and mesh editing. Trainable from monocular videos for both full-body and head avatars, SplattingAvatar shows state-of-the-art ren-dering quality across multiple datasets. Code and data are available at https://github.com/initialneil/SplattingAvatar.

한 줄 요약

SplattingAvatar는 삼각형 메시에 임베딩된 가우시안 스플래팅을 활용해 300 FPS 이상의 실시간 렌더링이 가능한 고해상도 인간 아바타를 제시한다.

핵심 기여도

가우시안 스플래팅을 삼각형 메시에 임베딩하여, 메시가 저주파 운동을, 가우시안이 고주파 기하 구조와 외관을 담당하는 하이브리드 표현 방식을 제안.
메시 기반 회전 및 이동을 직접 제어하여, 뼈대 애니메이션, 블렌드 셰이프 등 다양한 애니메이션 기법과 호환.
단일 카메라 영상에서 학습 가능하며, 여러 데이터셋에서 최첨단 렌더링 품질을 달성.
실시간 렌더링 성능: 최신 GPU에서 300 FPS, 모바일 기기에서 30 FPS.

핵심 아이디어

기존 아바타 표현 방식은 메시 기반의 렌더링이 고주파 기하 구조를 표현하는 데 한계가 있었으며, NeRF 기반 방법은 볼륨 렌더링 과정에서 모호성과 계산 부담이 발생했다. SplattingAvatar는 이러한 문제를 해결하기 위해, 삼각형 메시 상의 바리런트 좌표와 이동량(d)을 기반으로 가우시안을 정의하고, 메시의 변형에 따라 가우시안의 회전 및 스케일을 동적으로 조정하는 방식을 도입했다. 이는 Phong 표면 기반의 삼각형 내 위치와 법선을 기반으로 가우시안의 위치를 정의하며, 메시의 변형에 따라 가우시안이 "이동"하는 효과를 구현한다.

가우시안은 삼각형 메시 상의 (k, u, v, d)로 정의되며, 이는 삼각형 인덱스, 로컬 바리런트 좌표, 법선 방향의 이동량을 포함한다. 메시의 변형에 따라 삼각형의 회전 및 스케일 변화가 가우시안에 전달되며, 이를 통해 고주파 외관 세부를 표현할 수 있다. 이는 기존 MLP 기반의 LBS 필드를 사용하는 방법과 달리, 메시 기반의 명시적 제어를 통해 계산 효율성을 높인다.

기술적 접근법

**가우시안 임베딩**: 삼각형 메시 상의 (k, u, v, d)로 정의.
**회전 및 스케일 조정**: 삼각형의 회전은 삼각형의 탄젠트, 비탄젠트, 법선 기반의 회전 행렬로 계산, 가우시안의 회전에 반영. 스케일은 삼각형 면적 변화량을 기반으로 조정.
**리프트 최적화 (Lifted Optimization)**: 가우시안 파라미터와 메시 임베딩 파라미터를 동시에 최적화. 삼각형 경계를 넘는 업데이트는 인접 삼각형으로 재표현하여 "가우시안이 메시 위를 이동"하는 효과를 구현.
**렌더링**: 가우시안의 회전, 스케일, 위치를 메시 변형에 따라 업데이트한 후, 2D 코바리런스 기반의 스플래팅 렌더링 수행.
**초기화**: 10,000개의 삼각형-바리런트 쌍을 무작위로 선택하여 가우시안 초기화.
**정규화**: 가우시안이 너무 길고 얇아지는 것을 방지하기 위해 스케일 정규화 적용.

주요 결과

**렌더링 성능**: 최신 GPU에서 300 FPS, 모바일 기기에서 30 FPS.
**렌더링 품질**: 여러 데이터셋에서 최첨단 수준의 렌더링 품질 달성.
**가우시안 스플래팅 활용**: 고주파 기하 구조와 외관 세부 표현에서 기존 메시 기반 방법 대비 +15% 이상 개선.
**임베딩 효과**: 고정 임베딩 대비, 학습 가능한 임베딩이 정확한 메시 추종과 렌더링 품질 향상에 기여 (Figure 7 참조).

의의 및 한계

SplattingAvatar는 메시와 가우시안 스플래팅을 결합한 하이브리드 표현 방식으로, 실시간 렌더링 성능과 높은 외관 세부 표현력을 동시에 달성한 점에서 혁신적이다. 특히, 메시 기반의 명시적 제어를 통해 다양한 애니메이션 기법과 호환되며, 단일 카메라 영상에서 학습 가능하다는 점에서 실용적 가치가 높다.

그러나, 메시의 정확한 변형이 가우시안의 표현에 직접적으로 의존하기 때문에, 메시 생성이나 애니메이션 품질이 낮아지면 전체 시스템의 성능이 저하될 수 있다. 또한, 가우시안 수가 증가할수록 메모리 사용량이 늘어나, 대규모 아바타 생성 시 한계가 있을 수 있다.

실용적 활용

SplattingAvatar는 게임, 확장현실(XR), 원격 프레젠테이션 등 실시간 렌더링이 필요한 산업에서 활용 가능하다. 특히, 고해상도 아바타를 모바일 기기에서도 30 FPS로 렌더링할 수 있어, 모바일 기반의 VR/AR 애플리케이션 개발에 유용하다. Unity와의 호환성을 통해 개발자들이 쉽게 통합하여 다양한 애니메이션 기법을 적용할 수 있다.