visual-quality physics-simulation shape-optimization aerodynamic-lift physical-functionality differentiable-physics physics-guided
Abstract
Recent advances in Gaussian Splatting have enabled fast, high-fidelity 3D scene generation, yet these methods remain purely visual and lack an understanding of how shapes behave in the physical world. We introduce Physics-Guided 3D Gaussian Splatting (PG-3DGS), a framework that couples differentiable physics simulation with 3D Gaussian representations to generate 3D structures satisfying physics functionalities. By allowing physical objectives to guide the shape optimization process alongside visual losses, our approach produces geometries that are not only photometrically accurate but also physically functional. The model learns to adjust shapes so that the generated objects exhibit physically meaningful behaviors, for example, teapots that can pour and airplanes that can generate lift, without sacrificing visual quality. Experiments on pouring and aerodynamic lift tasks show that PG-3DGS improves physical functionality while preserving visual quality. In addition to simulation gains, bench-top physical lift tests with 3D-printed aircraft (Cessna, B-2 Spirit, and paper plane) under identical airflow conditions show higher scale-measured lift for PG-3DGS, generated structures than an appearance-matching baseline in all three cases. Our unified framework connects appearance-based reconstruction with physics-based reasoning, enabling end-to-end generation of 3D structures that both look realistic and function correctly.
한국어 요약
📋 한 줄 요약
**[3D 생성 / 물리 기반 AI]** 미분 가능 물리 시뮬레이션과 3D Gaussian Splatting을 결합하여 시각적으로 정확할 뿐 아니라 물리적으로도 기능하는 3D 구조를 생성하는 PG-3DGS 프레임워크 제안.
🎯 핵심 기여도
- 시각 손실만으로 학습되던 3D Gaussian Splatting에 미분 가능 물리 목적함수를 결합해 형상 최적화를 물리 기능 측면으로 확장.
- 따르기(pouring), 양력(lift) 등 물리 기능을 만족하는 3D 구조 생성 가능성을 통합 프레임워크로 실증.
- 실제 3D 프린팅한 항공기(Cessna, B-2 Spirit, paper plane)를 동일 기류 조건에서 측정해 PG-3DGS 구조가 외형 매칭 베이스라인 대비 일관되게 더 큰 양력을 발생시킴을 확인.
- 외형 기반 재구성과 물리 기반 추론을 잇는 종단간 파이프라인을 제시.
💡 핵심 아이디어
3D 표현이 단지 "어떻게 보이는가"뿐만 아니라 "어떻게 거동하는가"까지 학습해야 한다는 통찰. 미분 가능 물리 시뮬레이션의 그래디언트를 시각 손실과 함께 Gaussian 파라미터로 전파하면, 형상이 자연스럽게 물리 기능을 만족하도록 미세 조정된다.
🔬 기술적 접근법
- **모델/방법론**: 3D Gaussian Splatting 표현 위에 미분 가능 유체/공기역학 시뮬레이터를 결합, 시각 손실과 물리 목적함수를 공동 최적화.
- **핵심 기법**: 외형 손실로 photometric accuracy를 유지하면서 물리 시뮬레이터의 그래디언트로 Gaussian 위치·형상을 조정, pouring 태스크에서는 유체 흐름 시뮬레이션, 양력 태스크에서는 공기역학 시뮬레이션 결과를 보상 신호로 사용.
📊 주요 결과
- pouring과 공기역학 양력 태스크에서 시각 품질 손실 없이 물리 기능 향상.
- 실제 제작 실험: 동일 기류 조건에서 Cessna, B-2 Spirit, paper plane 3종 모두 외형 매칭 베이스라인보다 측정 양력이 큼.
- 단일 파이프라인으로 photorealistic + physically functional 결과 동시 달성.
💭 의의 및 한계
**의의**: 생성된 3D 자산이 시뮬레이션과 실제 세계 양쪽에서 "동작"해야 하는 로보틱스·제품 디자인·과학 시각화 영역의 새로운 표준을 제시. **한계**: 다룬 물리 태스크가 pouring·lift로 제한적이며, 다물리(multi-physics)나 동적 마찰·접촉 등 복잡 시나리오로의 확장은 추가 검증 필요.
🚀 실용적 활용
- 항공·드론 부품 신속 형상 최적화(시뮬레이션 우선 설계).
- 제품 디자인에서 외형과 기능을 동시 충족하는 생성형 CAD 워크플로.
- 로봇 그리퍼·도구의 외형·기능 공동 생성을 통한 자동 설계 파이프라인.