SAM 3D Animal: Promptable Animal 3D Reconstruction from Images in the Wild

3D animal reconstruction in the wild remains challenging due to large species variation, frequent occlusions, and the prevalence of multi-animal scenes, while existing methods predominantly focus on single-animal settings. We present SAM 3D Animal, the first promptable framework for multi-animal 3D reconstruction from a single image. Built on the SMAL+ parametric animal model, our method jointly reconstructs multiple instances and supports flexible prompts in the form of keypoints and masks which enable more reliable disambiguation in crowded and occluded scenes. To train such a model, we further introduce Herd3D, a multi-animal 3D dataset containing over 5K images, designed to increase diversity in species, interactions, and occlusion patterns. Experiments on the Animal3D, APTv2, and Animal Kingdom datasets show that our framework achieves state-of-the-art results over both existing model-based and model-free methods, demonstrating a scalable and effective solution for prompt-driven animal 3D reconstruction in the wild.

한 줄 요약

**[3D 동물 재구성 / Promptable]** SAM 3D Animal이 SMAL+ 기반 첫 promptable multi-animal 3D 재구성 — keypoint·mask prompt로 occlusion·crowded scene 처리, 5K+ 이미지의 Herd3D 데이터셋·Animal3D·APTv2·Animal Kingdom 모두에서 SOTA.

핵심 기여도

In-the-wild 3D 동물 재구성이 large species variation·frequent occlusion·multi-animal scene의 prevalence로 challenging함을 진단, 기존 방법이 주로 single-animal setting에 집중하는 한계 지적.
SAM 3D Animal 도입 — single image에서 multi-animal 3D 재구성을 위한 첫 promptable framework.
SMAL+ parametric animal model 기반으로 multiple instance를 jointly 재구성, keypoint·mask 형태의 flexible prompt 지원으로 crowded·occluded scene의 reliable disambiguation 가능.
Herd3D 도입 — 5K+ 이미지의 multi-animal 3D 데이터셋으로 species·interaction·occlusion pattern 다양성 증가 — Animal3D·APTv2·Animal Kingdom 데이터셋 실험에서 기존 model-based·model-free 방법 모두 능가하는 SOTA 달성.

핵심 아이디어

In-the-wild 3D 동물 재구성에서 multi-animal·occlusion 처리는 단일 동물 가정으로는 해결 불가능하므로, SMAL+ parametric model에 keypoint·mask prompt를 통합한 promptable multi-instance framework와 multi-animal 다양성을 담은 Herd3D 데이터셋의 결합이 필요하다.

기술적 접근법

**방법론**: SAM 3D Animal — SMAL+ 기반 promptable multi-instance 재구성 + Herd3D 데이터셋.
**핵심 기법**: (1) SMAL+ parametric animal model 활용해 multi-species 표현, (2) Single image에서 multiple animal instance jointly 재구성, (3) Keypoint·mask flexible prompt로 disambiguation, (4) Crowded·occluded scene robust 처리, (5) Herd3D — 5K+ multi-animal 3D 이미지 데이터셋으로 학습 다양성 강화.

주요 결과

Animal3D·APTv2·Animal Kingdom 데이터셋에서 SOTA.
기존 model-based·model-free 방법 모두 능가.
Multi-animal·occluded scene에서도 reliable disambiguation.
Herd3D 데이터셋 공개로 후속 연구 가속.

의의 및 한계

**의의**: In-the-wild 3D 동물 재구성의 first promptable·multi-animal framework, SMAL+·prompt·dataset의 통합 솔루션, Animal3D·APTv2·Animal Kingdom 3 벤치마크 SOTA로 강건성 입증. **한계**: SMAL+ parametric model의 species·shape 표현력 한계, 5K+ Herd3D가 자연계 동물 다양성 일부만 커버, multi-view·video로 확장은 후속, prompt 품질에 정확도 의존.

실용적 활용

야생동물 모니터링·생태 연구의 자동 3D 재구성.
동물 사진·영상에서 자동 모션 캡처.
AR·gaming의 동물 avatar 생성.