Sapiens: Foundation for Human Vision Models

We present Sapiens, a family of models for four fundamental human-centric vision tasks -- 2D pose estimation, body-part segmentation, depth estimation, and surface normal prediction. Our models natively support 1K high-resolution inference and are extremely easy to adapt for individual tasks by simply fine-tuning models pretrained on over 300 million in-the-wild human images. We observe that, given the same computational budget, self-supervised pretraining on a curated dataset of human images significantly boosts the performance for a diverse set of human-centric tasks. The resulting models exhibit remarkable generalization to in-the-wild data, even when labeled data is scarce or entirely synthetic. Our simple model design also brings scalability -- model performance across tasks improves as we scale the number of parameters from 0.3 to 2 billion. Sapiens consistently surpasses existing baselines across various human-centric benchmarks. We achieve significant improvements over the prior state-of-the-art on Humans-5K (pose) by 7.6 mAP, Humans-2K (part-seg) by 17.1 mIoU, Hi4D (depth) by 22.4% relative RMSE, and THuman2 (normal) by 53.5% relative angular error. Project page: https://about.meta.com/realitylabs/codecavatars/sapiens.

한 줄 요약

Sapiens는 1K 해상도에서 2D 포즈, 부위 세그멘테이션, 깊이, 표면 정규 벡터 예측을 수행하는 인간 중심 시각 모델로, 300M 개의 인간 이미지로 학습하여 기존 기준을 7.6 mAP~53.5% 개선한다.

핵심 기여도

300M 개의 인간 중심 이미지로 학습한 Sapiens 모델을 제시.
0.3B~2B 파라미터 규모의 모델로, 파라미터 수 증가에 따라 성능 향상 관찰.
1024×1024 해상도로 학습한 MAE 기반 모델로, 기존 최고 기준 대비 7.6 mAP (Humans-5K), 17.1 mIoU (Humans-2K), 22.4% RMSE (Hi4D), 53.5% 각도 오차 (THuman2) 개선.
합성 라벨 또는 고질 라벨로 fine-tuning 시에도 와일드 데이터에 대한 일반화 성능 확보.

핵심 아이디어

Sapiens는 인간 중심 시각 작업에서 일반화와 고해상도 처리를 동시에 달성하기 위해, 300M 개의 인간 이미지로 self-supervised 학습을 수행한 Vision Transformer(ViT) 기반 모델이다. 기존 연구는 특정 작업에 맞춘 복잡한 시스템을 사용했지만, Sapiens는 pretrain-then-finetune 방식으로 작업별 적응을 단순화한다. 핵심 아이디어는 **인간 중심 데이터로의 집중적 pretraining**이, 동일한 계산 예산 내에서 다양한 작업에 대한 성능을 크게 향상시킨다는 점이다. 이는 기존 대규모 일반 이미지 데이터 대신, **Human300M**이라는 특수 데이터셋을 사용함으로써 달성된다. 또한, **MAE**(Masked Autoencoder) 기반의 self-supervised 학습을 채택하여, 단일 패스 추론으로 높은 효율성을 확보하고, 1024×1024 해상도로 학습하여 고해상도 출력을 가능하게 한다.

기술적 접근법

**모델 아키텍처**: Vision Transformer(ViT) 기반, 파라미터 수 0.3B~2B 범위.
**학습 전략**: Self-supervised pretraining (MAE) → fine-tuning.
**데이터셋**: Human300M (300M 개의 인간 이미지), 600개의 RenderPeople 스캔 데이터.
**해상도**: 1024×1024 픽셀로 학습, 기존 최대 모델 대비 약 4× FLOPs 증가.
**Fine-tuning**: 고정된 encoder + 랜덤 초기화된 task-specific decoder 사용, end-to-end 학습.
**라벨링**: 308개의 2D 키포인트, 28개의 부위 분할 클래스 정의.

주요 결과

**Humans-5K (2D 포즈)**: 기존 최고 기준 대비 +7.6 mAP.
**Humans-2K (부위 세그멘테이션)**: 기존 최고 기준 대비 +17.1 mIoU.
**Hi4D (깊이 추정)**: 기존 최고 기준 대비 22.4% 개선된 RMSE.
**THuman2 (표면 정규 추정)**: 기존 최고 기준 대비 53.5% 개선된 각도 오차.
**모델 확장성**: 파라미터 수가 0.3B에서 2B로 증가할수록 모든 작업에서 성능 향상.

의의 및 한계

Sapiens는 인간 중심 시각 작업에서 **단일 모델로 다중 작업 처리**, **고해상도 처리**, **와일드 데이터 일반화**를 동시에 달성한 첫 사례로, 인간 디지털화 및 3D 생성 분야에 기반 모델 역할을 할 수 있다. 또한, 합성 라벨이나 제한된 라벨로도 뛰어난 성능을 보이는 점에서 실용적 가치가 크다. 그러나 복잡한 자세, 혼잡, 심각한 가림 현상이 있는 이미지에서는 성능 저하가 발생하며, 이는 데이터 증강 및 detect-and-crop 전략으로 완화 가능하다고 제시된다. 또한, 학습 데이터의 다양성과 수량이 일반화 성능에 직접적인 영향을 미친다는 점도 강조된다.

실용적 활용

Sapiens는 3D 인간 생성, VR/AR, 게임 캐릭터 생성, 의료 영상 분석 등 다양한 인간 중심 애플리케이션에 활용 가능하다. 특히, 라벨링 비용이 높은 분야에서 합성 라벨과 결합하여 사용할 경우, 높은 정확도와 낮은 비용을 동시에 달성할 수 있다.