SUFLECA: Scaling Up Feature Learning for CAD-to-image Alignment

CAD-to-image alignment aims to estimate an object's 9D pose (rotation, translation, and anisotropic scale) from a single RGB image, enabling applications in robotics and augmented reality. Recent zero-shot methods use visual foundation models to match image regions to CAD models, yet typically their correspondences are appearance-driven and degrade under occlusion or sim-to-real domain shift. To address these limitations, we introduce SUFLECA (Scaling Up Feature LEarning for CAD Alignment), a weakly-supervised framework for zero-shot CAD alignment with two key contributions. First, SUFLECA scales up geometry-grounded feature learning from pretrained visual representations through Normalized Object Coordinates (NOCs) supervision on 674K images spanning 12 real and synthetic datasets, learning compact geometry-aware features that generalize across domains. Second, we propose a geometrically consistent matching algorithm that establishes reliable one-to-one CAD-to-image correspondences. Together, these contributions enable accurate, sub-second alignment per object instance without iterative pose refinement. On ScanNet25k, SUFLECA achieves 33.4%/42.3% category/instance accuracy, outperforming, with a smaller computational footprint, the strongest zero-shot baseline by 10.3/12.2 percentage points and, for the first time on this benchmark, even surpassing fully supervised methods. Code is available at: https://github.com/snt-arg/SUFLECA

한 줄 요약

SUFLECA는 674K 이미지로 학습한 기하학적 특징을 기반으로 CAD 모델과 RGB 이미지를 정렬하는 제로샷 방법이다.

핵심 기여도

**Normalized Object Coordinates (NOCs)**를 사용한 674K 이미지에 대한 기하학적 특징 학습.
**기하학적 일관성 매칭 알고리즘**으로 신뢰할 수 있는 1:1 CAD-이미지 대응 관계 확보.
ScanNet25k에서 **33.4%**(카테고리), **42.3%**(인스턴스) 정확도 달성.
제로샷 기준 대비 **+10.3% / +12.2%** 개선, **완전 감독 모델**을 초과.

핵심 아이디어

기존 제로샷 방법은 외관 기반 대응 관계를 사용해 부분 가림 또는 도메인 이동 시 성능이 저하된다. SUFLECA는 **NOCs 감독**을 통해 사전 학습된 시각 표현에서 기하학적 특징을 확장 학습함으로써 도메인 간 일반화 능력을 높인다. 또한, **기하학적 일관성 매칭 알고리즘**을 통해 외관에 의존하지 않고 신뢰도 높은 대응 관계를 확보한다. 이는 기존 방법과 달리 반복적 포즈 최적화 없이도 정확한 정렬을 가능하게 한다.

기술적 접근법

**NOCs 감독**: 12개의 실제 및 합성 데이터셋(674K 이미지)을 사용한 기하학적 특징 학습.
**기하학적 일관성 매칭 알고리즘**: 신뢰도 높은 1:1 CAD-이미지 대응 관계를 확보.
**컴퓨테이셔널 효율성**: 반복적 포즈 최적화 없이도 **서브초 단위 정렬** 가능.
**사전 학습된 시각 표현**을 기반으로 **geometry-aware feature**를 학습.

주요 결과

**ScanNet25k**에서 **33.4%**(카테고리), **42.3%**(인스턴스) 정확도 달성.
제로샷 기준 대비 **+10.3% / +12.2%** 개선.
**완전 감독 모델**을 처음으로 초과.
**작은 컴퓨팅 자원**으로도 높은 성능 유지.

의의 및 한계

SUFLECA는 기존 제로샷 방법의 도메인 이동 및 외관 의존성 문제를 해결하며, 반복적 최적화 없이도 빠른 정렬을 가능하게 한다. 특히, ScanNet25k에서 완전 감독 모델을 초과한 점은 제로샷 접근법의 잠재력을 입증한다. 그러나 **NOCs 감독 데이터**가 674K 이미지에 의존하므로, 데이터 확장성이 한계가 될 수 있다. 또한, **복잡한 가림 상황**에서의 성능은 명시되지 않음.

실용적 활용

SUFLECA는 로봇, 증강현실(Augmented Reality) 등에서 **실시간 객체 정렬**이 필요한 상황에 적용 가능하다. 특히, **사전 학습된 모델을 활용한 제로샷 정렬**이 필요한 산업 현장에서 유용할 수 있다.