Repairing Shape-Prior Shortcuts in Long-Range Single-Shot Fringe Projection Profilometry

Single-shot fringe projection profilometry (FPP) networks that regress depth directly can exploit a shape-prior shortcut, recovering depth from object boundaries rather than from fringe phase. On a photorealistic synthetic benchmark (15,600 fringe images, 50 objects at 1.5-2.1 m standoff), the best such UNet baseline plateaus at 14.54 mm object mean absolute error (MAE), and neither more data nor more capacity removes the shortcut, because neither changes the hypothesis space the optimizer searches. We introduce PhiCalNet, which outputs a wrapped-phase representation $(\sin\phi, \cos\phi)$ and maps it to depth through a fixed differentiable calibration layer, removing the shape-prior solution architecturally rather than by a loss penalty. Because the single-shot mapping is non-injective without fringe order, PhiCalNet takes the fringe order as auxiliary input, an assumption a sensitivity analysis shows tolerates realistic decoding error; a physics-informed (PINN) baseline with the same physics as a soft penalty yields no gain, isolating the architectural choice as the operative factor. PhiCalNet reduces object MAE 3.3x to 4.46 mm, its residual confined to 0.103% of pixels at the $\pm\pi$ wrap discontinuity, and a three-frame extension reaches 1.16 mm. Two checks agree: interpretability makes phase the most decodable internal feature, and pixel-wise conformal uncertainty quantification, to our knowledge the first for FPP, localizes error at the same discontinuity, where rejecting the top 5% of pixels by snapshot disagreement cuts root-mean-square error by 64% versus 3.5% for the baseline.

한 줄 요약

PhiCalNet은 싱글샷 프린지 프로젝션 프로파일로미트리에서 형상-사전 단서를 제거해 4.46 mm의 오브젝트 MAE를 달성한 신경망이다.

핵심 기여도

PhiCalNet은 UNet 기반 베이스라인 대비 3.3배 개선된 4.46 mm의 오브젝트 MAE를 달성.
UNet 기반 모델이 14.54 mm의 오브젝트 MAE에 도달했으나, 추가 데이터나 모델 크기 증가로는 개선 불가.
PhiCalNet은 $(\sin\phi, \cos\phi)$를 출력하고, 고정된 미분 가능한 캘리브레이션 레이어를 통해 깊이를 계산.
싱글샷 매핑이 주기 순서 없이 비단사적이므로 PhiCalNet은 주기 순서를 보조 입력으로 사용.

핵심 아이디어

기존 싱글샷 FPP 네트워크는 깊이를 직접 회귀하는 방식으로, 프린지 위상이 아닌 오브젝트 경계에서 깊이를 복원하는 형상-사전 단서를 악용한다. 이는 학습 가설 공간의 구조적 문제로, 데이터 증가나 모델 확장으로 해결되지 않는다. PhiCalNet은 이 문제를 손실 패널티가 아닌 아키텍처적 변화로 해결한다. 네트워크는 $(\sin\phi, \cos\phi)$를 출력하고, 이를 고정된 캘리브레이션 레이어를 통해 깊이로 변환한다. 이는 깊이 회귀 네트워크가 형상-사전 솔루션을 학습할 수 있는 가설 공간을 아키텍처적으로 제거하는 방식이다. 또한, 싱글샷 매핑이 비단사적이기 때문에 주기 순서를 보조 입력으로 제공하며, 이는 실제 해독 오차를 감수할 수 있음을 민감도 분석이 보여준다.

기술적 접근법

**PhiCalNet 아키텍처**: UNet 백본 $f_\theta$가 $(\sin\phi, \cos\phi)$를 예측.
**단위 원 투영**: $(s, c) \mapsto (s, c)/\sqrt{s^2 + c^2 + \varepsilon}$를 통해 $\sin^2\phi + \cos^2\phi = 1$ 강제.
**고정 캘리브레이션 레이어 $\mathcal{C}(\cdot)$**: unwrapped phase $\Phi$를 깊이 $D$로 변환.
**주기 순서 입력**: 7-bit gray-code 프로젝션으로 추출한 $k_{\mathrm{gt}}$를 사용.
**학습**: $f_\theta$만 학습하며, $\mathcal{C}$는 고정됨. 깊이 예측은 $(\sin\phi, \cos\phi)$를 통해 간접적으로 이루어짐.
**데이터셋**: FPP-ML-Bench (15,600 프린지 이미지, 50 오브젝트, 1.5–2.1 m standoff).

주요 결과

**UNet 기반 베이스라인**: 오브젝트 MAE 14.54 mm.
**PhiCalNet**: 오브젝트 MAE 4.46 mm (3.3배 개선).
**3프레임 확장**: 오브젝트 MAE 1.16 mm.
**오류 분포**: $\pm\pi$ wrap 불연속점에서 0.103% 픽셀에 집중.
**Conformal UQ**: 상위 5% 픽셀 거부로 PhiCalNet RMSE 64% 감소 (20.6 → 7.4 mm), UNet 기준 3.5% 감소.

의의 및 한계

PhiCalNet은 FPP에서 형상-사전 단서를 아키텍처적으로 제거함으로써, 기존 UNet 기반 모델이 해결하지 못한 문제를 해결한다. 이는 FPP에서 물리 기반 학습의 새로운 접근법을 제시하며, 싱글샷 FPP의 정확도를 크게 향상시킨다. 또한, 픽셀 단위 conformal uncertainty quantification을 최초로 적용해 오류를 구조적으로 분석할 수 있다. 그러나 PhiCalNet은 주기 순서를 보조 입력으로 필요로 하며, 이는 싱글샷 환경에서 별도의 프로젝션 또는 프레임이 필요하다는 한계가 있다. 또한, 주기 순서 해독 오차에 대한 민감도는 실제 배포 시 고려해야 할 요소이다.

실용적 활용

PhiCalNet은 1.5–2.1 m 거리에서 작동하는 실시간 3D 측정 시스템에 적용 가능하며, 로봇 스캐닝, 제조 공정 제어, 물체 인식 등에서 활용될 수 있다. 특히, 오류 분포를 정량적으로 파악할 수 있는 conformal UQ 기법은 신뢰도 기반 결정 시스템 구축에 유용하다.