Material-Segmented Per-Pixel Emissivity Correction for Thermographic Anomaly Detection in Cultural Heritage Digital Twins

Quantitative longwave thermography of heritage surfaces is limited by the global-constant emissivity assumption in inverse-Planck temperature retrieval; on heterogeneous surfaces emissivity varies within one field of view, producing apparent-temperature artifacts that mimic and mask subsurface anomalies. We present a training-free pipeline that derives per-pixel emissivity by applying SAM 3.1 open-vocabulary segmentation to a colocated, co-calibrated RGB channel, mapping segments to a material-keyed LWIR emissivity table compiled from primary measurement literature, and propagating the field into a per-pixel inverse-Planck solve on raw radiometric data. Lacking any public dataset with raw radiometry, a temperature reference, and a colocated RGB camera, we evaluate on a physics-based synthetic benchmark and four real datasets. On the benchmark, under a palette spanning the low-emissivity exceptions, the correction cuts mean absolute error from 1.97 K to 0.91 K at 20 K contrast and, with an accurate table, beats the best fitted global constant on every layout; on a heritage-realistic emissivity distribution it does not. We contribute a quantified operating-regime map, and a measurement-backed finding that tempers the heritage claim: weathered outdoor heritage emissivities cluster near the conventional default, so the correction is small on typical surfaces and concentrated on genuine low-emissivity exceptions. We characterize the dominant failure mode, in which open-vocabulary segmentation matches appearance rather than material, and the contraindicated regime in which emissivity-defined anomalies are suppressed.

한 줄 요약

문화유산 디지털 트윈의 열화상 이상 탐지에서 화소별 발사율 보정을 위한 훈련 없는 파이프라인을 제안한다.

핵심 기여도

SAM 3.1을 활용한 훈련 없는 화소별 발사율 추정 파이프라인 제안.
물질별 발사율 표를 사용한 열화상 보정 방법 제시.
물리 기반 시뮬레이션 벤치마크와 4개의 실제 데이터셋에서 평가 수행.
발사율 보정이 유의미한 경우는 낮은 발사율 예외 상황에 집중됨을 밝힘.

핵심 아이디어

열화상에서 발사율을 전역 상수로 가정하면 이질적인 표면에서 가상 온도 아티팩트가 발생하여 실제 이상을 감추거나 모방할 수 있다. 이를 해결하기 위해, 저자는 열화상과 동일 시야의 RGB 이미지에 SAM 3.1을 적용하여 화소별 물질 분할을 수행하고, 물질별 발사율 표를 매핑하여 화소 단위로 발사율을 보정한다. 이는 훈련 없이도 이루어지는 것이 핵심이며, 실제 발사율 분포가 전통적 기본값에 가까운 문화유산 표면에서는 보정 효과가 제한적임을 밝히는 것이 새로운 통찰이다.

기술적 접근법

SAM 3.1을 사용한 열화상과 RGB 이미지의 동일 시야 분할.
물질별 발사율 표는 주요 측정 문헌에서 컴파일.
원시 라디오미트릭 데이터에 화소별 역플랑크 풀이 적용.
공개된 원시 라디오미트릭, 온도 기준, RGB 카메라가 함께 있는 데이터셋 부재로, 물리 기반 시뮬레이션과 4개의 실제 데이터셋을 사용하여 평가.

주요 결과

시뮬레이션 벤치마크에서 20 K 대비 평균 절대 오차가 1.97 K에서 0.91 K로 감소.
정확한 발사율 표를 사용하면 모든 레이아웃에서 최적 전역 상수보다 우수.
문화유산 현실적인 발사율 분포에서는 보정 효과 미미.
낮은 발사율 예외 상황에서만 유의미한 개선 발생.

의의 및 한계

이 연구는 열화상에서 발사율 보정을 훈련 없이 수행하는 첫 사례로, 문화유산 디지털 트윈 분야에서 정량적 이상 탐지 정확도를 향상시킬 수 있다. 그러나 실제 발사율 분포가 전통적 기본값에 가까운 경우 보정 효과가 제한되며, SAM 3.1이 외관이 아닌 물질을 기반으로 분할하지 못하는 경우 실패 모드가 발생한다는 한계가 있다.

실용적 활용

문화유산 보존 및 모니터링 분야에서 열화상 기반의 이상 탐지 정확도를 향상시키는 데 활용 가능하며, 낮은 발사율 물질이 포함된 구조물 검사에도 유용할 수 있다.