Detector Confidence Signals Presence Rather Than Occlusion in Cluttered Manipulation

Occlude a named object until about an eighth of it remains visible, and an open-vocabulary detector's confidence that the object is present barely changes; as the clutter around it grows the confidence can even rise. On real video the detector still reports the object present in 99% of occluded frames, on another instance of the same category. This matters because that confidence is widely read as a visibility signal, used to threshold detections, evaluate open-vocabulary detectors, ground language, retrieve instances, and gate active perception. We audit whether it reflects occlusion by pairing every view with a geometry-segmentation oracle that gives detector-free ground-truth visibility. As true visibility falls from every scene to one in eight, the confidence stays nearly constant and uncorrelated with visibility, and the detector reports the target present in about nine of ten scenes, firing on same-category distractors: it signals that the category is present somewhere, not that the specific target is visible. The failure holds across three detectors (Grounding DINO, OWLv2, and Segment Anything Model 3), nine object categories, two simulators with different renderers and object sets, built and natural occlusion, and real video. Two consequences follow: a confidence-based metric understates the value of resolving occlusion by about ten times (8 against 88 points in our active-perception setting), and a confidence-based gate fires exactly when the object is hidden. No single-view signal we tried, including a realizable localization check, flags the occlusion, because the occluders sit where the target is. We connect the effect to detector miscalibration and object hallucination, release the controlled benchmark, and recommend target-grounded signals for gating and evaluation.

한 줄 요약

개방형 어휘 감지기의 신뢰도는 가림 상태를 반영하지 않고, 대신 유사 카테고리 객체의 존재를 신호로 전달한다.

핵심 기여도

감지기 신뢰도가 실제 가림 상태와 상관없이 유지되며, Grounding DINO, OWLv2, Segment Anything Model 3 세 모델에서 동일한 결과를 보임.
가림 상태에서 99%의 프레임에서 객체가 존재한다고 감지하며, 실제 가림률이 1/8이 되어도 신뢰도는 거의 변하지 않음.
활성 시각 시스템에서 신뢰도 기반 메트릭은 가림 해소의 가치를 약 10배 과소평가함.
단일 뷰 신호는 가림을 신뢰성 있게 감지하지 못하며, 카메라 이동이 유일한 해결책임.

핵심 아이디어

기존 연구에서는 감지기의 신뢰도가 객체의 가림 상태를 반영한다고 가정했지만, 이 연구는 그 가정이 부정확함을 밝힘. 감지기는 특정 객체가 가려졌을 때, 유사 카테고리의 객체가 화면에 존재하면 여전히 높은 신뢰도를 출력하며, 이는 실제 가림 상태와는 무관함. 이는 감지기의 미조정(miscalibration)과 객체 환상(hallucination)으로 인한 결과로, 감지기 신뢰도가 "카테고리 존재 여부"를 신호로 전달하는 데 사용되지만, "특정 타겟의 가림 여부"는 반영하지 않음. 이 연구는 기하학적 분할 오라클(geometry-segmentation oracle)을 사용해 감지기 신뢰도와 실제 가림 상태를 비교함으로써 이 문제를 체계적으로 분석함.

기술적 접근법

**감지기**: Grounding DINO, OWLv2, Segment Anything Model 3
**데이터셋**: 시뮬레이터(다른 렌더러와 객체 집합), 실제 영상(표준 분할 벤치마크)
**가림 유형**: 인공적 및 자연적 가림, 9개 객체 카테고리
**오라클**: 기하학적 분할을 기반으로 한 감지기 독립적 가림 진단
**실험 설정**: 카메라 고정 뷰와 후보 뷰에서의 감지기 신뢰도와 오라클 가림률 비교
**평가 지표**: IoU 기반 속성 분할, 활성 시각 시스템에서의 성능 측정

주요 결과

**가림률 1/8일 때**: 감지기 신뢰도는 거의 변하지 않으며, 실제 가림 상태와 상관관계가 없음.
**실제 영상에서**: 99%의 가림 프레임에서 객체가 존재한다고 감지.
**활성 시각 시스템**: 신뢰도 기반 메트릭은 가림 해소의 가치를 약 10배 과소평가 (8 대 88 포인트).
**신뢰도 기반 게이트**: 객체가 가려졌을 때 정확히 작동하며, 가림 상태를 감지하지 못함.
**단일 뷰 신호**: 가림을 신뢰성 있게 감지하지 못함.

의의 및 한계

이 연구는 감지기 신뢰도가 가림 상태를 반영하지 않음을 명확히 밝히며, 이는 활성 시각, 언어-시각 연결, 인스턴스 검색 등 여러 분야에 영향을 미침. 감지기의 미조정과 객체 환상이 가림 상태를 공간적, 신분별 실패로 이어짐. 그러나 이 연구는 시뮬레이션 환경과 실제 영상에서의 결과를 비교했으나, 실제 로봇 환경에서의 적용 가능성은 추가 연구가 필요함. 또한, 감지기 독립적 오라클을 사용했지만, 실제 로봇에서는 분할 오라클이 제한적일 수 있음.

실용적 활용

이 연구는 로봇 조작, 활성 시각 시스템, 객체 추적 등에서 감지기 신뢰도를 신뢰하지 말고, 대신 타겟 기반 신호를 사용할 것을 권장함. 특히, 카메라 이동 후 타겟 기반 분할을 통해 가림 상태를 확인하는 방식이 필요함. 감지기 신뢰도는 카테고리 존재 여부를 나타내는 데는 유용하지만, 특정 객체의 가림 여부를 판단하는 데는 적합하지 않음.