Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition

Zero-Shot Compositional Action Recognition (ZS-CAR) requires recognizing novel verb-object combinations composed of previously observed primitives. In this work, we tackle a key failure mode: models predict verbs via object-driven shortcuts (i.e., relying on the labeled object class) rather than temporal evidence. We argue that sparse compositional supervision and verb-object learning asymmetry can promote object-driven shortcut learning. Our analysis with proposed diagnostic metrics shows that existing methods overfit to training co-occurrence patterns and underuse temporal verb cues, resulting in weak generalization to unseen compositions. To address object-driven shortcuts, we propose Robust COmpositional REpresentations (RCORE) with two components. Co-occurrence Prior Regularization (CPR) adds explicit supervision for unseen compositions and regularizes the model against frequent co-occurrence priors by treating them as hard negatives. Temporal Order Regularization for Composition (TORC) enforces temporal-order sensitivity to learn temporally grounded verb representations. Across Sth-com and EK100-com, RCORE reduces shortcut diagnostics and consequently improves compositional generalization.

한 줄 요약

RCORE는 객체 중심의 단축 학습을 억제하여 Zero-Shot Compositional Action Recognition(ZS-CAR)의 일반화 성능을 향상시킨다.

핵심 기여도

ZS-CAR 모델의 주요 실패 원인으로 객체 중심의 단축 학습을 식별함.
CPR(Co-occurrence Prior Regularization)과 TORC(Temporal Order Regularization for Composition)를 제안하여 단축 학습을 억제함.
EK100-com이라는 새로운 데이터셋을 제시하고, 개선된 평가 프로토콜을 제안함.
Sth-com과 EK100-com 데이터셋에서 14.0%의 라벨 커버리지 비율을 명시함.

핵심 아이디어

기존 ZS-CAR 모델은 희소한 학습 데이터와 동사-객체 학습의 비대칭성으로 인해 객체 중심의 단축 학습(shortcut learning)에 의존한다. 이는 동사의 의미를 시간적 증거에서 배우는 대신, 객체 라벨에 의존하는 경향을 낳는다. 이를 해결하기 위해, RCORE는 두 가지 핵심 아이디어를 제시한다: (1) 학습 과정에서 공현 통계에 대한 과적합을 억제하는 CPR, (2) 시간적 구조를 강화하는 TORC. CPR은 빈번한 공현을 하드 네거티브로 취급하여 모델을 정규화하고, TORC는 시간 순서 민감도를 강제하여 정적 객체 정보에 대한 의존성을 줄인다. 이는 기존 모델이 시간적 증거를 무시하고 객체 기반 예측에 집중하는 문제를 해결한다.

기술적 접근법

**RCORE 구성 요소**:
**CPR(Co-occurrence Prior Regularization)**: 빈번한 공현을 하드 네거티브로 취급하여 정규화.
**TORC(Temporal Order Regularization for Composition)**: 시간 순서 민감도를 강화하는 정규화 손실.
**데이터셋**: Sth-com, EK100-com (14.0%의 라벨 커버리지).
**모델 아키텍처**: CLIP-B/16을 백본으로 사용, AIM을 비디오 인코더로, 두 개의 시간적 컨볼루션 레이어와 ReLU 활성화 함수를 사용한 동사 인코더, 시간 평균 풀링 + 2층 MLP를 사용한 객체 인코더.
**학습 전략**: CoOp-style 학습 가능한 텍스트 프롬프트 사용.

주요 결과

**Sth-com 데이터셋**: RCORE는 기존 모델 대비 더 높은 unseen composition 정확도를 보임.
**EK100-com 데이터셋**: RCORE는 14.0%의 라벨 커버리지에서도 개선된 성능을 달성함.
**Compositional Gap (ΔCG)**: RCORE는 기존 모델 대비 더 높은 ΔCG를 보여, 구성적 추론의 이점을 입증함.
**Co-occurrence Bias 감소**: RCORE는 공현 편향을 줄이며, false-seen 및 false-co-occurrence 예측 비율을 낮춤.

의의 및 한계

RCORE는 ZS-CAR에서 객체 중심 단축 학습을 직접적으로 해결함으로써, 구성적 비디오 이해의 신뢰성을 높이는 데 기여한다. 특히, 평가 프로토콜의 한계를 지적하고, 개방 세계 평가 설정을 제안함으로써, 모델의 진정한 일반화 능력을 평가할 수 있는 기반을 마련했다. 그러나, RCORE는 여전히 희소한 데이터 환경에서의 성능 한계가 존재하며, 더 복잡한 동사-객체 조합에 대한 일반화 능력은 추가 연구가 필요하다.

실용적 활용

RCORE는 영상 기반 인식 시스템, 특히 희소 라벨 데이터 환경에서 동작 인식이 필요한 산업(예: 스마트 홈, 보안 감시, 의료 영상 분석)에 적용 가능하다. 또한, 객체 중심 단축 학습을 억제하는 접근법은 다른 구성적 학습 문제에도 유용하게 활용될 수 있다.