RTAformer: Relation-Transition-Aware Transformer for Video Scene Graph Generation

Video scene graph generation (VidSGG) aims to capture objects and their evolving relationships in videos. This requires accounting for both the persistence of object identities and abrupt changes in relationships. Existing methods aggregate information across frames to exploit temporal context, but an emphasis on consistency can obscure these changes. As a result, a model may retain its previous prediction even after the underlying relation has changed. We refer to this failure mode as relational semantic inertia. To address this issue, we propose Relation-Transition-Aware Transformer (RTAformer), a one-stage framework that separately models entity persistence and relation changes. It injects calibrated differences between adjacent-frame relation queries to guide predicate updates, while cross-frame instance alignment during training helps reduce cross-frame representational drift. Experiments on Action Genome show improvements in recall and mean recall over existing methods, with ablation studies supporting the contributions of the proposed components and comparisons using matched backbones showing larger gains on relation-transition frames than on non-transition frames.

한 줄 요약

RTAformer는 비디오 장면 그래프 생성에서 관계 변화를 효과적으로 반영하기 위해 관계 전이 정보를 모델링하는 트랜스포머 기반 프레임워크이다.

핵심 기여도

**관계 의미 관성**(Relational Semantic Inertia)이라는 VidSGG의 새로운 실패 모드를 정의하고, 이를 해결하기 위한 RTAformer 프레임워크를 제안.
**Transition-Aware Delta Injection**(TADI)을 통해 관계 쿼리 간 차이를 삽입하여 관계 업데이트를 유도.
**Spatio-Semantic Instance Alignment**(SSIA)를 통해 인스턴스-쌍 쿼리의 일관성을 강화하여 표현 드리프트를 감소.
Action Genome 데이터셋에서 기존 방법 대비 **R@10 4.8% 개선**(Transition Frame 기준)을 달성.

핵심 아이디어

기존 VidSGG 방법은 시간 정보를 활용해 예측을 개선하지만, 이는 관계 변화를 감지하는 능력을 약화시킬 수 있다. 이는 **관계 의미 관성**(Relational Semantic Inertia)이라는 문제로, 동일한 객체 쌍이 지속되더라도 관계가 변화했음에도 모델이 이전 예측을 유지하는 현상이다. RTAformer는 이 문제를 해결하기 위해 **관계 변화**(Relation Transition)를 별도로 모델링하는 방식을 도입한다.

RTAformer는 **Disentangled Temporal Aggregation**(DTA)을 통해 인스턴스와 관계를 분리된 스트림에서 처리하며, **TADI**를 통해 인접 프레임 간 관계 쿼리의 차이를 삽입하여 관계 업데이트를 유도한다. 또한, **SSIA**를 통해 인접 프레임의 인스턴스-쌍 쿼리 간 일관성을 강화하여 표현 드리프트를 줄인다. 이는 관계 변화를 더 민감하게 반영하는 데 기여한다.

기술적 접근법

**RTAformer**는 **Frame-Wise Spatial Triplet Parsing**, **Disentangled Temporal Aggregation**(DTA), **Spatio-Semantic Instance Alignment**(SSIA)의 3단계로 구성된다.
**DTA**는 인스턴스 스트림과 관계 스트림을 분리하여 처리하며, 관계 스트림에서는 **Transition-Aware Delta Injection**(TADI)을 통해 인접 프레임 간 관계 쿼리의 차이를 삽입.
**SSIA**는 인접 프레임의 인스턴스-쌍 쿼리에 대비적 정규화를 적용하여 일관성을 강화.
**DINOv2 ViT-B/14**를 사용하며, **Nq=100**개의 학습 가능한 트리플릿 쿼리를 사용.
**SSIA의 하이퍼파라미터**: κ=0.1, τ=0.3, λSSIA=0.1.

주요 결과

**Action Genome 데이터셋**에서 **R@10 45.9%**(Non-Transition Frame)와 **34.3%**(Transition Frame)를 달성.
**RTAformer**는 기존 방법인 **OED** 대비 **Transition Frame에서 R@10 4.8% 개선**, **Non-Transition Frame에서는 1.7% 개선**.
**TADI**는 **Direction-Only Injection** 대비 **Raw Delta**가 더 높은 성능을 보임.
**Relation-query displacement**(rq)가 증가할수록 관계 전이 발생 확률이 20.9%에서 55.4%로 증가.

의의 및 한계

RTAformer는 관계 변화를 효과적으로 반영함으로써 VidSGG에서 중요한 한계인 **관계 의미 관성**을 해결하는 데 기여한다. 특히, **Transition-Aware Delta Injection**과 **Spatio-Semantic Instance Alignment**를 통해 관계 업데이트의 정확도를 높였으며, **Action Genome 데이터셋**에서 실질적인 성능 개선을 입증했다.

그러나, **관계 쿼리의 displacement**(rq)는 관계 전이를 예측하는 데 **AUROC 0.621**에 불과하며, 완전한 신뢰도는 부족하다. 또한, **foreground confidence**(cq)는 전이 예측에 **AUROC 0.442**로, 제한적이다. 이는 관계 전이 예측의 정확도를 높이기 위한 추가 연구가 필요함을 시사한다.

실용적 활용

RTAformer는 **비디오 기반 행동 인식**, **비디오-언어 추론**, **로봇 내비게이션 및 계획** 등에서 구조화된 장면 정보를 제공하는 데 유용하다. 특히, **동일한 객체가 지속되지만 관계가 변화하는 상황**(예: 사람-문의 관계 변화)에서 뛰어난 성능을 보여, **실시간 비디오 분석** 및 **동적 환경 모델링**에 적합하다.