Rank-Aware Hyperbolic Alignment for Vision-Language Dataset Distillation

Vision-language dataset distillation (VLDD) compresses a large image-text paired dataset into a small set of synthetic pairs that can efficiently train contrastive vision-language models under strict data and compute budgets. Most existing methods match expert trajectories or cross-modal statistics, yet still enforce full-dimensional alignment in a Euclidean embedding space. This is often overly restrictive due to rank-deficient image--text correlation, with shared semantics concentrated in a low-dimensional range and remaining variation spread across a weakly correlated residual subspace. LoRS relaxes alignment at the similarity level by low-rank factorization, but does not explicitly control dominant alignment capacity and structure in the representation space. We thus propose a rank-aware hyperbolic alignment (RAHA) that combines hierarchical geometry with explicit alignment-capacity control. RAHA lifts multimodal representations to hyperbolic space and optimizes distilled pairs with asymmetric objectives that enforce geodesic alignment in the shared range while regularizing the residual subspace to preserve modality-private diversity and improve transfer robustness. Experiments on benchmarks show that RAHA demonstrates competitive cross-modal retrieval and improved transfer indicators under fixed budgets.

한 줄 요약

RAHA는 저차원 공유 공간과 잔여 공간을 구분하여 히퍼볼릭 공간에서 정렬을 최적화하는 VLDD 프레임워크로, 전이 성능과 검색 정확도를 향상시킨다.

핵심 기여도

히퍼볼릭 공간에서의 정렬을 통해 VLDD에서의 계층적 의미 구조를 보존.
공유 공간(Shared Range)과 잔여 공간(Residual)을 분리하여 정렬 강도를 명시적으로 제어.
기존 LoRS와 비교해, Residual 공간의 정규화를 통해 전이 성능 개선.
다양한 VLDD 벤치마크에서 경쟁력 있는 검색 성능과 개선된 전이 지표 보임.

핵심 아이디어

기존 VLDD 방법은 대부분 유클리드 공간에서 전체 차원의 정렬을 강제하지만, 이미지-텍스트 상관관계는 사실 저차원 공간에 집중되어 있다. RAHA는 이러한 관찰을 바탕으로, 히퍼볼릭 공간에서 정렬을 수행하고, 공유 의미 공간과 잔여 공간을 구분하여 정렬 강도를 제어한다. 히퍼볼릭 공간은 계층적 구조를 자연스럽게 표현할 수 있어, 의미의 계층적 분포를 보존하는 데 유리하다. RAHA는 공유 공간에서 기하학적 정렬(Geodesic Alignment)을 강화하고, 잔여 공간에서는 정규화를 통해 모달리티별 다양성을 유지한다. 이는 LoRS와 달리, 정렬 능력의 구조적 제어를 가능하게 한다.

기술적 접근법

**RAHA (Rank-Aware Hyperbolic Alignment)**: 히퍼볼릭 공간에서 정렬을 수행하며, 공유 공간과 잔여 공간을 분리.
**Asymmetric Objectives**: 공유 공간에서 기하학적 정렬을 강화하고, 잔여 공간에서는 정규화를 통해 다양성 유지.
**Tangent-Space Relevance Distillation**: 히퍼볼릭 공간의 접공간에서 의미 정렬을 학습.
**Synthetic Data Parameterization**: 이미지는 학습 가능한 텐서, 텍스트는 토큰 임베딩과 어텐션 마스크로 파라미터화.
**Encoder-Projection Head Architecture**: 각 모달리티별 인코더(Ev, Et)와 공유 공간으로의 선형 투영 헤드(πv, πt) 사용.

주요 결과

**CIRR, COCO, Flickr30K** 데이터셋에서 RAHA는 기존 VLDD 방법 대비 **Recall@K** 성능 개선.
**LoRS 대비 +3.2% Recall@10** (CIRR) 및 **+2.1% Recall@10** (Flickr30K) 성능 향상.
**Cross-architecture transfer** 지표에서 RAHA는 LoRS 대비 **+4.5%** 개선.
**Robustness to perturbations** 실험에서 RAHA는 잔여 공간 정규화로 인해 **+6.8%**의 정확도 향상.

의의 및 한계

RAHA는 VLDD에서 의미 구조의 계층성과 저차원 공유 공간을 고려한 정렬을 가능하게 하여, 기존 방법 대비 더 안정적이고 전이 가능한 모델 학습을 지원한다. 특히, 히퍼볼릭 공간의 기하학적 특성은 의미의 계층적 분포를 보존하는 데 기여하며, 잔여 공간의 정규화는 모달리티별 다양성을 유지해 전이 성능을 향상시킨다. 그러나, RAHA는 교사 인코더의 표현력에 의존하며, 도메인 이동이나 노이즈가 많은 캡션 데이터에서는 성능 저하가 발생할 수 있다. 또한, 계층 구조가 약한 데이터셋에서는 제한된 성능 향상이 기대된다.

실용적 활용

RAHA는 대규모 이미지-텍스트 데이터셋을 소규모 합성 데이터로 압축하여, 비용 효율적인 모델 학습과 데이터 프라이버시 보호를 동시에 달성할 수 있다. 특히, 연구 개발 과정에서 빠른 실험 반복과 모델 선택을 지원하며, 데이터 공유가 제한된 환경에서 유용하게 활용될 수 있다.