Cross-modal Steering Vectors Exist Across Both Image and Text Generation

Are concepts and mechanisms unified across modalities in current AI models, or instead implemented separately for each one? We operationalize this broad question of modality unification by studying cross-modal steering: 1) finding vectors that successfully steer generation on tokens of one modality, which then 2) transfer zero-shot to steer generation when added to tokens of another modality. Our study goes beyond simple correlational alignment (e.g. representational similarity) because steering is fundamentally causal. We study cross-modal steering in several unified multimodal models (UMMs), since they possess shared parameters for language and image generation, focusing on these two modalities. Across diverse steered concepts such as emotion and object size, we show that steering vectors transfer zero-shot in both directions (text-to-image & image-to-text). Even for concepts that are highly unique to one modality (e.g. formal vs. colloquial language), steering vectors often induce a consistent, interpretable effect in the other modality, such as formal clothing and design. This transfer has a geometric signature too: despite a clear modality gap separating text and image representations, steering vectors with strong cross-modal transferability tend to point in similar directions for the same concept. Our findings shed light on how vision and language interact inside unified multimodal models and point towards more general, modality-agnostic approaches for controlling their behavior.

한 줄 요약

다양한 개념에 대해 텍스트-이미지 간 제로샷 크로스모달 스티어링 벡터가 존재함을 실증적으로 보여준다.

핵심 기여도

UniAR, Emu3.5, Liquid 3개의 UMM에서 텍스트-이미지, 이미지-텍스트 양방향 크로스모달 스티어링 성공
UniAR에서 텍스트 유도 벡터가 이미지 생성에 84%의 효과 회복, 이미지 유도 벡터는 텍스트 생성에 74% 회복
Emu3.5와 Liquid에서 텍스트 유도 벡터가 이미지 생성에 더 강력한 효과를 보임
크로스모달 스티어링 벡터가 텍스트와 이미지 표현 간의 명확한 간극을 넘어서 동일 방향으로 지시됨

핵심 아이디어

기존 연구는 텍스트와 이미지 생성을 별도로 분석했으나, 본 연구는 **크로스모달 스티어링**(cross-modal steering)이라는 새로운 개념을 도입하여, 한 모달리티에서 발견된 스티어링 벡터가 다른 모달리티로 제로샷으로 전달되는지 실험적으로 검증한다. 이는 **인과적**(causal) 관점에서 모델 내부의 개념 표현이 모달리티에 독립적인지 탐색하는 핵심 통찰을 제공한다.

예를 들어, 텍스트에서 추출된 "공식적 언어" 스티어링 벡터가 이미지 생성 시 "공식적인 옷차림"을 유도하거나, 반대로 이미지에서 추출된 "저해상도" 벡터가 텍스트 생성 시 "불확실한 표현"을 유도하는 현상을 관찰함으로써, 모델이 **시각적-언어적 개념을 내부적으로 연결**하고 있다는 사실을 입증한다.

기술적 접근법

**모델**: UniAR, Emu3.5, Liquid 세 가지 **유니파이드 멀티모달 모델**(UMMs) 사용
**스티어링 벡터 추출**: 특정 개념(감정, 물체 크기, 언어 형식 등)에 대해 텍스트 또는 이미지 토큰에서 선형 방향을 추출
**제로샷 전이 실험**: 추출된 벡터를 다른 모달리티의 토큰에 더해 생성 결과를 관찰
**지표**: Cross-modal Recovery (Rec_img, Rec_txt)로, 스티어링 효과의 전이 정도를 수치화
**기하학적 분석**: 텍스트와 이미지 벡터가 동일 개념에 대해 유사한 방향을 가짐을 확인

주요 결과

**UniAR**: 텍스트 유도 벡터가 이미지 생성에 84%의 효과 회복, 이미지 유도 벡터는 텍스트 생성에 74% 회복
**Emu3.5, Liquid**: 텍스트 유도 벡터가 이미지 생성에 더 강력한 효과를 보임
**개념별 전이**: 감정, 물체 크기, 언어 형식 등 8개 개념에서 전이 성공
**기하학적 특징**: 텍스트와 이미지 벡터가 동일 개념에 대해 유사한 방향을 지시함

의의 및 한계

본 연구는 **유니파이드 모델 내부의 개념 표현이 모달리티에 독립적인 인과적 방향을 가질 수 있음을 실증**하며, 멀티모달 모델 제어에 있어 **모달리티-아그노스틱 접근법**의 가능성을 제시한다. 또한, 텍스트-이미지 간의 명확한 표현 간극을 넘어서는 **공통된 제어 방향**이 존재함을 보여, 모델 해석 및 안전성 강화에 기여할 수 있다.

그러나, **모든 개념이 동일하게 전이되지 않으며**, 일부는 한쪽 모달리티에 특화된 경우가 있음. 또한, **모델 종류에 따라 전이 성능이 달라질 수 있으므로**, 보다 다양한 모델과 개념에 대한 연구가 필요하다.

실용적 활용

모델 안전성 향상: 텍스트에서 발견된 안전성 개선 스티어링 벡터를 이미지 생성에도 적용 가능
멀티모달 생성 시스템 최적화: 한 모달리티에서 스티어링 벡터를 추출해 다른 모달리티에 재사용 가능
모델 해석도구 개발: 크로스모달 스티어링을 기반으로 모델 내부의 개념 연결 구조를 분석할 수 있음