Text-Guided Multi-Scale Frequency Representation Adaptation

Parameter-efficient fine-tuning methods introduce a small number of training parameters, enabling pre-trained models to adapt rapidly to new data distributions. While these methods have shown promising results, they exhibit notable limitations. First, most existing methods operate in the signal space domain, which results in substantial information redundancy. Second, most existing methods utilize fixed prompts or adaptation layers, failing to fully account for the multi-scale characteristics of signals. To address these challenges, we propose the Multi-Scale Frequency Adapter (FreqAdapter), which integrates textual information and performs multi-scale fine-tuning of signals in the frequency domain. Additionally, we introduce a multi-scale adaptation strategy to optimize receptive fields across different frequency ranges, further enhancing the model's representational capacity. Extensive experiments on multimodal models, including CLIP and LLaVA, demonstrate that FreqAdapter significantly improves both performance and efficiency. FreqAdapter improves performance with minimal cost and fast convergence within one epoch. Code is available at https://github.com/Kelvin-ywc/FreqAdapter.

📋 한 줄 요약

**[Parameter-Efficient Fine-Tuning / 멀티모달]** 신호 공간이 아닌 주파수 공간에서 텍스트 가이드 멀티스케일 어댑테이션을 수행하는 FreqAdapter를 제안하여 CLIP·LLaVA에서 성능과 효율을 동시 개선.

🎯 핵심 기여도

기존 PEFT가 신호 공간에 머물러 정보 중복이 큰 문제를 주파수 도메인으로 옮겨 해결
텍스트 정보 통합과 멀티스케일 주파수 미세조정을 결합한 FreqAdapter 제안
서로 다른 주파수 범위에 대한 수용 영역을 동시에 최적화하는 멀티스케일 적응 전략 도입
CLIP, LLaVA 등 멀티모달 모델에서 1 에폭 이내의 빠른 수렴과 성능·효율의 동시 개선 입증

💡 핵심 아이디어

이미지 신호는 주파수 영역에서 더 적은 차원으로 압축 가능하므로, 동일 표현력을 더 적은 파라미터로 얻을 수 있다. 또한 서로 다른 주파수 대역은 의미·디테일·구조 등을 분리해 담고 있으므로, 멀티스케일로 따로 미세조정하는 것이 효과적이다. 여기에 텍스트 가이드를 결합해 “어떤 주파수가 중요한지”를 태스크별로 조절한다.

🔬 기술적 접근법

**주파수 변환**: 입력/특징을 DCT 혹은 유사 변환으로 주파수 도메인으로 옮긴 뒤 어댑터를 적용
**텍스트 가이드**: 텍스트 임베딩을 조건으로 주파수 대역별 가중을 동적으로 조정
**멀티스케일 어댑터**: 저주파(전역 구조)·중주파(객체)·고주파(텍스처) 등 대역별 수용 영역을 분리 최적화
**PEFT 통합**: CLIP·LLaVA의 기존 백본을 동결하고 어댑터만 학습 → 학습 비용 최소화

📊 주요 결과

CLIP·LLaVA에서 기존 PEFT 대비 성능 우위
1 에폭 내 빠른 수렴, 적은 추가 파라미터로 비용 효율적
코드 공개: github.com/Kelvin-ywc/FreqAdapter

💭 의의 및 한계

**의의**: PEFT 연구의 새로운 축으로 “주파수 도메인 + 텍스트 가이드”를 제시하여, 멀티모달 적응 방식의 설계 공간을 확장한다. **한계**: 주파수 변환 도입에 따른 구현 복잡도와 비전·언어 외 모달리티(오디오, 시계열)로의 확장성 검증이 더 필요하다.

🚀 실용적 활용

CLIP·LLaVA 등 대규모 비전-언어 모델을 도메인 데이터에 빠르게 적응
모바일·엣지 환경에서 적은 학습 비용으로 멀티모달 모델을 커스터마이즈
영상 화질 향상, 콘텐츠 분류 등 주파수 특성이 중요한 태스크에 적용