Freeze-Omni: A Smart and Low Latency Speech-to-speech Dialogue Model with Frozen LLM

Rapidly developing large language models (LLMs) have brought tremendous intelligent applications. Especially, the GPT-4o's excellent duplex speech interaction ability has brought impressive experience to users. Researchers have recently proposed several multi-modal LLMs in this direction that can achieve user-agent speech-to-speech conversations. This paper proposes a novel speech-text multimodal LLM architecture called Freeze-Omni. Our main contribution is that the speech input and output modalities can be easily connected to a textual LLM while keeping the LLM's parameters frozen throughout the training process. We design a three-stage training strategy for modeling both the speech input and output, enabling Freeze-Omni to obtain speech-to-speech conversation ability using text-speech paired data (such as ASR and TTS data) and only 60,000 multi-round text Q&A data on 8 GPUs. Moreover, we can effectively ensure that the intelligence of the Freeze-Omni in the speech modality is at the same level compared with that in the text modality of its backbone LLM, while achieving low latency end-to-end spoken response. In addition, we also designed a method to achieve duplex dialogue ability through multi-task training, giving Freeze-Omni a more natural style of dialogue ability between users and agents. In summary, Freeze-Omni holds great potential to conduct speech-to-speech dialogue based on a multimodal LLM under the condition of a frozen LLM, avoiding the catastrophic forgetting problem caused by limited data and training resources.

한 줄 요약

Freeze-Omni는 LLM 파라미터를 동결한 상태에서 스피치-투-스피치 대화를 가능하게 하는 저지연 다중모달 LLM이다.

핵심 기여도

LLM 파라미터를 동결한 상태에서 스피치 인식 및 생성 모듈을 학습하여 기존 지능을 유지하면서도 스피치 대화를 가능하게 함.
8개 GPU에서 60,000개의 텍스트 Q&A 데이터만으로 모델 학습이 가능하며, 컴퓨팅 자원 소모를 줄임.
NAR 및 AR 디코더를 사용한 스피치 생성 모듈로, CER 0.5% 이하의 정확도 달성.
중단 감지 기반의 chunk-wise state prediction을 통해 양방향 대화를 지원.

핵심 아이디어

Freeze-Om니는 기존 LLM의 파라미터를 동결(frozen)한 상태에서 스피치 인식 및 생성 모듈을 학습함으로써, 기존 텍스트 기반 LLM의 지능을 유지하면서 스피치 대화를 가능하게 하는 새로운 접근법을 제시한다. 이는 기존 연구에서 흔히 발생하는 파라미터 미세조정(fine-tuning)으로 인한 '망각 문제(catastrophic forgetting)'를 피할 수 있다.

핵심 아이디어는 다음과 같다:
1. **스피치 인식 모듈**은 ASR 데이터를 사용하여 LLM과 연결되며, prompt embedding 기반의 학습 전략을 통해 텍스트 출력을 가능하게 함.
2. **스피치 생성 모듈**은 AR 기반의 디코더와 TiCodec을 사용하여 텍스트를 스피치 토큰으로 변환하고, prefix kv-cache fine-tune 전략을 통해 LLM의 텍스트 공간과 연결함.
3. **양방향 대화**는 chunk-wise state prediction을 통해 사용자의 중단 여부를 판단하여 실시간 대화를 지원.

기술적 접근법

**LLM 백본**: Qwen2-7B-Instruct 사용. 파라미터는 학습 과정에서 전혀 업데이트되지 않음.
**스피치 인코더**: 24개의 트랜스포머 레이어와 1024의 히든 사이즈를 가짐. 파라미터 수 약 350M, 출력 프레임 레이트 12.5Hz.
**스피치 디코더**: NAR 및 AR 디코더 각각 4개의 Llama 레이어, 히든 사이즈 896. TiCodec 사용, 코드북 크기 1024, 샘플 레이트 24kHz.
**학습 전략**: 3단계 학습 — 스피치 인식, 스피치 생성, 양방향 대화.
**하이퍼파라미터**: 스피치 인코더는 4배 다운샘플링, 디코더는 top-k=100 사용.

주요 결과

**스피치 인식**: ASR 정확도는 dynamic chunk training을 사용하면 chunk=∞일 때 chunk=4 대비 성능 향상.
**스피치 생성**: CER 0.5% 이하 달성. prefix kv-cache fine-tune을 적용하면 CER 감소.
**스피치 QA 성능**: LlaMA-Questions, Web Questions, Trivia QA 데이터셋에서 Qwen2-7B-Instruct 대비 정확도 차이가 1% 이내로 유지됨.
**지연 시간**: 통계적 지연 1.2초, 비통계적 지연 160~320ms.

의의 및 한계

Freeze-Omni는 기존 LLM의 지능을 유지하면서도 스피치 대화를 가능하게 함으로써, 데이터 및 컴퓨팅 자원이 제한된 상황에서도 효과적인 모델 개발이 가능하다는 점에서 학술적·실용적 의의가 있다. 특히, 파라미터 동결을 통해 발생하는 망각 문제를 해결하고, 스피치-텍스트 모달 간 일관된 지능 수준을 유지한 점이 주목할 만하다.

그러나, 현재는 단일 스피커 기반의 스피치 생성에 초점을 맞추고 있으며, 다중 스피커나 복잡한 환경에서는 성능이 저하될 수 있다. 또한, 대규모 스피치 Q&A 데이터가 부족한 상황에서 모델의 일반화 능력을 확보하는 것이 한계점으로 제기된다.

실용적 활용

Freeze-Omni는 고객 서비스, 가상 보조, 스마트 홈 등 실시간 스피치 대화가 필요한 산업에 적용 가능하다. 특히, 기존 텍스트 기반 LLM을 활용하면서도 추가 학습 없이 스피치 기능을 확장할 수 있어, 연구 및 개발 비용을 절감할 수 있다.