Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation

Moderate-sized large language models (LLMs) -- those with 7B or 13B parameters -- exhibit promising machine translation (MT) performance. However, even the top-performing 13B LLM-based translation models, like ALMA, does not match the performance of state-of-the-art conventional encoder-decoder translation models or larger-scale LLMs such as GPT-4. In this study, we bridge this performance gap. We first assess the shortcomings of supervised fine-tuning for LLMs in the MT task, emphasizing the quality issues present in the reference data, despite being human-generated. Then, in contrast to SFT which mimics reference translations, we introduce Contrastive Preference Optimization (CPO), a novel approach that trains models to avoid generating adequate but not perfect translations. Applying CPO to ALMA models with only 22K parallel sentences and 12M parameters yields significant improvements. The resulting model, called ALMA-R, can match or exceed the performance of the WMT competition winners and GPT-4 on WMT'21, WMT'22 and WMT'23 test datasets.

한 줄 요약

13B 규모의 ALMA 모델에 Contrastive Preference Optimization(CPO)를 적용해 GPT-4와 WMT 우승 모델과 유사한 번역 성능 달성.

핵심 기여도

ALMA-13B 모델에 CPO를 적용하여 22K 평행문장과 12M 학습 가능한 파라미터(원 모델의 0.1%)만으로 성능 향상.
CPO는 기존 SFT의 한계를 극복하며, ALMA-R 모델이 WMT’21, WMT’22, WMT’23 데이터셋에서 GPT-4 및 WMT 우승 모델과 유사하거나 더 높은 성능을 보임.
ALMA-R은 번역 모델이 참조 번역보다 더 우수한 번역을 생성할 수 있음을 입증하며, 참조 기반 평가의 한계를 드러냄.
고급 번역 모델 간 비교를 위한 KIWI-XXL과 XCOMET 평가 지표에서 ALMA의 73.24% 및 60.17% 승률 보임.

핵심 아이디어

기존의 Supervised Fine-Tuning(SFT)는 참조 번역을 모방하는 방식으로, 참조 데이터의 질에 제약을 받는다. 그러나 연구 결과에 따르면, 참조 번역보다 모델 생성 번역이 더 우수한 경우가 많다. 이에 따라, CPO는 모델이 "충분히 좋지만 완벽하지 않은 번역"을 피하도록 훈련하는 새로운 접근법이다. CPO는 두 가지 핵심 문제를 해결한다: 1) SFT가 참조 데이터의 수준 이상으로 성능을 끌어올릴 수 없음, 2) 모델이 번역 오류를 거부하는 메커니즘이 부족함. 이를 위해 CPO는 GPT-4, ALMA, 참조 번역으로 구성된 트리플릿에서 선호 및 비선호 번역을 선택한 데이터를 사용해 모델을 훈련한다.

기술적 접근법

**CPO Loss Function**: CPO는 두 개의 손실 함수로 구성됨.
ℒprefer: 선호 번역을 학습하는 부분.
ℒNLL: 모델이 선호 데이터 분포에서 벗어나지 않도록 보장.
**데이터셋**: 22K 평행문장, 10개 방향의 번역 데이터 사용.
**학습 파라미터**: 12M (0.1% of 13B)의 파라미터만 조정.
**모델**: ALMA-13B 기반, CPO를 적용한 모델은 ALMA-R로 명명됨.
**평가 지표**: KIWI-XXL, XCOMET, Win Ratio 사용.

주요 결과

ALMA-R은 WMT’21, WMT’22, WMT’23 데이터셋에서 GPT-4 및 WMT 우승 모델과 유사하거나 더 높은 성능을 보임.
KIWI-XXL 평가에서 ALMA의 승률은 73.24% (xx→en), XCOMET 평가에서는 60.17%.
en→xx 방향에서도 약 40%의 번역이 참조 번역보다 우수함.
CPO의 두 손실 함수(ℒprefer 및 ℒNLL)가 모두 포함될 때 최적의 성능 달성됨.
ALMA 데이터와 GPT-4 데이터가 모두 포함될 때 성능이 가장 크게 향상됨.

의의 및 한계

CPO는 기존 SFT의 한계를 극복하고, 참조 번역에 의존하지 않는 새로운 훈련 방법을 제시함. 이는 참조 기반 평가의 신뢰도에 대한 재검토를 유도하며, 번역 모델의 성능 한계를 확장하는 데 기여함. 그러나 CPO는 특정 데이터셋(22K 평행문장)에 의존하며, 더 넓은 언어 범위나 대규모 데이터에서의 일반화 가능성은 명시되지 않음. 또한, CPO는 ALMA-13B에만 적용되었으며, 다른 LLM에 대한 확장성은 추가 연구가 필요함.

실용적 활용

CPO는 번역 모델 개선을 위한 저비용 고성능 훈련 방법으로, 번역 서비스, 다국어 콘텐츠 생성, 글로벌 고객 지원 등 다양한 산업에 적용 가능함. 특히, 대규모 데이터가 부족한 언어나 방향에서도 효과적으로 사용할 수 있어, 언어 자원이 제한된 국가나 기업에 유용함.