Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs

The recent development of chain-of-thought (CoT) decoding has enabled large language models (LLMs) to generate explicit logical reasoning paths for complex problem-solving. However, research indicates that these paths are not always deliberate and optimal. The tree-of-thought (ToT) method employs tree-searching to extensively explore the reasoning space and find better reasoning paths that CoT decoding might overlook. This deliberation, however, comes at the cost of significantly increased inference complexity. In this work, we demonstrate that fine-tuning LLMs leveraging the search tree constructed by ToT allows CoT to achieve similar or better performance, thereby avoiding the substantial inference burden. This is achieved through Chain of Preference Optimization (CPO), where LLMs are fine-tuned to align each step of the CoT reasoning paths with those of ToT using the inherent preference information in the tree-search process. Extensive experimental results show that CPO significantly improves LLM performance in solving a variety of complex problems, including question answering, fact verification, and arithmetic reasoning, demonstrating its effectiveness. Our code is available at https://github.com/sail-sg/CPO.

한 줄 요약

CPO는 ToT의 탐색 트리에서 발생하는 선호 정보를 활용해 CoT 추론 성능을 향상시키는 새로운 파인튜닝 방법이다.

핵심 기여도

CPO는 ToT의 탐색 과정에서 생성된 비최적 추론 경로를 포함한 선호 정보를 활용하여 LLM을 파인튜닝함.
LLaMA와 Mistral 기반 모델에서 평균 정확도가 4.3% 향상됨.
ToT 대비 50배 이상 빠른 추론 속도를 유지하면서 유사하거나 더 높은 성능 달성.
DPO 알고리즘을 활용한 선호 쌍 생성을 통해 CoT 추론 경로를 ToT 경로와 정렬함.

핵심 아이디어

기존 CoT는 단일 추론 경로만 생성하기 때문에 최적의 해결책을 놓칠 수 있으며, ToT는 트리 탐색을 통해 더 많은 경로를 탐색하지만 추론 복잡도가 크게 증가한다. 본 연구는 ToT의 탐색 과정에서 생성되는 비최적 추론 경로를 포함한 선호 정보를 활용하여 CoT 추론 경로를 개선하는 새로운 아이디어를 제시한다. ToT의 탐색 트리에서 각 단계에서 선택된 경로와 비선택된 경로를 비교하여 선호 쌍을 생성하고, 이를 기반으로 DPO 알고리즘을 사용해 LLM을 파인튜닝함으로써 CoT 추론 경로를 ToT 경로에 정렬시킨다.

기술적 접근법

**CPO (Chain of Preference Optimization)**: ToT의 탐색 트리에서 생성된 선호 정보를 기반으로 LLM을 파인튜닝함.
**DPO (Direct Preference Optimization)**: 선호 쌍을 생성하여 LLM이 ToT의 선호 경로를 학습하도록 유도함.
**선호 쌍 생성**: ToT의 탐색 과정에서 선택된 경로와 비선택된 경로를 비교하여 각 추론 단계에서 선호/비선호 쌍을 생성함.
**LLaMA와 Mistral**: 기반 모델로 사용됨.
**7개 데이터셋**: 실험에서 평가됨 (명시되지 않음).

주요 결과

**LLaMA와 Mistral 기반 모델에서 평균 정확도 4.3% 향상**.
**ToT 대비 50배 이상 빠른 추론 속도 유지**.
**ToT와 유사하거나 더 높은 성능 달성**.
**TS-SFT 기반 모델 대비 성능 개선**.

의의 및 한계

CPO는 ToT의 복잡한 탐색 과정을 유지하면서도 CoT의 빠른 추론 속도를 결합한 혁신적인 접근법으로, LLM의 추론 능력을 향상시키는 데 기여한다. 특히, ToT의 탐색 과정에서 발생하는 비최적 경로를 포함한 선호 정보를 활용함으로써 기존 방법보다 더 풍부한 학습 데이터를 생성할 수 있다. 그러나 CPO는 ToT의 탐색 트리에 의존하므로, ToT의 질이 낮은 경우 CPO의 성능도 저하될 수 있다. 또한, 다양한 문제 유형에 대한 일반화 가능성은 추가 실험을 통해 검증이 필요하다.

실용적 활용

CPO는 복잡한 문제 해결이 필요한 산업 분야, 예를 들어 의료 진단, 법률 분석, 금융 분석 등에서 LLM의 추론 능력을 향상시키는 데 활용될 수 있다. 또한, 연구 분야에서는 다양한 추론 알고리즘과의 통합을 통해 LLM의 추론 프레임워크를 확장하는 데 기여할 수 있다.