CoT-Valve: Length-Compressible Chain-of-Thought Tuning

Chain-of-Thought significantly enhances a model's reasoning capability, but it also comes with a considerable increase in inference costs due to long chains. With the observation that the reasoning path can be easily compressed under easy tasks but struggle on hard tasks, we explore the feasibility of elastically controlling the length of reasoning paths with only one model, thereby reducing the inference overhead of reasoning models dynamically based on task difficulty. We introduce a new tuning and inference strategy named CoT-Valve, designed to allow models to generate reasoning chains of varying lengths. To achieve this, we propose to identify a direction in the parameter space that, when manipulated, can effectively control the length of generated CoT. Moreover, we show that this property is valuable for compressing the reasoning chain. We construct datasets with chains from long to short for the same questions and explore two enhanced strategies for CoT-Valve: (1) a precise length-compressible CoT tuning method, and (2) a progressive chain length compression approach. Our experiments show that CoT-Valve successfully enables controllability and compressibility of the chain and shows better performance than the prompt-based control. We applied this method to QwQ-32B-Preview, reducing reasoning chains on GSM8K from 741 to 225 tokens with a minor performance drop (95.07% to 94.92%) and on AIME from 6827 to 4629 tokens, with only one additional incorrect answer.

한 줄 요약

CoT-Valve는 단일 모델로 사고 과정의 길이를 동적으로 조절하여 추론 비용을 줄이는 새로운 튜닝 전략이다.

핵심 기여도

CoT-Valve: 파라미터 공간에서 사고 체인 길이를 조절할 수 있는 방향을 식별하여, 단일 모델로 길이가 다른 CoT를 생성.
MixChain 데이터셋: 동일 질문에 대한 긴/짧은 사고 체인을 포함한 데이터셋을 구축.
Improved Tuning & Progressive Compression: MixChain 기반으로 방향 튜닝을 개선하고, 추론 효율성을 위한 점진적 압축 전략 제안.
QwQ-32B-Preview 적용: GSM8K에서 741 → 225 토큰, AIME에서 6827 → 4629 토큰으로 압축, 성능 저하 최소화 (95.07% → 94.92%).

핵심 아이디어

기존 CoT는 추론 능력을 향상시키지만, 긴 체인으로 인해 추론 비용이 증가한다. CoT-Valve는 모델 파라미터 공간에서 CoT 길이를 조절할 수 있는 방향을 식별하여, 단일 모델이 다양한 길이의 사고 체인을 생성하도록 한다. 이 방향은 LoRA를 통해 구현되며, 파라미터 조절을 통해 길이를 늘리거나 줄일 수 있다. 연구팀은 CoT-Valve가 프롬프트 기반 방법보다 더 정밀한 길이 제어를 가능하게 하며, 학습 데이터에 없는 길이까지 외삽 가능하다는 점을 밝혔다.

기술적 접근법

**CoT-Valve**: 파라미터 공간에서 CoT 길이를 조절하는 방향을 식별. LoRA를 활용해 추가 파라미터 최소화.
**MixChain 데이터셋**: 동일 질문에 대한 긴/짧은 CoT를 포함한 데이터셋을 구축.
**Improved Tuning**: MixChain 기반으로 방향 튜닝을 개선.
**Progressive Compression**: 추론 효율성을 위해 점진적으로 CoT 길이를 줄이는 전략.
**DoRA 실험**: LLaMA-3.2-1B에 DoRA 적용, α 값 조절로 CoT 길이 조절. α=0.5에서 257.7 토큰, 정확도 55.72%.

주요 결과

**GSM8K**: QwQ-32B-Preview에서 741 → 225 토큰, 정확도 95.07% → 94.92%.
**AIME**: 6827 → 4629 토큰, 오답 1개 증가.
**Progressive Compression**: 5 에포크 동안 점진적 압축 적용 시, 정확도 92.19% → 94.92%.
**DoRA 실험**: α=0.5에서 257.7 토큰, 정확도 55.72%.

의의 및 한계

CoT-Valve는 단일 모델로 CoT 길이를 동적으로 조절함으로써 추론 효율성을 향상시키는 기법으로, 기존 프롬프트 기반 방법보다 우수한 성능을 보인다. 특히, MixChain 데이터셋을 통해 길이 조절을 학습할 수 있으며, 이는 모델의 유연성과 효율성을 동시에 확보한다. 그러나 모든 CoT가 짧아질수록 성능이 향상되는 것은 아니며, 일부 경우 과도하게 짧은 체인은 모델 최적화에 부정적 영향을 줄 수 있다. 또한, CoT-Valve는 특정 데이터셋에서만 검증되었으며, 다양한 도메인에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

CoT-Valve는 수학 문제 해결, 코드 생성 등 다단계 추론이 필요한 산업 및 연구 분야에서 유용하게 활용될 수 있다. 특히, 추론 비용을 동적으로 조절해야 하는 클라우드 인프라나 모바일 환경에서 효율적인 추론 모델 개발에 기여할 수 있다.