CritICL: Inference-Time Weak-to-Strong Generalization from Small Language Model Failure Modes

Recent advances in inference-time scaling have significantly improved the reasoning performance of large language models (LLMs). However, these methods typically rely on repeated generation or external verification. To address this limitation, we introduce CritICL, a novel inference-time framework that improves reasoning while maintaining high efficiency. Our key insight is that LLM failure modes exhibit structured patterns across model scales within the same family. Instead of treating failures as undesirable outputs, CritICL leverages them as a source of guidance. Specifically, we utilize failure modes derived from weaker models and incorporate them into inference through critique-based in-context examples. We propose two variants: CritICL-dynamic, which adaptively predicts input-specific failure modes and retrieves critiques, and CritICL-static, which uses a global failure mode profile to provide stable guidance. Experimental results show that CritICL consistently outperforms standard in-context learning and achieves performance competitive with or superior to test-time scaling methods, while requiring significantly fewer generations and lower token cost. Code available at: https://github.com/umwyf/CRITICL

한 줄 요약

CritICL은 약한 모델의 실패 패턴을 활용해 강한 모델의 추론 성능을 향상시키는 추론 시 효율적인 프레임워크이다.

핵심 기여도

**CritICL-dynamic**와 **CritICL-static**이라는 두 가지 변형을 제안하여, 약한 모델의 실패 패턴을 강한 모델에 전달.
**Qwen**과 **Llama** 모델 가족에서 실험을 통해, 기존 in-context learning 대비 **정확도 4~6% 개선**.
**GSM8K, MATH, AMC23, AIME25** 등 수학 추론 벤치마크에서 기존 테스트 시 확장 방법과 **동등 또는 우수한 성능**을 보여주며, **토큰 비용과 생성 횟수를 크게 절감**.
실패 패턴 기반 예제 선택이 **유사도 기반 방법**보다 **4~6% 더 높은 정확도**를 달성.

핵심 아이디어

기존 추론 시 확장 방법은 반복 생성이나 외부 검증에 의존하며, 이는 높은 계산 비용을 유발한다. 반면, CritICL은 **약한 모델의 실패 패턴**(failure mode)이 **모델 규모와 관계없이 일관되고 예측 가능하다는 통찰**에 기반한다. 예를 들어, Qwen 1.5B와 Qwen 72B는 실패 패턴의 분포가 유사하다는 실험 결과를 바탕으로, 약한 모델의 실패를 **강한 모델의 추론 개선을 위한 가이드라인**으로 활용한다.

이를 위해 **CritBank**라는 실패 인식 크리티크 데이터셋을 구축하고, 이 데이터를 기반으로 **CritICL-dynamic**는 입력에 따라 실패 패턴을 예측하고 관련 크리티크를 검색하며, **CritICL-static**은 전역 실패 패턴 프로파일을 사용해 안정적인 가이드를 제공한다.

기술적 접근법

**모델 설정**: Qwen과 Llama 모델 가족에서 실험. Qwen2.5-1.5B-Instruct, Qwen2.5-72B-Instruct 등 사용.
**데이터셋**: **CritBank**는 약한 모델의 질문, 잘못된 응답, 실패 라벨, 자연어 크리티크로 구성.
**추론 전략**:
**CritICL-dynamic**: 입력에 따라 실패 패턴을 예측하고, 관련 크리티크를 검색.
**CritICL-static**: 전역 실패 패턴 프로파일을 사용해 주요 실패 패턴과 연관된 크리티크를 검색.
**하이퍼파라미터**: **greedy decoding**, **temperature 0.0**으로 결정적 출력 보장.

주요 결과

**AMC23**과 **AIME25**에서 **정확도 4~6% 개선**.
**CritICL-dynamic**과 **CritICL-static**은 **랜덤 선택**, **고정 선택**, **유사도 기반 검색** 대비 **정확도, 정밀도, 재현율**에서 모두 우수.
**GSM8K, MATH, AMC23, AIME25**에서 기존 in-context learning 대비 **정확도 4~6% 높음**.
**토큰 비용과 생성 횟수**는 기존 테스트 시 확장 방법 대비 **감소**.

의의 및 한계

CritICL은 **약한 모델의 실패 정보를 재사용**함으로써, **추론 비용을 절감하면서도 성능을 향상**시킨다. 이는 기존 반복 생성 기반 방법과는 차별화된 새로운 패러다임을 제시한다. 특히, 실패 패턴이 **모델 규모와 무관하게 일관되게 나타난다는 사실**은 LLM 추론의 구조적 특성을 깊이 있게 이해할 수 있는 단서를 제공한다.

그러나, 실패 패턴이 특정 도메인(예: 수학)에만 효과적일 수 있으며, **비수학적 추론**에서는 성능이 다를 수 있다. 또한, **CritBank의 품질**이 최종 성능에 큰 영향을 미칠 수 있다는 한계가 있다.

실용적 활용

CritICL은 **비용 효율적인 추론 시 성능 향상**이 필요한 산업, 예를 들어 **교육, 금융, 의료 분야의 자동화 시스템**에 적용 가능하다. 특히, **대규모 모델을 사용하지만 높은 추론 비용을 지속적으로 지불할 수 없는 상황**에서 유용하며, **약한 모델의 실패 정보를 자산으로 전환**할 수 있는 연구 환경에도 적합하다.