ICRL: Learning to Internalize Self-Critique with Reinforcement Learning

Large language model-based agents make mistakes, yet critique can often guide the same model toward correct behavior. However, when critique is removed, the model may fail again on the same query, indicating that it has not internalized the critique's guidance into its underlying capability. Meanwhile, a frozen critic cannot improve its feedback quality over time, limiting the potential for iterative self-improvement. To address this, we propose learning to internalize self-critique with reinforcement learning(ICRL), a novel framework that jointly trains a solver and a critic from a shared backbone to convert critique-induced success into unassisted solver ability. The critic is rewarded based on the solver's subsequent performance gain, incentivizing actionable feedback. To address the distribution shift between critique-conditioned and critique-free behavior, ICRL introduces a distribution-calibration re-weighting ratio that selectively transfers critique-guided improvements compatible with the solver's own prompt distribution. Additionally, a role-wise group advantage estimation stabilizes joint optimization across the two roles. Together, these mechanisms ensure that the solver learns to improve itself without external critique, rather than becoming dependent on critique-conditioned behavior. We evaluate ICRL on diverse benchmarks spanning agentic and mathematical reasoning tasks, using Qwen3-4B and Qwen3-8B as backbones. Results show consistent improvements, with average gains of 6.4 points over GRPO on agentic tasks, and 7.0 points on mathematical reasoning. Notably, the learned 8B critic is comparable to 32B critics while using substantially fewer tokens. The code is available at https://github.com/brick-pid/ICRL.

📋 한 줄 요약

**[강화학습 / LLM 자기개선]** Solver와 Critic을 공유 백본에서 함께 학습시켜 비평이 사라져도 능력을 유지하도록 self-critique를 내재화하는 ICRL 프레임워크를 제안했다.

🎯 핵심 기여도

Self-critique를 일회성 추론 보조가 아닌 학습된 능력으로 내재화하는 ICRL 프레임워크 제안
Solver의 후속 성능 향상에 기반해 Critic을 보상하는 actionable feedback 학습 메커니즘 설계
Critique-conditioned/critique-free 분포 시프트를 완화하는 distribution-calibration 재가중치 비율 도입
Role-wise group advantage estimation으로 두 역할의 공동 최적화 안정화

💡 핵심 아이디어

LLM 에이전트는 비평으로 같은 질문을 풀게 되지만, 비평이 사라지면 다시 실패한다 — 즉 비평의 지침이 "능력"으로 내재화되지 않은 것이다. 그렇다고 고정된 critic은 시간이 지나도 좋아지지 않는다. Solver와 Critic을 공유 백본에서 함께 RL로 학습시키되, Critic은 Solver가 비평 없이도 잘하게 만들 때 보상받도록 설계하면 self-improvement loop가 만들어진다.

🔬 기술적 접근법

공유 백본 위에서 Solver와 Critic을 동시 RL 학습
Critic 보상: Solver의 비평 후 성능 이득에 비례
Distribution-calibration ratio: critique-conditioned 개선분 중 critique-free 프롬프트 분포와 호환되는 부분만 선택적으로 전이
Role-wise group advantage: 두 역할 간 분리된 advantage 추정으로 공동 최적화 안정화

📊 주요 결과

Qwen3-4B/8B 백본에서 에이전트·수학 추론 벤치마크 전반에 걸친 일관된 개선
에이전트 과제: GRPO 대비 평균 +6.4점
수학 추론: 평균 +7.0점
학습된 8B Critic이 훨씬 적은 토큰으로 32B Critic과 비등한 품질
코드 공개: github.com/brick-pid/ICRL

💭 의의 및 한계

"비평 의존이 아닌 능력 향상"이라는 명확한 학습 목표를 분포 보정과 역할별 advantage로 실현한 점에서 self-improving LLM 연구에 실용적인 청사진을 제시한다. 다만 Qwen3-4B/8B 외 더 큰 모델과 실제 멀티턴 에이전트 환경에서의 확장성·안정성 추가 검증이 필요하다.

🚀 실용적 활용

도메인 특화 에이전트(코딩, 수학 풀이, 도구 사용)의 RLHF/RLAIF 파이프라인에서 별도 critic 모델 없이도 자체 비평 능력을 키우는 학습 레시피로 활용 가능하며, 추론 시간에 critic을 떼어내 비용을 절감하면서도 품질을 유지하는 배포 전략과도 잘 맞는다.