TTPO: Test-Time Policy Optimization

Recent prominent post-training methods, such as Reinforcement Learning (RL) and On-Policy Self-Distillation (OPSD), have driven rapid progress in mathematical reasoning for large language models, yet their reliance on ground-truth labels precludes test-time training (TTT). Replacing ground truth with majority-vote pseudo-labels is a natural alternative, yet it is fragile: an incorrect vote corrupts the teacher and misleads every token. We observe that this failure mode is asymmetric: rollouts that disagree with the pseudo-label are typically wrong regardless of whether the vote itself is correct. Building on this observation, we propose Test-Time Policy Optimization (TTPO), an asymmetric objective that distills agreeing rollouts via OPSD and penalizes disagreeing rollouts with Grouped RL. Token-level selection further refines both branches: distillation down-weights already-converged positions, while RL penalizes only confident errors. Both updates remain well-grounded even under frequent pseudo-label errors, and majority-vote routing yields tighter self-supervision as the model improves. Without any labels, TTPO matches label-supervised OPSD on five competition-level benchmarks, raises Qwen3-1.7B from 38.0% to 45.2% in TTT, yields +25.2% to +36.4% without thinking, and shows strong cross-task generalization.

한 줄 요약

TTPO는 라벨 없이도 수학적 추론 성능을 향상시키는 테스트 타임 정책 최적화 방법으로, Qwen3-1.7B 모델에서 38.0%에서 45.2%로 정확도를 높인다.

핵심 기여도

85%의 테스트 문제에서 잘못된 다수결 라벨을 사용하더라도, TTPO는 79%의 비동의 rollout이 잘못된 경우를 활용해 정확한 페널티를 적용한다.
TTPO는 동의 rollout에 대해 OPSD를, 비동의 rollout에 대해 Grouped RL (GRPO)을 적용하는 비대칭 목적 함수를 제안한다.
토큰 수준 선택(Token-level selection)을 통해 각 브랜치에서 효과적인 학습을 유도한다.
라벨 없이도 5개 경쟁 수준 벤치마크에서 라벨 감독 OPSD와 동등한 성능을 보인다.

핵심 아이디어

기존의 OPSD와 RL 기반 사후 학습 방법은 정답 라벨에 의존해 테스트 타임 학습(TTT)에 적용할 수 없었다. TTPO는 다수결 투표로 생성된 가상 라벨(pseudo-label)을 사용하면서도, 이 라벨이 틀렸을 때에도 안정적으로 학습할 수 있는 비대칭 학습 전략을 제안한다. 핵심 통찰은 다음과 같다: 동의 rollout은 정답 조건에 맞춘 교사 모델로 정제되지만, 비동의 rollout은 라벨과 무관하게 페널티를 받는다. 이는 틀린 라벨이 존재하더라도, 비동의 rollout이 틀렸다는 사실 자체가 신뢰할 수 있는 정보라는 점에서 비롯된다. TTPO는 GRPO와 OPSD를 결합한 비대칭 목적 함수를 통해, 라벨 없이도 안정적인 정책 최적화를 가능하게 한다.

기술적 접근법

**TTPO**: 비대칭 목적 함수를 사용.
동의 rollout: On-Policy Self-Distillation (OPSD) 적용.
비동의 rollout: Grouped RL (GRPO)로 페널티 부여.
**Token-level selection**:
Distillation: 이미 수렴한 토큰 위치는 가중치를 낮춘다.
RL: 자신 있는 오류(confident errors)에만 페널티를 적용.
**Pseudo-label 활용**: 다수결 투표로 생성된 라벨을 사용.
**Dataset**: 5개 경쟁 수준 벤치마크 사용.
**모델**: Qwen3-1.7B, 4B, 8B.

주요 결과

Qwen3-1.7B 모델에서 TTT 설정에서 38.0%에서 45.2%로 정확도 상승.
라벨 없이도 5개 경쟁 수준 벤치마크에서 라벨 감독 OPSD와 동등한 성능.
"Thinking mode" 비활성화 상태에서 +25.2%에서 +36.4%의 성능 향상.
벤치마크 간 일반화 성능도 높음 (Figure 4 참조).

의의 및 한계

TTPO는 라벨 없이도 정책 최적화를 가능하게 하며, 기존 TTRL과 비교해 더 안정적이고 높은 성능을 보인다. 특히, 토큰 수준 선택과 비대칭 목적 함수를 통해 틀린 pseudo-label에 대한 민감도를 줄이고, 모델의 현재 능력에 맞춘 자가 진화(self-evolution)를 유도한다. 그러나 pseudo-label이 85%의 경우 틀린다는 점에서, 높은 수준의 노이즈에 대한 내성은 여전히 한계로 작용할 수 있다. 또한, 모든 문제에서 동일한 수준의 일반화가 보장되지 않으며, 특정 유형의 문제에 과적합될 가능성도 있다.

실용적 활용

TTPO는 라벨이 부족하거나 비용이 높은 수학 문제 해결, 경쟁 수준의 추론 테스트, 또는 대규모 언어 모델의 테스트 타임 학습에 적용 가능하다. 특히, 라벨 없이도 모델 성능을 지속적으로 향상시키는 방식으로, 실시간 학습이 필요한 산업 분야(예: 자율 시스템, 챗봇)에도 유용하게 활용될 수 있다.