LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL

Reinforcement learning (RL) for non-verifiable instruction following increasingly relies on LLM judges with prompt-specific rubrics as reward signals. While recent methods adapt these rubrics to the evolving policy during training, the training prompts themselves remain static, drawn from fixed corpora. This static approach often results in a critical misalignment between prompt difficulty and policy capability, leaving the judge unable to recover a discriminative reward signal when prompts fail to elicit quality variance among rollouts. To address this misalignment, we introduce LLM-as-a-Tutor, a framework that extends the LLM's role from judge to tutor: a single model serves as an examiner that pairwise-compares policy rollouts to detect non-challenging prompts, and as a generator that appends atomic constraints to them. This append-only design monotonically raises difficulty in step with the policy's capability, producing a self-calibrating training signal without external difficulty schedules. On three complex instruction-following benchmarks, our method consistently outperforms both policy-unaware baselines and prior policy-adaptive methods that adapt rubrics or rewrite prompts, suggesting prompt adaptation as a missing axis of policy-awareness in non-verifiable RL.

한 줄 요약

LLM-as-a-Tutor는 정책에 따라 프롬프트 어댑테이션을 수행해 비검증 가능 RL의 학습 신호를 개선한다.

핵심 기여도

LLM을 단순한 평가자에서 교사 역할로 확장하여, 정책에 따라 어려움을 조절하는 프롬프트 생성 프레임워크 제안.
기존 정책-무시적 기법 대비 3개 복잡한 지시 수행 벤치마크에서 일관된 성능 향상.
프롬프트 어댑테이션을 정책 인식의 새로운 축으로 제시.

핵심 아이디어

기존 연구는 정책이 발전함에 따라 평가 기준(rubric)을 조정하지만, 학습용 프롬프트 자체는 고정되어 있어 정책 능력과의 불일치가 발생한다. 이에, LLM-as-a-Tutor는 LLM을 교사로 활용해 정책 롤아웃을 비교하고, 비도전적 프롬프트를 감지한 후 원자적 제약을 추가함으로써 어려움을 점진적으로 증가시킨다. 이는 외부 어려움 스케줄 없이도 정책 능력과 동기화된 자체 조절 학습 신호를 제공한다.

기술적 접근법

**LLM-as-a-Tutor** 프레임워크는 LLM을 두 가지 역할로 활용:
**Examiner**: 정책 롤아웃을 쌍으로 비교해 비도전적 프롬프트를 식별.
**Generator**: 원자적 제약을 추가해 프롬프트의 어려움을 증가.
**Append-only design**을 통해 어려움이 단조 증가하며, 정책 능력과 동기화됨.
**Prompt-specific rubrics**를 사용한 기존 평가 기반 RL과 비교해 프롬프트 자체를 정책에 맞춰 조정.

주요 결과

**3개 복잡한 지시 수행 벤치마크**에서 기존 정책-무시적 기법 및 정책-적응적 기법 대비 일관된 성능 향상.
**Prompt adaptation**이 정책 인식의 새로운 축으로서 기존 방법론을 초과하는 효과를 보임.

의의 및 한계

LLM-as-a-Tutor는 비검증 가능 RL에서 LLM의 역할을 확장해 학습 신호의 질을 향상시키며, 정책 인식의 새로운 차원을 제시한다. 그러나 프롬프트 생성 과정에서의 **LLM의 오류 누적 가능성**이나 **초기 어려움 수준 설정의 영향**은 아직 명시되지 않음. 또한, **복잡한 제약 생성의 해석 가능성**은 추가 연구가 필요하다.

실용적 활용

LLM-as-a-Tutor는 대규모 언어 모델 기반의 지시 수행 시스템, 특히 정책이 빠르게 진화하는 환경에서 유용하게 활용될 수 있다. 예를 들어, **자율 학습 시스템**이나 **대화형 AI 튜터링 플랫폼**에 적용 가능하다.