Proxy Exploration and Reusable Guidance: A Modular LLM Post-Training Paradigm via Proxy-Guided Update Signals

Post-training is essential for refining the domain-specific capabilities of large language models (LLMs), yet existing reward optimization and distribution matching methods tightly couple policy exploration with distribution alignment. This coupling forces expensive exploration directly on the policy model and severely hinders the asynchronous generation, reuse, and cross-model transfer of optimization signals. In this paper, we propose Proxy-guided Update Signal Transfer (PUST), a novel post-training framework that fundamentally decouples update-signal exploration from distribution alignment. Instead of utilizing the primary model for costly exploration, PUST employs a lightweight proxy model as an efficient testbed to discover high-reward behaviors. We extract the relative improvement signal between the proxy's initial and optimized states, transferring this directional update to the primary model to guide its policy alignment. This decoupled pipeline, comprising proxy exploration, update-signal extraction, and signal transfer, significantly reduces computational overhead and enables optimization signals to be asynchronously generated, cached, and reused. Crucially, by transferring relative improvements rather than absolute policy distributions, PUST naturally supports weak-to-strong improvement and seamless cross-model transfer. Systematic evaluations on Qwen3-family models across math and code domains demonstrate that update signals extracted from substantially weaker proxies can robustly and adjustably enhance stronger primary models. Ultimately, PUST transforms post-training from a monolithic online optimization process into a highly modular, reusable, and cost-efficient paradigm.

한 줄 요약

PUST는 LLM 후학습에서 업데이트 신호 탐색과 정책 정렬을 분리하여 비용 효율적이고 재사용 가능한 모듈형 학습 프레임워크를 제시한다.

핵심 기여도

기존 방법에서 정책 탐색과 분포 정렬을 강하게 결합한 문제를 분리하여, Proxy-guided Update Signal Transfer (PUST)라는 새로운 후학습 프레임워크를 제안.
Proxy Exploration 모듈을 통해 가벼운 proxy 모델로 고보상 행동을 탐색하고, Signal Transfer 단계를 통해 주 모델에 상대적 개선 신호를 전달.
Qwen3 계열 모델에서 수학 및 코드 도메인에서 proxy 모델이 주 모델보다 훨씬 약하더라도 효과적으로 성능 개선 가능함을 실험적으로 입증.
Transfer Intensity는 scaling coefficient를 통해 조절 가능하며, 이는 다양한 설정에서 안정적인 성능을 보장.

핵심 아이디어

기존 PPO나 OPD와 같은 후학습 방법은 정책 탐색과 분포 정렬을 동일한 모델에서 수행함으로써 비용이 높고 비동기적 재사용이 어려운 문제가 있었다. PUST는 이 두 단계를 완전히 분리함으로써, proxy 모델을 사용하여 저비용으로 탐색을 수행하고, 그 결과를 주 모델에 전달하는 방식을 제안한다. 이는 상대적 개선 신호(relative improvement signal)를 추출하고 전달하는 방식으로, proxy의 절대 정책 분포가 아닌 개선 경향을 전달함으로써, 약한 proxy에서도 강한 주 모델을 개선할 수 있는 기반을 제공한다. 특히, Signal Transfer 단계에서 주 모델의 정책 정렬을 유도하는 방식은 기존의 distillation과는 구조적으로 다르며, 이는 cross-model transfer와 비동기적 학습을 가능하게 한다.

기술적 접근법

PUST는 세 단계로 구성된 모듈형 파이프라인을 사용한다:

**Proxy Exploration**: 가벼운 proxy 모델을 사용하여 보상 최적화를 통해 고보상 행동을 탐색.
**Update-Signal Extraction**: proxy의 초기 상태와 최적화된 상태 간의 상대적 개선 신호를 추출.
**Signal Transfer**: 추출된 신호를 주 모델에 전달하여 정책 정렬을 유도.

proxy는 주 모델보다 훨씬 작고, 탐색 비용이 낮아야 하며, 추출된 신호는 scaling coefficient를 통해 조절 가능하다. 이 방식은 기존의 강한 모델에서 약한 모델로의 지식 전달(weak-to-strong improvement)과는 반대 방향의 개선을 가능하게 하며, 이는 기존 방법론과 구조적으로 차별화된다.

주요 결과

Qwen3 계열 모델에서 수학 및 코드 도메인에서 proxy가 주 모델보다 약하더라도, 추출된 update signal이 주 모델의 성능을 효과적으로 개선함을 실험적으로 입증.
Transfer Intensity는 scaling coefficient를 통해 조절 가능하며, 다양한 설정에서 안정적인 성능을 보장.
AIME 2024, HMMT 2025, SMT 2025 등 수학 데이터셋에서 Mean@16 기준으로 proxy 모델의 신호가 주 모델 성능을 개선.
코드 도메인에서는 Mean@8 기준으로 동일한 개선 효과 관찰.

의의 및 한계

PUST는 기존의 monolithic 후학습 프로세스를 모듈형, 비동기적, 재사용 가능한 파이프라인으로 전환하여, 후학습의 비용 효율성과 확장성을 크게 향상시킨다. 특히, proxy 모델을 사용한 탐색은 비용을 낮추고, 신호 재사용은 학습 효율성을 높인다. 그러나 proxy 모델의 탐색 전략과 신호 집약 메커니즘의 질이 최종 성능에 영향을 미친다는 점이 한계로 지적된다. 또한, 주 모델과 proxy 간의 분포 차이가 transfer 효율성에 영향을 주므로, 이에 대한 적응적 calibration 방법이 필요하다.

실용적 활용

PUST는 대규모 언어 모델의 도메인별 후학습을 효율적으로 수행할 수 있는 프레임워크로, 특히 다중 도메인에서 비용 효율적인 학습이 필요한 산업 및 연구 환경에 적용 가능하다. 예를 들어, 수학 문제 풀이, 코드 생성 등 특정 분야에서 빠르고 저비용으로 모델을 개선할 수 있으며, 여러 모델 간의 신호 공유를 통해 개선된 정책을 확장적으로 활용할 수 있다.