AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses

Recent work on distillation transfers the capabilities of large models to smaller ones often by updating the latter's parameters, through teacher forcing, on-policy distillation, and related training-time methods. In this paper, we ask whether such transfer can instead occur at test time. We study strong-to-weak scaffolding: whether a stronger builder model can construct inference-time harnesses that help a weaker target model solve tasks more reliably without any parameter updates. Using four representative Theory-of-Mind benchmarks, each builder model uses 5% of the data as a validation set to iteratively refine its harness over multiple rounds, after which the finalized harness is evaluated on the full test set. Empirically, this form of test-time capability transfer is highly effective, nearly doubling average target-model performance from 0.49 to 0.91. Our analysis shows that the gains come primarily from offloading unstable model reasoning into deterministic code, benchmark-specific routing, and strict answer-format enforcement, rather than from encouraging the target model to reason more extensively or sample more broadly. We further find that builder-model reasoning effort improves harness quality monotonically, platform effects are modest relative to the builder model's own capability, and weaker target models receive the largest gains. These results suggest that inference-time harness design is an important complement to conventional training-time distillation, enabling strong models to transfer cognitive structure to weaker models without retraining.

한 줄 요약

강력한 모델이 추론 시점에서 약한 모델의 성능을 0.49에서 0.91로 향상시키는 추론 환경 설계 방법을 제안한다.

핵심 기여도

GPT-5.4-mini 모델의 정확도를 0.49에서 0.91로 향상 (절대값 +0.42).
추론 환경(하네스) 설계를 통해 모델 파라미터 업데이트 없이 성능 향상.
구조화된 추론, 결정론적 오프로딩, 엄격한 포맷 강제가 주요 성능 요인.
약한 타겟 모델(GPT-5.4-mini)이 가장 큰 이익을 얻음.

핵심 아이디어

기존의 모델 증류(distillation)는 약한 모델의 파라미터를 업데이트해 성능을 향상시키는 방식을 사용한다. 그러나 본 연구는 추론 시점에서 강력한 builder 모델이 약한 target 모델을 돕는 새로운 접근법을 제안한다. 이는 모델의 내부 능력을 향상시키는 것이 아니라, **추론 과정을 재구성하는 외부 환경**(하네스)을 설계함으로써 성능을 높이는 방식이다.

builder 모델은 5%의 validation 데이터를 사용해 반복적으로 하네스를 개선하고, 최종적으로 test set에서 평가한다. 이 과정에서 builder는 prompt 템플릿, 결정론적 solver, few-shot 예시, 포맷 강제 등을 포함한 다양한 기법을 활용할 수 있다. 핵심 통찰은, **약한 모델의 성능 저하가 단순히 능력 부족 때문이 아니라, 과도한 인지 부하(cognitive load) 때문일 수 있다는 점**이다. 하네스는 이 부하를 외부로 이관함으로써 모델의 성능을 향상시킨다.

기술적 접근법

**builder 모델**: GPT-5.4, GPT-OSS-120B 등.
**target 모델**: GPT-5.4-mini, Gemini-3.5-flash.
**validation set**: 각 벤치마크에서 5%의 샘플만 사용.
**하네스 구성 요소**: prompt 템플릿, routing 로직, deterministic solver, few-shot 예시, verification pass, 포맷 강제.
**평가 방식**: builder는 validation set에서 성능을 기반으로 하네스를 반복적으로 개선. 최종적으로 test set에서 평가.
**하네스 설계 제약**: target 모델 파라미터는 업데이트하지 않으며, builder는 test set을 직접 보지 않음.

주요 결과

GPT-5.4-mini 모델의 **BigToM 벤치마크 정확도**는 하네스 없이 0.49에서, 최적 하네스 적용 시 0.91로 향상 (절대값 +0.42).
모든 builder 구성에서 **긍정적인 성능 향상**이 관찰됨.
성능 향상은 **추가 샘플링이나 더 긴 추론 유도보다는**, 결정론적 오프로딩, 구조화된 추론, 포맷 강제 등 외부 구조화 기법에 의해 주도됨.
**Gemini-3.5-flash**는 GPT-5.4-mini보다 상대적으로 작은 성능 향상.
**Hi-ToM**과 같은 복잡한 하위 벤치마크에서는 여전히 오류가 집중됨.

의의 및 한계

본 연구는 **모델 파라미터 업데이트 없이 추론 환경을 설계함으로써 약한 모델의 성능을 향상**시키는 새로운 패러다임을 제시한다. 이는 기존의 훈련 시점 증류와는 다른 접근법으로, 특히 **인간 설계 없이 자동으로 추론 환경을 개선**할 수 있다는 점에서 실용적 가치가 있다. 또한, 하네스 설계가 모델 자체의 능력 향상과 병행되어야 한다는 점을 강조하며, **모델과 추론 환경의 공진화(co-evolution)** 가능성을 제시한다.

그러나 한계점도 존재한다. 예를 들어, **하네스는 특정 벤치마크 구조를 활용하는 경우가 많아**, 일반화 가능성에 제약이 있을 수 있다. 또한, **builder 모델의 자체적인 능력이 하네스 품질에 큰 영향을 미치므로**, 약한 builder는 효과적인 하네스를 설계하기 어려울 수 있다.

실용적 활용

이 연구는 **작은 모델을 실제 시스템에 배포할 때 추론 환경을 자동으로 최적화**하는 데 활용될 수 있다. 예를 들어, **대규모 모델이 하위 모델의 추론 환경을 설계함으로써**, 비용 효율적으로 성능을 향상시킬 수 있다. 또한, **AI 에이전트 시스템**(예: Claude Code, Codex)에서 모델의 추론 과정을 자동으로 개선하는 데 활용될 수 있으며, 추론 환경 설계를 위한 **자동화된 툴 개발**에도 기여할 수 있다.