Knowing When Not to Reuse: Conditional Experience Transfer in Autonomous LLM Post-Training

Large language models offer broad capabilities, but adapting them to evolving domains, tools, and requirements often entails repeated post-training. Autonomous systems automate parts of this process by proposing updates, training candidates, and using evaluation feedback to select subsequent proposals. As evidence accumulates, a central problem emerges: which past update evidence remains actionable after subsequent training has changed the parent model? An update's effect depends on its parent, data, and training stage. Treating past success as context-free permission can waste compute. If the resulting child is promoted, it can also degrade the subsequent training trajectory. We formulate this problem as conditional experience transfer and introduce Boundary-Calibrated Intervention Transfer (BCIT), a method that authorizes experience reuse before weight-changing training. BCIT binds an observed effect to its source context, checks applicability conditions, vetoes candidates with named hard conflicts, and obtains current-state evidence through a bounded training trial when needed. Fully trained candidates still face a shared adoption rule, and only observed events extend memory. On one 4B model adapted across finance reasoning, text-to-SQL, and function calling, candidate updates exhibit heterogeneous target and retention effects across the evaluated contexts. Under matched candidates, evidence, and compute, BCIT authorizes fewer harmful updates and attains higher equal-budget final-model quality than the evaluated alternatives. These results support treating experience authorization as a distinct problem in autonomous post-training.

한 줄 요약

BCIT는 자율적 사후 훈련에서 과거 경험의 조건부 재사용을 결정하는 문제를 해결하는 방법이다.

핵심 기여도

조건부 경험 전이(conditional experience transfer) 문제를 자율적 사후 훈련의 별도 제어 문제로 정의.
BCIT(Boundary-Calibrated Intervention Transfer)를 도입: 과거 경험의 재사용을 거부, 검증, 훈련의 세 가지 행동으로 결정.
Qwen3-4B 모델에서 금융 추론, text-to-SQL, 함수 호출을 대상으로 실험: BCIT는 동일 컴퓨트 예산에서 평균 성능이 높음.
BCIT는 해로운 업데이트를 10% 이상 줄이며, 유용한 업데이트는 유지.

핵심 아이디어

자율 시스템은 반복적인 사후 훈련을 통해 모델을 업데이트하지만, 과거 성공 경험을 무조건적으로 재사용하면 훈련 예산을 낭비하거나 모델 성능을 저하시킬 수 있다. 이는 과거 경험의 효과가 부모 모델, 데이터, 훈련 단계에 따라 달라지기 때문이다. 따라서, BCIT는 경험의 재사용을 "조건부"로 제한하고, 특정 상황에서만 훈련을 허가한다. BCIT는 경험의 출처 컨텍스트(source context)와 적용 가능성 조건(applicability conditions), 명시적 충돌(named hard conflicts)을 기반으로 후보 업데이트를 평가한다. 이는 경험을 단순히 저장하거나 검색하는 것 이상의 문제이며, 경험 재사용을 명확한 규칙으로 제어하는 것이 핵심이다.

기술적 접근법

BCIT는 다음과 같은 단계로 구성된다:

**경험 기록**: 업데이트의 출처 컨텍스트, 증거의 강도와 출처, 적용 가능성 조건, 명시적 충돌을 기록.
**후보 평가**: 현재 부모 모델에 대해 세 가지 행동 중 하나를 선택:

1. **거부**: 해결 불가능한 충돌이 있는 경우.
2. **검증**: 불확실한 증거가 있는 경우, 제한된 훈련 시험(bounded trial)을 수행.
3. **훈련 허가**: 적용 가능성 조건을 만족하는 경우, 전체 훈련을 허가.

**공유 채택 규칙**: 모든 훈련 완료 후보는 동일한 채택 규칙을 통과해야 부모 모델을 대체할 수 있음.
**제안 생성**: 경험 라이브러리가 부족하거나 진행이 멈춘 경우, 최대 3개의 새로운 원자적 제안(atomic proposals) 생성.
**실행 기반 메모리 확장**: 실행된 이벤트만 메모리에 확장됨.

주요 결과

Qwen3-4B 모델을 금융 추론, text-to-SQL, 함수 호출에 적응시키는 실험에서 BCIT는 동일 컴퓨트 예산 하에 평균 성능이 높음.
BCIT는 해로운 업데이트를 10% 이상 줄이며, 유용한 업데이트는 유지.
BCIT는 검증-무시(alternatives) 대비 동일 컴퓨트 예산에서 더 높은 cross-task 평균 성능 달성.
BCIT는 명시적 충돌을 거부하고, 불확실한 후보는 제한된 훈련 시험을 통해 검증함.

의의 및 한계

BCIT는 자율 시스템에서 경험 재사용을 명확한 규칙으로 제어함으로써 훈련 예산 낭비와 모델 성능 저하를 방지할 수 있다. 이는 특히 반복적인 사후 훈련 환경에서 중요한 문제이며, 경험 재사용을 단순히 저장/검색 이상의 문제로 인식하는 데 기여한다. 그러나 BCIT는 특정 모델(Qwen3-4B)과 제한된 도메인(금융, SQL, 함수 호출)에서 평가되었으며, 다른 모델이나 도메인에서 동일한 효과를 보장하지는 않는다. 또한, BCIT는 경험 라이브러리가 부족할 때 새로운 제안을 생성하지만, 이 제안의 품질은 외부 평가에 의존한다.

실용적 활용

BCIT는 반복적인 도메인 적응이 필요한 산업, 예를 들어 금융, 고객 지원, 데이터베이스 관리 시스템 등에서 자율적인 모델 업데이트를 효율적으로 관리할 수 있다. 또한, 연구적으로는 자율 시스템에서 경험 재사용의 조건을 명확히 정의하고 제어하는 방법론을 제공하며, 이는 LLM의 지속적 학습 및 최적화에 기여할 수 있다.