A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement

Recursive self-improvement requires models not only to acquire useful training experience, but also to decide when their current experience has ceased to be useful. Existing methods often focus on what experience to generate next, while paying less attention to when fresh experience should be introduced. Many also construct training targets through self-consistency or majority voting, making supervision depend on the model's own uncertain predictions. We address these two questions separately: training dynamics determine when to acquire new experience, while the answers to new tasks remain independently checkable. A-RSI monitors reward variation and accuracy in training logs to refresh a task pool when its learning signal declines, without consulting validation or test scores. A static library of model-authored programs produces multimodal questions and derives their reference answers; we specify the task-generation contract, automatically verify chosen properties of the reward and refresh rules, and separately audit the generated answers. The training loop uses no external training examples or human-written answer labels. On the primary eleven-benchmark suite, A-RSI raises the performance average from 57.77 to 61.05 with 800 fresh tasks.

한 줄 요약

A-RSI는 학습 신호 감소를 기반으로 태스크 풀을 갱신하며, 모델 생성 프로그램을 통해 라벨 없이 멀티모달 학습을 수행하여 성능을 57.77에서 61.05로 향상시킨다.

핵심 기여도

학습 로그 내 보상 변동과 정확도를 기반으로 태스크 풀 갱신 시점을 결정하는 `training-log refresh rule` 제안.
모델 생성 프로그램(`model-authored programs`)을 통해 멀티모달 질문과 참조 답변을 생성하여 외부 라벨 없이 학습 가능.
11개 벤치마크에서 800개의 신규 태스크로 Macro11 성능을 57.77 → 61.05로 향상.
출력 길이 제한 내에서 답변 완료율과 정확도를 별도로 분석하여 성능 향상 요인을 구분.

핵심 아이디어

기존의 자기 개선 방법은 주로 다음에 어떤 경험을 생성할지에 집중했으나, A-RSI는 학습 신호가 감소했을 때 언제 경험을 갱신할지를 독립적으로 결정하는 새로운 접근을 제시한다. 학습 로그 내 보상 변동(`within-group reward variation`)과 정확도를 모니터링하여 풀 갱신 시점을 결정함으로써, 검증/테스트 점수 없이도 학습 효율성을 유지할 수 있다. 또한, 모델 자체가 작성한 프로그램(`model-authored programs`)을 통해 멀티모달 질문과 참조 답변을 생성함으로써 외부 라벨 없이 학습을 진행한다. 이는 학습 신호의 신뢰도를 높이면서도, 모델의 예측 오류가 라벨이 되는 문제를 방지한다.

기술적 접근법

**A-RSI 학습 루프**:
`Solver`는 현재 활성 풀(`active pool`)에서 GRPO(Gradient-based Reinforcement Policy Optimization)를 사용해 학습.
학습 로그(`training logs`)에서 보상 변동과 정확도를 추적하여 풀 갱신 조건(`refresh condition`)을 판단.
갱신 시, 새로운 400개 태스크로 풀을 교체하지만, 학습된 모델 가중치(`model weights`)는 유지.
**모델 생성 프로그램**:
멀티모달 질문과 참조 답변을 생성하는 프로그램 템플릿(`task-generation contract`)을 사용.
참조 답변은 동일한 설정(`underlying configuration`)으로 계산되어 독립적으로 검증 가능.
**검증 및 감사**:
생성된 답변에 대해 `independent audit` 수행.
보상 및 갱신 규칙(`reward and refresh rules`)에 대해 자동 검증(`machine-check`) 수행.

주요 결과

**Qwen 모델**: 800개의 신규 태스크로 11개 벤치마크 평균 정확도(Macro11)를 57.77 → 61.05로 향상 (+3.28%).
**MiMo 모델**: 60.01 → 60.71로 향상 (+0.70%).
**A-RSI vs. every-window refresh**: 800개 vs. 3,200개 태스크로 61.05 vs. 60.64 성능.
**6번째 갱신 윈도우**: A-RSI는 60.40, 기존 풀 유지 시 58.35.
**출력 길이 분석**: 답변 완료율과 정확도를 별도로 분리하여 성능 요인 분석.

의의 및 한계

A-RSI는 외부 라벨 없이 모델 생성 프로그램을 통해 멀티모달 학습을 수행함으로써, 자기 개선 시스템의 독립성과 신뢰도를 높인다. 학습 로그 내 신호를 기반으로 태스크 갱신 시점을 결정함으로써, 기존의 검증 점수에 의존하는 방식의 한계를 극복한다. 그러나, 갱신 정책의 타이밍 효과는 단일 실행에서 매우 작으며, 여러 시드(seed)에서의 재현 실험이 필요하다는 한계가 있다. 또한, 낮은 엔트로피 모델에 대한 갱신 정책 개선이 앞으로의 과제로 제시된다.

실용적 활용

A-RSI는 라벨이 부족하거나 생성 비용이 높은 멀티모달 학습 환경에서 유용하게 활용될 수 있다. 특히, 자율적인 시스템 개선이 필요한 연구 분야나, 인간 개입 없이 지속 학습이 필요한 산업 현장에서 적용 가능하다. 예를 들어, 자동화된 QA 시스템, 멀티모달 챗봇, 또는 지속 학습 기반의 AI 교육 플랫폼 등에서 활용 가능하다.