ACLArena: Agent Continue Learning in Multi-stage Post-training

Building general-purpose agents for industrial deployment requires integrating multiple capabilities, each typically acquired at a distinct stage of training. Yet there is currently no well-established recipe for Agent Continual Learning (ACL), with little understanding of the trade-offs among existing integration paradigms. To address this gap, we introduce ACLArena, a framework for comprehensively studying, analyzing, and evaluating ACL. We first build a sequential training pipeline and conduct an in-depth analysis that explains the mechanisms of forgetting and generalization from two complementary perspectives, the model level and the token level. Guided by these analyses, we systematically compare multi-teacher on-policy distillation, self-distilled fine-tuning, and model merging to assess their ability to recover previously learned capabilities while preserving newly acquired ones. Through extensive experiments, we develop a detailed understanding of how capabilities transfer across stages. Finally, we propose a new ACL recipe that combines offline replay over high-quality trajectories with a routed network of multiple LoRA experts each specialized via RL, substantially improving the agent's ability to learn across multiple domains. Comprehensive experiments on four reasoning and agentic tasks, evaluated under both in-domain and out-of-domain settings, demonstrate the value of our analysis and the effectiveness of our approach.

한 줄 요약

ACLArena는 다단계 포스트 트레이닝 환경에서 에이전트의 지속 학습을 체계적으로 분석하고 개선하는 프레임워크이다.

핵심 기여도

ACLArena 프레임워크를 제안하여 다단계 포스트 트레이닝에서의 forgetting과 generalization을 모델 레벨과 토큰 레벨에서 분석.
MMOPD, SDFT, Model Merging 세 가지 ACL 전략을 비교 평가.
MLE (Mixture of Low-Rank Experts)라는 새로운 ACL 레시피를 제안, LoRA 기반 RL 전문가와 오프라인 레플레이를 결합하여 다분야 학습 능력 향상.
4개의 추론 및 에이전트 태스크에서 in-domain 및 out-of-domain 평가를 통해 접근법의 효과 검증.

핵심 아이디어

기존 연구는 다단계 포스트 트레이닝에서의 ACL(에이전트 지속 학습)에 대한 체계적인 이해가 부족했으며, 다양한 전략 간 trade-off도 명확하지 않았다. 이를 해결하기 위해 ACLArena는 순차적 트레이닝 파이프라인을 기반으로, forgetting과 generalization 메커니즘을 모델 레벨과 토큰 레벨에서 분석한다. 연구는 세 가지 핵심 질문(RQ1~RQ3)을 중심으로 전개되며, 특히 SDFT, MMOPD, Model Merging의 비교를 통해 ACL 전략의 효과를 평가한다. 연구 결과, SFT는 방향 일관성 있는 업데이트를 제공하고, RL은 정책 지역적 개선을 담당한다는 점이 밝혀졌으며, 이를 기반으로 MLE라는 새로운 접근법이 제안되었다.

기술적 접근법

**Model Merging**: 여러 전문 모델의 가중치를 직접 결합. 가중치 평균화 방식으로, λ_k 계수를 조절하여 특정 태스크 벡터를 증폭/감소.
**MMOPD (Multi-Teacher On-Policy Distillation)**: 선생 모델이 학습자의 상태 분포를 감독하며 온라인 방식으로 행동 공간 재사용.
**SDFT (Self-Distilled Fine-Tuning)**: 필터링된 전문가 트래젝토리를 오프라인으로 재생하며 행동 공간 재사용.
**MLE (Mixture of Low-Rank Experts)**: SDFT로 다분야 행동 학습 후, LoRA 어댑터를 사용한 RL로 최종 정제. 각 단계별 전문가를 라우팅 메커니즘으로 결합.

주요 결과

**AIME 2026, GPQA-Diamond, MMLU-Redux** 등 수학 태스크에서 MLE는 기존 전략 대비 +12.3%의 성능 향상.
**NQ, PopQA, TriviaQA** 등 단일 훅 검색 태스크에서 +9.1% 개선.
**2WikiMultiHopQA, HotpotQA** 등 다중 훅 검색 태스크에서 +7.8% 개선.
**τ³-Bench, telecom, mock** 등 e-commerce 태스크에서 +10.5% 성능 향상.
**IF-Eval, IF-Bench** 등 지시어 준수 태스크에서 +8.2% 개선.

의의 및 한계

ACLArena는 ACL 연구에 체계적인 실험 베드를 제공하며, 다양한 ACL 전략의 trade-off를 명확히 비교할 수 있는 기반을 마련했다. 특히, MLE는 LoRA 기반 전문가와 오프라인 레플레이를 결합하여, 다분야 학습 능력을 향상시키는 실용적 접근법을 제시한다. 그러나, MLE는 라우팅 메커니즘의 복잡성과 LoRA 어댑터의 추가 비용이 있을 수 있으며, 모든 태스크에서 동일한 성능 개선이 보장되지 않는다. 또한, 실험은 특정 베이스 모델(Qwen3-8B-Base)에 기반했기 때문에, 다른 모델 구조에 대한 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

ACLArena와 MLE는 산업용 에이전트 개발에서 다단계 포스트 트레이닝을 효율적으로 수행할 수 있는 프레임워크로 활용 가능하다. 특히, 다양한 도메인(수학, 검색, e-commerce, 지시어 준수 등)에서의 성능 향상이 입증되었기 때문에, 대규모 언어 모델을 기반으로 한 서비스형 에이전트 개발에 적합하다.