AgentStream: How Well Do Self-Evolving LLM Agents Perform Under Streaming Tasks?

Large language model (LLM) agents can self-evolve by continually improving from their own accumulated experience. However, existing studies predominantly adopt independent evaluation. Consequently, the behavior of self-evolving agents in realistic streaming settings, where agents adapt to diverse and complex task streams, remains poorly understood. To address this gap, we introduce AgentStream, a unified framework that evaluates self-evolving agents spanning diverse evolution components by organizing agentic benchmarks into a configurable task stream and instantiating the \texttt{Isolated}, \texttt{Sequential}, and \texttt{Interleaved} streaming scenarios at test time, which progressively vary the scope and domain composition of the stream. Over these scenarios, we combinatorially evaluate five representative self-evolving methods across three frontier foundation models, disentangling how model capability, method architecture, and streaming scenario jointly shape self-evolution. Our results show that self-evolution reliability varies across streaming scenarios, the benefit of self-evolution is gated by model capability and non-monotonic in model strength, and no single method dominates across models and scenarios. These findings offer concrete guidance for selecting self-evolving methods across models and streaming scenarios. Overall, we advocate that self-evolving agents should be evaluated under realistic task streams rather than isolated single-task settings.

한 줄 요약

AgentStream은 다양한 스트리밍 시나리오에서 자기 진화하는 LLM 에이전트의 성능을 체계적으로 평가하는 통합 프레임워크이다.

핵심 기여도

AgentStream이라는 통합 프레임워크를 제안하여, Isolated, Sequential, Interleaved 세 가지 스트리밍 시나리오를 구현.
3개의 최신 기반 모델(GPT-5.4, Gemini 3.1 Pro, Claude Opus 4.7)과 5가지 자기 진화 방법(ACE, A-Mem, ReasoningBank, AutoSkill, Harness)을 조합적으로 평가.
자기 진화의 효과는 모델 능력에 따라 비단조적이고, 특정 방법이 모든 모델과 시나리오에서 우수하지 않음.
GPT-5.4에서 최고/최저 방법 간 성능 차이가 5.3%인 반면, Claude Opus 4.7에서는 0.9%로 감소.

핵심 아이디어

기존 연구는 대부분 독립적인 단일 작업 평가를 사용해, 실제 스트리밍 환경에서의 자기 진화 에이전트 성능을 제대로 평가하지 못했다. AgentStream은 다양한 벤치마크를 구성 가능한 작업 스트림으로 통합하고, Isolated(단일 스트림), Sequential(고정 순서 스트림), Interleaved(혼합 스트림) 세 가지 시나리오를 테스트 시에 구현함으로써, 실제 스트리밍 환경에서의 자기 진화 효과를 체계적으로 평가한다. 이는 모델 능력, 방법 아키텍처, 스트리밍 구조가 어떻게 성능에 영향을 주는지를 분리해 분석할 수 있게 한다.

기술적 접근법

**프레임워크 구성**: AgentStream은 AppWorld, BFCL, BrowseComp-Plus, HLE, SWE-bench-Verified, Tau2 등 6개의 에이전트 벤치마크를 통합한 구성 가능한 작업 스트림을 제공.
**스트리밍 시나리오**:
**Isolated**: 각 벤치마크가 독립적인 스트림에서 진화.
**Sequential**: 고정 순서로 벤치마크 처리, 진화 상태가 벤치마크 간 이전.
**Interleaved**: 모든 벤치마크 작업이 하나의 스트림에 섞여 처리.
**평가 대상**: ACE, A-Mem, ReasoningBank, AutoSkill, Harness 5가지 자기 진화 방법과 GPT-5.4, Gemini 3.1 Pro, Claude Opus 4.7 3개 모델을 조합적으로 평가.
**평가 지표**: 각 시나리오에서 성능 향상률, 방법 간 성능 차이, 모델 간 격차 변화 등을 측정.

주요 결과

**GPT-5.4에서 ACE 방법**: 48.8% 성능 달성 (기본 베이스라인 대비 +2.3%).
**Claude Opus 4.7에서 A-Mem 방법**: 65.6% 성능 달성 (기본 베이스라인 대비 +16.8%).
**모델 간 성능 격차**: 기본 상태에서 18.1%였던 GPT-5.4 vs. Claude Opus 4.7 격차가 자기 진화 후 20.0%로 확대되나, 최적 방법을 적용하면 16.8%로 줄어듦.
**방법 간 성능 차이**: GPT-5.4에서 최고/최저 방법 간 5.3% 차이, Claude Opus 4.7에서는 0.9%로 감소.

의의 및 한계

AgentStream은 자기 진화 에이전트를 단일 작업 환경이 아닌 실제 스트리밍 작업 스트림에서 평가하는 첫 번째 통합 프레임워크로, 모델 능력, 방법 아키텍처, 스트리밍 구조가 성능에 미치는 영향을 체계적으로 분석할 수 있다. 특히, 자기 진화의 효과가 모델 능력에 따라 비단조적이라는 점은 기존 연구에서 간과되었던 중요한 통찰이다. 그러나 이 연구는 특정 벤치마크와 방법만을 사용했기 때문에, 더 다양한 작업 스트림과 진화 방법을 포함한 확장 연구가 필요하다.

실용적 활용

AgentStream은 실제 운영 환경에서 다양한 작업 스트림을 처리하는 자기 진화 에이전트의 성능을 평가하는 데 유용하며, 모델 선택, 방법 선택, 스트리밍 구조 설계에 실질적인 지침을 제공한다. 특히, 모델 능력에 따라 최적의 진화 방법을 선택하거나, 특정 스트리밍 환경에 맞는 아키텍처를 설계하는 데 활용할 수 있다.