SkillFlow: Flow-Driven Recursive Skill Evolution for Agentic Orchestration

In recent years, a variety of powerful LLM-based agentic systems have been applied to automate complex tasks through task orchestration. However, existing orchestration methods still face key challenges, including strategy collapse under reward maximization, high gradient variance with opaque credit assignment, and unguided skill evolution whose decisions are typically made by directly prompting an LLM to judge rather than derived from principled training signals. To address these challenges, we propose SkillFlow, a flow-based framework that takes a trainable Supervisor as the agent and a structured environment with dynamic skill library and frozen executor, automating task orchestration through multi-turn interaction. SkillFlow employs Tempered Trajectory Balance (TTB), a regression-based flow-matching loss that samples trajectories proportional to reward, preserving diverse orchestration strategies rather than collapsing to a single mode. The same flow objective yields a jointly learned backward policy that provides transparent per-step credit assignment at zero additional inference cost. Building on these flow diagnostics, a recursive skill evolution mechanism determines when to evolve, what skills to create or prune, and where decision gaps lie -- closing the loop from training signal to autonomous capability growth. Experimental results on 14 datasets show that SkillFlow significantly outperforms baselines across question answering, mathematical reasoning, code generation, and real-world interactive decision making tasks. Our code is available at https://anonymous.4open.science/r/SkillFlow-E850.

📋 한 줄 요약

**[에이전트 오케스트레이션 / 흐름 매칭 RL]** 보상에 비례한 trajectory 샘플링과 재귀적 스킬 진화를 결합해 에이전트 오케스트레이션을 종단간 학습하는 흐름 기반 프레임워크 SkillFlow 제안.

🎯 핵심 기여도

기존 오케스트레이션의 세 가지 핵심 난점 — 보상 최대화 하의 strategy collapse, 큰 gradient variance와 불투명한 credit assignment, LLM 판단에 의존한 비원리적 skill 진화 — 을 동시에 해결하는 통합 프레임워크 제시.
학습 가능한 Supervisor + dynamic skill library + frozen executor의 구조화 환경으로 다중 턴 오케스트레이션을 흐름 매칭 문제로 변환.
보상에 비례해 trajectory를 샘플링하는 Tempered Trajectory Balance(TTB) loss 도입으로 다양한 전략을 보존.
동일 흐름 목적식이 backward policy를 함께 학습시켜 추가 추론 비용 없이 step별 투명한 credit assignment 제공.

💡 핵심 아이디어

오케스트레이션을 단일 최적 경로가 아니라 보상 분포에 비례하는 trajectory 분포 학습으로 본다. 그러면 다양한 전략이 자연 보존되고, 학습된 backward 흐름이 곧 credit assignment 신호가 된다.

🔬 기술적 접근법

**모델/방법론**: 학습 가능한 Supervisor agent + 동적 skill library + frozen executor 구성의 GFlowNet 계열 에이전트 학습.
**핵심 기법**: Tempered Trajectory Balance(regression-based flow-matching loss), 흐름 진단 신호로부터 언제·무엇을·어디를 진화시킬지 결정하는 recursive skill evolution 메커니즘.

📊 주요 결과

14개 데이터셋에서 question answering, mathematical reasoning, code generation, real-world interactive decision making 전반에서 베이스라인 대비 유의미한 향상.
보상 비례 샘플링으로 strategy collapse 완화 확인.
코드: https://anonymous.4open.science/r/SkillFlow-E850 공개.

💭 의의 및 한계

**의의**: RL 기반 에이전트 오케스트레이션에 GFlowNet의 다양성 보존·credit assignment 이점을 가져와 자율 능력 성장 루프를 닫음. **한계**: 흐름 매칭 학습은 정상 분포·온도 스케일링에 민감, 매우 큰 skill library에서 진화 비용이 증가할 수 있음.

🚀 실용적 활용

자율 멀티스킬 에이전트(예: AutoGPT 계열)의 학습 가능한 supervisor.
도구 사용 LLM의 스킬 라이브러리 자동 진화 파이프라인.
복잡한 의사결정 워크플로(고객지원·연구 보조)에서의 정책 다양성 보존.