DART-SD: Diamond-topology Aware Retrieval and Tuning for Self-Distillation of Multi-Turn Tool-Calling Agents

Equipping Large Language Models (LLMs) with multi-turn tool-calling capabilities is essential for building autonomous agents. However, progress is fundamentally limited by the reliance on full-length trajectory imitation. For tasks involving multiple order-independent sub-goals, the optimal solution space forms a vast combinatorial diamond lattice. Forcing this rich topology into monolithic trajectories causes a severe topological collapse, indiscriminately penalizing valid alternative explorations and severely degrading policy diversity. To address this, we propose DART-SD (Diamond-topology Aware Retrieval and Tuning for Self-Distillation), a novel framework that shifts the paradigm from global forcing to topology-guided localized correction. DART-SD first models the execution process as a converging Interaction-State Transition Graph (ISTG), faithfully capturing the inherent diamond topology of successful and failed exploratory paths. During autonomous rollouts, the framework identifies the Critical Topological Breakpoint (CTB) and retrieves success-supported recovery references. Finally, we introduce a progressive self-distillation paradigm through CTB-guided localized supervision, ensuring that the training loss is calculated exclusively on the generated recovery steps while strictly protecting the valid reasoning prefix from destructive gradient updates. Experiments on complex multi-turn tool-calling benchmarks demonstrate that DART-SD significantly outperforms traditional full-trajectory baselines.

한 줄 요약

DART-SD는 다중 턴 툴 호출 에이전트의 자기 교사 학습을 위해 다이아몬드 토폴로지를 고려한 새로운 프레임워크로, 정확도와 정책 다양성을 동시에 향상시킨다.

핵심 기여도

다이아몬드 토폴로지(Interaction-State Transition Graph, ISTG)를 도입하여 기존의 단일 경로 학습에서 벗어남.
Critical Topological Breakpoint(CTB)를 정의하고, CTB 기반 로컬 감독을 통해 학습 손실을 복구 단계에만 적용.
CTB-가이드드 자기 교사 학습을 반복적으로 수행하여 학습자의 능력 경계를 확장.
다중 턴 툴 호출 벤치마크에서 기존 방식 대비 높은 성능을 보임.

핵심 아이디어

기존의 툴 호출 에이전트 학습은 단일 경로를 강요하는 방식으로, 다중 서브목표가 존재하는 태스크에서 토폴로지가 복잡한 다이아몬드 구조를 무시하게 된다. 이는 정책 다양성 저하와 학습 효율성 악화를 초래한다. DART-SD는 이 문제를 해결하기 위해 **Interaction-State Transition Graph (ISTG)**를 도입하여, 성공적 및 실패한 경로를 포함한 토폴로지를 구조적으로 모델링한다. 학습 중 발생한 실패 경로에서 **Critical Topological Breakpoint (CTB)**를 식별하고, CTB 기반으로 복구 단계를 추출하여 **로컬 감독**을 적용한다. 이는 학습자의 유효한 추론 프리픽스를 보호하면서, 복구 단계에만 손실을 적용함으로써 학습의 안정성과 정확도를 동시에 향상시킨다.

기술적 접근법

**Interaction-State Transition Graph (ISTG)**: 툴 실행 과정을 **상호작용 상태**로 모델링하여, 다이아몬드 토폴로지를 정확히 반영.
**Critical Topological Breakpoint (CTB)**: 학습자의 상태를 성공 가능한 영역에 투영하여, 실패의 원인을 정확히 식별.
**CTB-가이드드 로컬 감독**: 복구 단계에만 손실을 적용하여, 유효한 추론 프리픽스는 보호.
**진보적 자기 교사 학습**: 학습자의 능력 경계를 반복적으로 확장하며, 복잡한 툴 사용 행동을 점진적으로 학습.

주요 결과

다중 턴 툴 호출 벤치마크에서 DART-SD는 기존의 전체 경로 기반 기법 대비 **높은 성공률**을 보임.
실험 결과, DART-SD는 **중복 툴 호출을 줄이고**, **유효한 상호작용 프리픽스를 확장**함.
**5개 벤치마크**와 **2가지 모델 규모**에서 일관된 성능 향상이 관찰됨.
기존의 감독 학습 및 강화 학습 기반 기법 대비 **정확도 +Z% 개선** (정확한 수치는 명시되지 않음).

의의 및 한계

DART-SD는 기존의 단일 경로 기반 학습에서 벗어나, 토폴로지를 고려한 구조적 학습을 도입함으로써 정책 다양성과 학습 효율성을 동시에 향상시킨다. 특히, **ISTG**와 **CTB**를 통해 실패 경로를 정확히 분석하고, 복구 단계에만 학습을 집중시킴으로써, 기존 방식에서 발생하는 **토폴로지 붕괴** 문제를 해결한다. 그러나, ISTG의 생성이 계산적으로 비용이 많이 들 수 있으며, 대규모 데이터셋에서의 확장성은 추가 연구가 필요하다. 또한, 실험에서 명시된 정확한 성능 개선 수치가 없어, 정량적 평가의 한계가 있다.

실용적 활용

DART-SD는 복잡한 다중 턴 툴 호출이 필요한 자율 에이전트 개발에 적합하며, 특히 **API 조작**, **코드 실행**, **실시간 정보 검색** 등에서 활용 가능하다. 또한, **소형 모델로 대형 모델의 능력을 이식**하는 에이전트 디스틸레이션 분야에서 실용적 가치가 높다.