Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents

Successful tool-use trajectories are not necessarily useful supervision. Even successful interactions may underrepresent multi-step dependencies or contain actions that are unjustified by the information visible to the agent at decision time. We identify two coupled requirements for effective trajectory supervision: compositional coverage, so that important observation-action dependencies are represented, and decision grounding, so that each supervised action is supported by the learner-visible interaction history. We introduce Trajectory2Gym, which constructs executable interactions around under-supported compositional structures and derives supervision only from grounded decisions in their realized executions. Structural-support selection allocates the resulting experience, while parent-normalized supervised fine-tuning preserves the semantic interaction as the unit of training weight. This reframes trajectory generation as the deliberate construction of learnable interaction experience, rather than the collection of successful trajectories. Across five Qwen3 scales, Trajectory2Gym improves Tau1, Tau2, and BFCL at every tested scale, increasing the equal-weight three-benchmark mean by 16.9-29.8 percentage points. The gains are strongest in stateful and multi-turn interaction, where later decisions depend on earlier observations and feedback. Our results suggest that scaling tool-use agents depends not only on collecting more successful trajectories, but on constructing interactions whose dependencies are represented and whose decisions are learnable from the agent's visible history.

한 줄 요약

Trajectory2Gym은 학습 가능한 상호작용 경험을 의도적으로 구성함으로써 도구 사용 에이전트의 성능을 16.9–29.8% 향상시키는 시스템이다.

핵심 기여도

**조합적 커버리지**와 **결정 접지**를 효과적인 트래젝토리 감독의 필수 조건으로 명시하고, 결정 수준의 감독 마스크를 정의.
**Trajectory2Gym**을 도입: 조합적으로 부족한 상호작용 경로를 합성하고, 실행된 에이전트-가시 히스토리에서만 감독을 도출.
**Parent-normalized supervised fine-tuning (SFT)**을 개발: 의미적 상호작용을 최적화 단위로 유지하며, 5개 Qwen3 스케일에서 Tau1, Tau2, BFCL 성능을 16.9–29.8% 향상.
**Ablation study**를 통해 4개의 설계 선택이 8B 모델에서 방향적인 성능 향상을 보임.

핵심 아이디어

기존 도구 사용 에이전트 학습은 성공한 트래젝토리만을 기반으로 하지만, 이는 다단계 의존성과 결정의 정당성을 충분히 반영하지 못한다. Trajectory2Gym은 **조합적 커버리지**와 **결정 접지**라는 두 가지 핵심 요구사항을 해결하기 위해 설계되었다. **조합적 커버리지**는 중요한 관측-행동 의존성을 반복적으로 학습할 수 있도록 보장하며, **결정 접지**는 각 감독 행동이 에이전트가 보는 정보에 기반해야 한다는 점을 강조한다. 이를 위해 Trajectory2Gym은 **(1) 조합적 상호작용 합성**, **(2) 접지된 감독**, **(3) 구조적 지원 학습**이라는 세 단계를 수행한다. 특히, **parent-normalized SFT**는 의미적 상호작용을 최적화 단위로 유지함으로써 학습 효율성을 높인다.

기술적 접근법

**Compositional interaction synthesis**: Qwen3 환경에서 부족한 상호작용 경로를 합성하고 실행.
**Grounded supervision**: 실행된 로그를 기반으로 학습 가능한 컨텍스트와 인증된 타겟을 생성.
**Structural-support learning**: **parent-normalized SFT**를 사용해 각 구조의 학습 빈도와 가중치를 조절.
**Trajectory2Gym**은 세 단계가 결합된 프레임워크로, 합성 없이 접지하거나, 접지 없이 합성하는 경우는 학습 효과가 제한적임.

주요 결과

**Qwen3 1.7B~30B 모델**에서 Trajectory2Gym은 Tau1, Tau2, BFCL 성능을 모든 스케일에서 향상.
**3개 벤치마크 평균 성능**이 16.9–29.8% 증가.
**8B 모델**에서 Tau2 성능은 69.17 (Trajectory2Gym) vs. 28.33 (기존 30B 모델)로 크게 개선.
**Ablation study**에서 parent normalization이 단일 요소로 8.04% 성능 향상 기여.

의의 및 한계

Trajectory2Gym은 도구 사용 에이전트 학습에서 **성공 여부가 아닌 학습 가능성**을 중점으로 전환시킨다. 기존 트래젝토리 수집 방식은 다단계 의존성과 결정의 정당성을 반영하지 못해 학습 효과가 제한적이었다. Trajectory2Gym은 **의도적으로 학습 가능한 상호작용 경험을 구성**함으로써 이 문제를 해결한다. 그러나, **모든 상호작용 구조를 완벽히 커버하지 못하거나**, **온-정책 롤아웃이나 웹 에이전트로 확장 가능성**은 추가 연구가 필요하다.

실용적 활용

Trajectory2Gym은 고객 지원, 온라인 쇼핑, 소프트웨어 인터페이스 등 **다단계, 상태 기반 상호작용이 필요한 도구 사용 에이전트**에 적용 가능하다. 특히, **복잡한 작업 흐름을 학습해야 하는 산업용 에이전트** 개발에 유용하며, **성능 향상을 위해 트래젝토리 생성 전략을 재정의해야 하는 연구자**에게도 중요한 인사이트를 제공한다.