Training Agents to Evolve with Their Harness: TaoLive Digital Avatar Agent Technical Report

AI-powered digital avatar streamers must answer product questions, engage viewers, and execute marketing strategies in real time, demanding low latency, frequent strategy updates, and accurate yet effective responses. Evolvable Harnesses, whose Skills, Hooks, prompts, and tools can be updated independently of model weights, enable rapid iteration but expose a trade-off: large models adapt zero-shot yet are too slow, whereas compact models meet latency targets but overfit to fixed Harness configurations. We propose Harness-Aware Training (HAT), which trains compact models to adapt to changing Harnesses. Its key component, Harness-State Augmentation (HSA), applies task-preserving transformations to Skill identifiers and content, tool schemas, prompt structures, and Hook functions. Training proceeds in three stages: HSA-SFT learns reasoning and tool use from strong-model trajectories across diverse environments; General On-Policy Distillation restores generalization lost during SFT; and HSA-RL improves robustness to changing Harnesses through reinforcement learning in augmented environments. Across four evaluation sets, HAT achieves 94.8 on Live-Stream QA (base: 80.3; strongest general LLM: 93.0) and 94.6 on Harness-Variant QA (base: 75.4). Unlike Fixed-Harness SFT, which lowers IFEval by 7.7 points from the base model, HAT avoids this regression and reaches 83.5. On one NVIDIA H20 GPU, the optimized system delivers P50 and P95 latencies of 3.4 s and 8.1 s. Deployed in Taobao Live's digital-avatar service, it also yields positive online A/B test results for GMV and item-page views.

한 줄 요약

HAT은 실시간 라이브 스트리밍에 적합한 컴팩트 모델을 Harness 변화에 적응하도록 훈련하는 방법으로, 라이브 QA 정확도 94.8, P50 3.4초 달성.

핵심 기여도

**Evolvable Harness 아키텍처**를 제안하여 Skills, Hooks, Prompt, Tool을 모델 가중치와 독립적으로 업데이트 가능하게 함.
**Harness-Aware Training (HAT)** 을 통해 컴팩트 모델이 변화하는 Harness에 적응하도록 훈련.
**HSA-SFT, General OPD, HSA-RL** 세 단계 훈련 파이프라인을 도입하여 정확도 94.8 (Live-Stream QA), 94.6 (Harness-Variant QA) 달성.
**P50 3.4초, P95 8.1초**의 실시간 성능을 NVIDIA H20 GPU에서 달성.

핵심 아이디어

기존 라이브 스트리밍 디지털 아바타는 대규모 모델의 정확도와 컴팩트 모델의 저지연 사이에서 갈등을 겪는다. 대규모 모델은 Zero-shot으로 적응 가능하지만, DeepSeek-V4-flash의 경우 **평균 11초 이상의 지연**이 발생하여 실시간 요구를 충족하지 못한다. 반면, 컴팩트 모델(Qwen3.6-35B-A3B)은 고정된 Harness에 과적합되어 업데이트 시 성능이 급격히 하락한다. 이에, HAT은 **Harness 상태를 훈련 분포에 포함**하여 모델이 특정 설정을 암기하는 대신 현재 제공되는 Harness를 해석하도록 유도한다. 핵심 기법은 **Harness-State Augmentation (HSA)**로, Skill ID, 내용, 툴 스키마, 프롬프트 구조, Hook 함수에 **작업 보존 변형**을 적용하여 다양한 환경에서 훈련한다.

기술적 접근법

1. **HSA-SFT**: 강력한 모델이 생성한 다양한 HSA 환경의 트래젝토리에서 학습하여 추론 및 툴 사용 능력을 향상.
2. **General On-Policy Distillation (OPD)**: 일반 도메인 데이터에서 기반 모델로부터 지시사항 준수 능력을 복구.
3. **HSA-RL**: HSA 환경 내에서 강화 학습을 통해 변화하는 Harness에 대한 이해와 툴 사용 능력을 강화.

**HSA**는 Skill ID, 툴 스키마, 프롬프트 구조, Hook 함수에 변형을 가함.
**MTP (Multi-Task Prompting)** 가 사용되어 **1.69×~1.52×의 디코딩 처리량 증가**를 달성.

주요 결과

**Live-Stream QA**: HAT 모델은 94.8 (베이스: 80.3, 최강 일반 LLM: 93.0)
**Harness-Variant QA**: 94.6 (베이스: 75.4)
**IFEval**: Fixed-Harness SFT 대비 7.7점 하락을 회피, 83.5 달성
**NVIDIA H20 GPU**: P50 3.4초, P95 8.1초
**Taobao Live A/B 테스트**: GMV 4.33%, item-page views 0.91% 증가

의의 및 한계

HAT은 실시간 라이브 스트리밍에서 **저지연과 고정확도를 동시에 달성**하는 기술적 기반을 제공하며, 기존 Fixed-Harness SFT의 일반화 능력 저하 문제를 해결한다. 또한, **Taobao Live 서비스에 실제 배포**되어 GMV와 페이지뷰 증가를 입증하였다. 그러나, HAT은 **HSA의 변형 범위와 훈련 데이터의 다양성**에 따라 성능이 달라질 수 있으며, **복잡한 실시간 환경에서의 장기적 안정성**은 추가 연구가 필요하다.

실용적 활용

HAT은 라이브 커머스, 고객 지원, 교육용 AI 아바타 등 **실시간 대화와 전략적 업데이트가 필요한 산업**에 적용 가능하다. 특히, **Taobao Live와 같은 대규모 라이브 스트리밍 플랫폼**에서 GMV 및 사용자 참여도 향상에 기여할 수 있다.