JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution
Guibin Zhang, Leo Lu, Fangzhou Xie, Kang Zhu, Junhao Wang, Zhifei Xie, Zhaochen Yu, Zihang Liu, Zhongxiang Sun, Qiankun Li, Yue Liao, Heng Chang, Xiaobin Hu, Qibing Ren, Wangchunshu Zhou, Shuicheng Yan
arXiv:2608.25593 · 2026-08-27 공개 · arXiv · PDF
llm code-generation model-scaling agent-harness self-evolution deepseek-v4 tool-orchestration llm-scaling
Abstract
Agent capability is not determined by the model alone. The agent harness, encompassing memory management, planning strategy, action protocol, and tool/skill orchestration, can dominate the contribution of the underlying foundation model. Yet harness design remains manual, task-specific, and fundamentally unscalable. We present JIT-Agent, a harness intelligence model trained to synthesize task-adaptive agent harnesses on the fly for arbitrary off-the-shelf agentic LLMs. We formalize the agent harness as a composable, machine-generatable artifact governed by a fixed four-module protocol, and train JIT-Agent to customize harnesses for a given task at hand, repair harnesses for stable and reliable execution, and self-evolve by distilling performance signals from an expanding archive of prior harness configurations. Equipped with JIT-Agent as a harness helper, DeepSeek-V4-Flash surpasses GPT-5.6 on DeepSearchQA (+9.1) and OdysseyBench (+4.3), while the already strong GLM-5.2 gains up to +20.2 points. Across controlled evaluations, JIT-Agent-generated harnesses are performance-competitive with mature agent runtimes such as OpenCode and Claude Code and consistently improve multi-scale model families of DeepSeek V4, Mimo-V2.5, and Qwen3.6. To our knowledge, JIT-Agent is the first model purpose-built for just-in-time harness generation, establishing harness intelligence as a trainable, transferable, and compounding dimension of agent capability orthogonal to model scaling.
한국어 요약
한 줄 요약
JIT-Agent는 임의의 LLM에 실시간으로 최적화된 agent harness를 생성하여 성능을 대폭 향상시킨다.
핵심 기여도
- JIT-Agent는 4개 모듈로 구성된 프로토콜 기반의 agent harness를 실시간 생성한다.
- DeepSeek-V4-Flash는 JIT-Agent를 사용해 GPT-5.6 대비 DeepSearchQA에서 +9.1, OdysseyBench에서 +4.3 개선.
- GLM-5.2는 JIT-Agent 적용으로 xBench-DS에서 +12.0, AgentIF에서 +6.9 성능 향상.
- JIT-Agent는 OpenCode, Claude Code와 경쟁하며 DeepSeek V4, Mimo-V2.5, Qwen3.6 등 다중 규모 모델에 일관된 성능 향상 제공.
핵심 아이디어
JIT-Agent는 기존 LLM의 성능이 단순히 모델 크기나 파라미터 수에만 의존하지 않고, memory management, planning strategy, action protocol, tool orchestration 등으로 구성된 agent harness에 크게 영향을 받는다는 점에서 출발한다. 이 연구는 agent harness를 4개의 고정 모듈로 구성된, 머신 생성 가능한 아티팩트로 정식화하고, JIT-Agent를 이를 실시간으로 생성·수정·자체 진화시키는 모델로 설계했다. 특히, JIT-Agent는 과거 harness 설정에서 성능 신호를 추출해 스스로 개선하는 self-evolution 기법을 도입하여, 기존의 수작업 및 태스크별 harness 설계의 한계를 극복한다.
기술적 접근법
- JIT-Agent는 4개의 고정 모듈로 구성된 프로토콜 기반의 agent harness를 생성.
- 모듈은 memory management, planning strategy, action protocol, tool/skill orchestration.
- JIT-Agent는 주어진 태스크에 맞는 harness를 생성하고, 실행 중 불안정성을 수정하는 repair 기능을 수행.
- self-evolution은 과거의 성능 데이터를 기반으로 학습하여 harness를 지속적으로 개선.
- 학습 데이터는 다양한 설정의 prior harness configuration 아카이브에서 추출한 performance signal.
주요 결과
- DeepSearchQA에서 DeepSeek-V4-Flash는 GPT-5.6 대비 +9.1 개선.
- OdysseyBench에서 +4.3, PinchBench에서 +8.7 성능 향상.
- GLM-5.2는 xBench-DS에서 +12.0, AgentIF에서 +6.9 성능 향상.
- JIT-Agent는 OpenCode, Claude Code와 경쟁하며 DeepSeek V4, Mimo-V2.5, Qwen3.6 등 다양한 규모의 모델에서 일관된 개선.
의의 및 한계
JIT-Agent는 agent harness를 학습 가능한, 전이 가능한, 누적 가능한 요소로 정식화하여, 기존의 모델 스케일링 중심 접근에서 벗어난 새로운 차원의 agent capability를 제시한다. 이는 다양한 LLM에 즉시 적용 가능한 실용적 가치를 제공하며, 기존 수작업 harness 설계의 비효율성을 해결한다. 그러나 JIT-Agent가 생성한 harness의 내부 동작이나 특정 상황에서의 실패 원인을 해석하는 것은 여전히 어려운 점이 있다. 또한, JIT-Agent가 생성한 harness가 모든 태스크에서 최적일 수는 없으며, 일부 복잡한 도메인에서는 추가적인 수작업 조정이 필요할 수 있다.
실용적 활용
JIT-Agent는 기존 LLM을 다양한 태스크에 빠르게 적응시킬 수 있어, R&D, 고객 지원, 자동화된 워크플로우 등 여러 산업 분야에서 즉시 활용 가능하다. 특히, 복잡한 다중 도구 조합이 필요한 워크스페이스 실행이나, 장기적 계획이 필요한 작업에서 JIT-Agent의 활용이 유망하다.