Occamy-1.0: Open Pareto-frontier 35B Intelligence for Co-work
Wenhui Chen, Shiwen Cheng, Hao Dong, Chenda Duan, Ruixiang Feng, Zhong Guan, Boqiang Guo, Xueyuan Han, Haojie Hao, Liangmeng Huang, Zhelong Huang, Xinke Kong, Hongyu Li, Jiazheng Li, Junbo Li, Qingchuan Li, Yukun Lian, Chang Liu, Tianyu Liu, Zicheng Liu, Shuyi Ouyang, Yijun Pan, Kunyu Shi, Xiaojun Tang, Bingquan Wang, Kesu Wang, Yuchen Wang, Sibo Wei, Sicong Xie, Xiaoying Xing, Yi Xu, Zhijun Xu, Hongwei Xue, Qingcheng Zeng, Di Zhang, Guannan Zhang, Haochen Zhang, Tianlong Zhang, Tianyu Zhao, Tianyu Zhao, Yanjun Zheng, Jialong Zhu, Zijian Zou
arXiv:2609.11977 · 2026-09-15 공개 · arXiv · PDF
instruction-following post-training model-training tool-calling pareto-frontier coding qwen3-6-35b-a3b co-work
Abstract
Co-work agents execute complex workflows that combine information gathering, tool use, coding, and file manipulation across many model invocations. Because cost and latency accumulate over the full episode, their practical value depends not only on peak capability but also on how efficiently that capability is delivered. Yet many steps in everyday work emphasize state tracking, coordination, recovery, and follow-through rather than frontier-scale reasoning. We present Occamy-1.0, a cost-efficient co-work model obtained by further training the post-trained Qwen3.6-35B-A3B checkpoint. We construct execution-grounded data and environments, capture replayable long-horizon trajectories across multiple harnesses, and use staged post-training to develop and consolidate complementary execution capabilities. Across a broad suite of co-work benchmarks, Occamy-1.0 is consistently among the strongest comparably sized models and remains competitive with substantially larger frontier systems on several tasks. Under our stated evaluation and pricing protocol, its aggregate performance across four representative benchmarks places it at the low-cost knee of the observed cost--performance Pareto frontier. Supporting evaluations in tool calling, coding, and instruction following further show that this specialization preserves broad agentic capability. We release the model weights and a subset of the training data to support research on practical co-work agents and agentic post-training.
한국어 요약
한 줄 요약
Occamy-1.0은 Qwen3.6-35B-A3B 기반으로 훈련된 35B 파라미터 규모의 효율적 공동작업 에이전트 모델이다.
핵심 기여도
- Occamy-1.0은 Qwen3.6-35B-A3B 체크포인트를 기반으로 **staged post-training**을 통해 개발됨.
- **execution-grounded data**와 **long-horizon trajectories**를 활용해 상태 추적, 복구, 실행 일관성 등을 학습.
- 4개 주요 벤치마크에서 **low-cost knee of the cost–performance Pareto frontier**에 위치.
- 모델 가중치와 일부 훈련 데이터를 공개하여 공동작업 에이전트 연구를 지원.
핵심 아이디어
기존 대형 모델은 단일 추론 능력에 집중하지만, 실제 공동작업에는 **상태 추적**, **도구 사용**, **복구**, **다중 단계 실행**이 필수적이다. Occamy-1.0은 이러한 실무 중심의 능력을 **execution-centered post-training**을 통해 구축한다. 구체적으로, **Marathon Expert**와 **Sprint Expert**라는 두 전문가 모델을 별도로 훈련한 후 **model merging**과 **SAO (Stochastic Augmented Optimization)**로 통합한다. 이는 **SFT (Supervised Fine-Tuning)**과 **HDPO (Hybrid Direct Preference Optimization)**를 활용한 단계적 훈련을 포함한다.
기술적 접근법
- **기반 모델**: Qwen3.6-35B-A3B
- **훈련 데이터**: 실행 기반의 **execution-grounded data**와 **long-horizon trajectories**
- **모델 구조**: **Marathon Expert** (SFT + HDPO), **Sprint Expert** (SFT), **model merging**, **SAO**
- **평가 프로토콜**: **evaluation contract construction**을 통해 공정한 벤치마크 평가 수행
- **환경**: 다중 허네스(multiple harnesses)를 지원하며, **token-exact trajectories**, **environment-state replay**, **history rewrites**를 보존
주요 결과
- Occamy-1.0은 4개 대표 벤치마크에서 **low-cost knee of the cost–performance Pareto frontier**에 위치.
- **tool calling**, **coding**, **instruction following** 평가에서 **전반적인 에이전트 능력 유지**.
- **Nex-N2-mini**, **Ornith-1.5**, **Qwen3.8-Max** 등 대형 모델과 비교해도 경쟁력 있음.
- **GPT-5.6 Sol**, **GLM-5.2** 등 대형 모델 대비 **비용 효율성**에서 우수함.
의의 및 한계
Occamy-1.0은 공동작업 에이전트의 실용성을 높이기 위해 **작은 규모 모델에서도 높은 효율성과 성능**을 달성한 사례로, **실무 중심의 훈련 전략**을 제시한다. 또한, **모델 가중치와 훈련 데이터 공개**를 통해 연구 재현성과 개선 가능성을 높였다. 그러나 **timeout robustness**, **브라우저 및 시각 상호작용**, **서브에이전트 간 학습** 등의 한계가 남아 있으며, 이는 향후 연구 주제로 제시된다.
실용적 활용
Occamy-1.0은 **다중 단계 작업**, **도구 및 파일 조작**, **구조화된 API 사용**이 필요한 산업 현장에서 활용 가능하다. 예를 들어, **자동화된 소프트웨어 개발**, **데이터 수집 및 분석 플랫폼**, **협업형 AI 어시스턴트** 등에 적용할 수 있다.