AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security
Dongrui Liu, Yu Li, Zhonghao Yang, Peng Wang, Guanxu Chen, Yuejin Xie, Qinghua Mao, Wanying Qu, Yanxu Zhu, Tianyi Zhou, Leitao Yuan, Zhijie Zheng, Qihao Lin, Yimin Wang, Haoyu Luo, Shuai Shao, Chen Qian, Qingyu Liu, Ling Tang, Ruiyang Qin, Qihan Ren, Junxiao Yang, Kun Wang, Zhiheng Xi, Linfeng Zhang, Ranjie Duan, Bo Zhang, Wenjie Wang, Wen Shen, Qiaosheng Zhang, Yan Teng, Chaochao Lu, Rui Mei, Man Li, Jialing Tao, Xi Lin, Tianhang Zheng, Yong Liu, Quanshi Zhang, Lei Zhu, Xingjun Ma, Junhua Liu, Hui Xue, Xiaoxiang Zuo, Xiangnan He, Chao Shen, Xianglong Liu, Minlie Huang, Jing Shao, Xia Hu
arXiv:2605.29801 · 2026-05-29 공개 · arXiv · PDF
rl-training openclaw codex lightweight-models alignment-framework agent-safety sft-training guardrail-system
Abstract
Modern open-world agents such as OpenClaw exhibit powerful cross-environment execution capabilities yet introduce broad new safety risk sources. Meanwhile, advanced frontier AI models drastically lower attack barriers, rendering current agent alignment frameworks inadequate for real-world deployment. To tackle these emerging threats, we propose a lightweight and scalable agent safety alignment framework. Specifically, we update the agent safety taxonomy to accommodate emergent risks from Codex and OpenClaw execution scenarios. We further build a taxonomy-guided data engine with influence-function purification to train lightweight AgentDoG 1.5 variants (0.8B, 2B, 4B, and 8B parameters) using only around 1k samples, achieving comparable performance with leading closed-source models (e.g., GPT-5.4). Based on AgentDoG 1.5, we construct a highly efficient agentic safety SFT and RL training environment, which reduces deployment overhead in Docker-level environments by two orders of magnitude. Finally, we deploy AgentDoG 1.5 as a training-free online guardrail for real-time safety moderation. Extensive experimental results indicate that AgentDoG 1.5 achieves state-of-the-art performance in diverse and complex interactive agentic scenarios. All models and datasets are openly released.
한국어 요약
📋 한 줄 요약
**[AI 에이전트 안전성 / Alignment]** AgentDoG 1.5가 업데이트된 안전 taxonomy·influence-function purification으로 1k 샘플 만으로 0.8B~8B 변종 학습, 폐쇄 GPT-5.4 급 성능·Docker 배포 비용 2 자릿수 절감·온라인 training-free guardrail 배포.
🎯 핵심 기여도
- OpenClaw 같은 modern open-world agent가 강력 cross-environment 실행 능력을 보이지만 광범위 새 안전 risk 도입 — 동시에 frontier AI 모델이 공격 장벽을 급격히 낮춰 현 에이전트 alignment 프레임워크가 실세계 배포에 부적합함을 진단.
- 이 신흥 위협 대응 위해 lightweight·확장 가능한 에이전트 안전 alignment 프레임워크 제안.
- 에이전트 안전 taxonomy를 업데이트해 Codex·OpenClaw 실행 시나리오의 emergent risk 수용. Taxonomy-guided data engine을 influence-function purification으로 구성해 약 1k 샘플로 lightweight AgentDoG 1.5 변종(0.8B·2B·4B·8B parameter) 학습 — 폐쇄 GPT-5.4 등 leading 폐쇄 소스 모델과 비견 성능 달성.
- AgentDoG 1.5 기반 highly efficient agentic 안전 SFT·RL 학습 환경 구축, Docker-level 환경의 배포 overhead를 두 자릿수 감소. AgentDoG 1.5를 training-free 온라인 guardrail로 배포 — 실시간 안전 moderation.
💡 핵심 아이디어
모던 open-world 에이전트의 안전 alignment는 거대 모델 의존을 버리고 업데이트된 taxonomy + influence-function 정제 데이터(약 1k 샘플)로 경량 모델(0.8B~8B)을 학습한 뒤 training-free 온라인 guardrail로 배포하는 것이 효과·효율·확장성 모두를 충족한다.
🔬 기술적 접근법
- **방법론**: AgentDoG 1.5 — 업데이트 taxonomy + taxonomy-guided data engine + influence-function purification.
- **핵심 기법**: (1) Codex·OpenClaw 실행 시나리오 emergent risk 반영해 안전 taxonomy 업데이트, (2) Taxonomy-guided data engine + influence-function purification으로 약 1k 샘플 정제, (3) 0.8B·2B·4B·8B 4 변종 학습, (4) Docker-level 효율적 SFT·RL 학습 환경 구축으로 배포 overhead 2 자릿수 감소, (5) Training-free 온라인 guardrail로 실시간 moderation 배포.
📊 주요 결과
- 1k 정도 샘플만으로 폐쇄 GPT-5.4 수준 성능 달성.
- Docker-level 배포 overhead 2 자릿수 감소.
- 다양·복잡 interactive agentic 시나리오에서 SOTA.
- 모든 모델·데이터셋 공개.
💭 의의 및 한계
**의의**: 모던 open-world 에이전트의 안전 위협을 경량 모델·소수 샘플로 대응 가능함을 입증, training-free guardrail로 실시간 moderation, 오픈 소스로 생태계 기여. **한계**: 업데이트 taxonomy의 미래 emergent risk 커버리지 한계, 1k 샘플의 long-tail 위협 표현력, 폐쇄 모델 비교의 평가 환경 의존.
🚀 실용적 활용
- 실시간 AI 에이전트 안전 guardrail.
- 경량 SFT·RL 안전 학습 표준.
- 산업 에이전트 배포의 보안 layer.