ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory

Recent VLM and VLA systems have improved robotic perception and action prediction, yet long-horizon embodied agents still require a general runtime layer for reasoning, memory, tool use, verification, and cross-embodiment execution. We present ABot-AgentOS, a general robotic Agent Operating System that sits above low-level controllers and provides a deliberative agent layer for scene-conditioned planning, context-isolated skill execution, multi-stage verification, multi-modal memory, and edge-cloud collaboration. To evaluate such systems, we introduce EmbodiedWorldBench, an executable benchmark with 16 indoor, outdoor, and hybrid scenes, four difficulty levels, and over 200 tasks involving navigation, object search, NPC dialogue, dynamic events, and trace-grounded scoring. ABot-AgentOS further introduces Universal Multi-modal Graph Memory, a persistent source-grounded substrate that converts dialogue, visual observations, spatial context, temporal relations, and task traces into typed nodes and edges. A failure-driven self-evolution loop converts diagnosed memory failures into gated runtime evo-assets that are promoted only to later evaluation splits, preventing current-split ground-truth leakage while enabling continual improvement. On an initial EmbodiedWorldBench subset, ABot-AgentOS improves over a single-controller baseline in both task success and goal completion. Across memory benchmarks, ABot-AgentOS Static achieves 87.5 on LoCoMo, 59.9 on OpenEQA EM-EQA, 88.6 on Mem-Gallery, and 76.5 Acc@All on NExT-QA; self-evolution further improves LoCoMo to 88.7, OpenEQA to 60.4, and Mem-Gallery to 89.0. These results suggest that a general Agent OS layer can improve long-horizon embodied execution while providing persistent, auditable memory for continual interaction.

한 줄 요약

ABot-AgentOS는 장기적 상호작용을 지원하는 다중 모달 메모리와 실행 계층을 결합한 일반적인 로봇 에이전트 운영체제이다.

핵심 기여도

**ABot-AgentOS**: VLM과 로봇 컨트롤러 위에 위치한 일반적인 에이전트 운영체제로, 장기적 실행, 메모리, 도구 사용, 검증, 교차-체제 실행을 지원한다.
**EmbodiedWorldBench**: 16개의 실내/외/혼합 환경, 4단계 난이도, 200개 이상의 태스크를 포함한 실행 가능한 벤치마크를 제시한다.
**Universal Multi-modal Graph Memory**: 대화, 시각 관찰, 공간 맥락, 시간 관계, 작업 추적을 타입화된 노드와 엣지로 변환하는 지속적 메모리 구조를 도입한다.
**Self-evolution loop**: 실패 진단을 기반으로 런타임 자산을 생성하여 지속적인 개선을 가능하게 하며, LoCoMo에서 88.7, OpenEQA에서 60.4, Mem-Gallery에서 89.0의 성능을 달성한다.

핵심 아이디어

ABot-AgentOS는 기존 VLM과 VLA 시스템이 단기적 인지와 실행에 집중하는 반면, 장기적 실행과 지속적 메모리가 필요한 문제를 해결하기 위해 설계되었다. 이 시스템은 **Universal Multi-modal Graph Memory**를 통해 대화, 시각, 공간, 시간 정보를 구조화된 그래프로 저장하고, 이를 토대로 **Verification-aware ReAct**와 **Skill Evolvement**를 통해 실행 과정을 검증하고 지속적으로 개선한다. 특히, 실패를 진단하고 이를 런타임 자산으로 전환하는 **failure-driven self-evolution loop**는 기존 시스템에서 부족했던 지속적 학습과 개선 메커니즘을 제공한다.

기술적 접근법

**ABot-AgentOS 아키텍처**: VLM과 로봇 컨트롤러 사이에 위치한 에이전트 운영체제로, **Context Management**, **Skill Runner**, **Verification-aware ReAct**, **Skill Evolvement** 등의 모듈로 구성된다.
**Edge-Cloud 협력 LLM 아키텍처**: **Tiny LLM**이 에지에서 실시간 처리를 담당하고, 복잡한 추론은 클라우드 기반 **Large LLM**이 수행한다.
**Multi-modal Memory System**: **Edge-side private memory**와 **Cloud-side common memory**로 나뉘며, 개인화 정보와 공유 지식을 각각 저장한다.
**Skill Evolvement**: 실패 진단을 통해 생성된 런타임 자산은 추후 평가 세트에만 적용되어, 현재 세트의 지식 유출을 방지한다.

주요 결과

**EmbodiedWorldBench**에서 ABot-AgentOS는 단일 컨트롤러 기반 시스템보다 **Task Success Rate (TSR)**과 **Goal Completion Rate (GCR)**에서 개선된 성능을 보인다.
**LoCoMo**에서 87.5 → 88.7, **OpenEQA EM-EQA**에서 59.9 → 60.4, **Mem-Gallery**에서 88.6 → 89.0의 성능 향상이 관찰된다.
**NExT-QA**에서는 76.5 Acc@All을 달성하며, 메모리 기반 추론 능력이 뛰어난 것으로 나타난다.

의의 및 한계

ABot-AgentOS는 장기적 실행과 지속적 메모리를 요구하는 로봇 에이전트 시스템의 설계 기반을 제공하며, **Universal Multi-modal Graph Memory**와 **self-evolution loop**를 통해 기존 시스템의 한계를 극복한다. 특히, **EmbodiedWorldBench**는 다양한 환경과 태스크를 아우르는 체계적인 평가 프레임워크로, 로봇 에이전트 연구의 표준화에 기여할 수 있다. 그러나, 현재 시스템은 특정 VLM과 LLM에 의존적이며, **cross-embodiment 실행**의 확장성과 **실시간 성능**에 대한 구체적인 평가가 부족하다는 한계가 있다.

실용적 활용

ABot-AgentOS는 인공지능 로봇이 다양한 환경에서 지속적으로 상호작용하고, 작업을 완료해야 하는 산업 현장, 예를 들어, **스마트 팩토리**, **서비스 로봇**, **재난 대응 시스템** 등에 적용 가능하다. 특히, **NPC 대화**, **동적 이벤트 처리**, **다중 단계 추론**이 필요한 상황에서 유용하며, **개인화된 로봇 서비스**와 **집단 지능 기반 로봇 네트워크** 구축에도 활용될 수 있다.