EmbodiedSkills: A Unified Framework for Orchestrating, Training, and Deploying VLA Agents

Vision-language-action (VLA) models map visual observations and language instructions directly to robot actions, but long-horizon tasks require more than action prediction. An agent must coordinate perception, planning, execution, progress verification, and recovery as the physical state evolves. An action prediction or a model-generated skill decision does not, by itself, guarantee that the proposed operation is valid in the current state or that its outcome will be verified. We propose EmbodiedSkills, a unified framework that treats each skill decision as an execution proposal: the runtime checks its prerequisites before execution and verifies the outcome afterward. A shared executable-skill interface connects high-level skill selection, bounded low-level VLA execution, and post-action verification within a single agent loop. Because this interface remains fixed, low-level VLA policies can be replaced or adapted without changing the agent loop. The interface also records planning, execution, verification, and recovery events as structured trajectories, which provide supervision for individual components and can support optional online adaptation when interactive feedback is available. We instantiate EmbodiedSkills with Qwen3-VL and OpenPI/pi0.5 on RoboTwin 2.0 and LIBERO. Task-adapted low-level VLA policies achieve an average success rate of 86.20% across 50 RoboTwin 2.0 tasks and 97.40% across the four LIBERO suites. These results establish the execution performance of the task-adapted low-level VLA policies used in EmbodiedSkills. On four memory-dependent RMBench tasks, the same task-adapted execution approach achieves 12.5% average success. The framework provides a trainable and inspectable agent layer for turning these policies into closed-loop embodied systems.

한 줄 요약

EmbodiedSkills는 VLA 정책을 닫힌 루프 에이전트로 변환하는 실행-검증-복구 프레임워크로, RoboTwin 2.0에서 86.20% 성공률을 달성한다.

핵심 기여도

EmbodiedSkills는 실행 전 필수 조건 검증과 실행 후 결과 검증을 포함한 실행-검증-복구 루프를 제안.
Qwen3-VL과 OpenPI/π0.5를 기반으로 RoboTwin 2.0에서 86.20%의 평균 성공률 달성.
LIBERO 4개 스위트에서 97.40%의 성공률 기록.
실행-검증-복구 과정을 구조화된 트래젝토리로 기록하여 개별 성분 학습 및 온라인 적응 가능.

핵심 아이디어

EmbodiedSkills는 단순히 행동을 예측하는 VLA 모델을 넘어, 실행 가능한 스킬(decision)을 실행 제안(execution proposal)으로 처리하는 프레임워크를 제시한다. 이는 실행 전 필수 조건(prerequisites)을 런타임에서 검증하고, 실행 후 결과를 검증함으로써, 물리적 상태 변화에 따라 신뢰성 있는 실행을 보장한다. 예를 들어, "컨테이너를 접시 위에 놓는다"는 지시는 단순한 행동 예측이 아닌, 객체 인식, 하위 목표 선택, 실행 가능성 평가, 실행, 결과 검증, 실패 시 복구라는 일련의 과정을 필요로 한다. EmbodiedSkills는 이러한 과정을 AgentLoop라는 닫힌 루프 내에서 반복적으로 처리하며, 각 스킬은 타입화된 입력/출력과 명시적 필수 조건을 갖는다. 이는 VLA 정책이 실행 전에 유효성 검증을 받고, 실행 후 결과가 명시적으로 추적될 수 있도록 한다.

기술적 접근법

**AgentLoop**: 관찰, 하위 목표 계획, 실행 전 검증, 실행, 진행 검증, 복구를 반복하는 닫힌 루프.
**Skill 인터페이스**: 고수준 정책, 저수준 VLA 정책, 실행 결과 검증을 연결하는 공통 인터페이스.
**실행 전 검증**: 실행 가능한 스킬의 상황 적합성, 입력 유효성, 상태 전이 가능성 검증.
**실행 후 검증**: 실행 결과를 기반으로 다음 결정에 반영.
**트래젝토리 기록**: 다중 모달 컨텍스트, 실행 결과, 오류, 상태 전이 등을 공통 스키마로 기록.
**모델 구성**: Qwen3-VL 기반 에이전트 구성 요소와 OpenPI/π0.5 기반 저수준 VLA 정책 사용.

주요 결과

RoboTwin 2.0에서 50개 작업에 대해 86.20%의 평균 성공률 (LingBot-VA의 82.74% 대비 +3.46%).
LIBERO 4개 스위트에서 97.40%의 평균 성공률 (OpenPI 기준 96.85% 대비 +0.55%).
RMBench 4개 메모리 의존 작업에서 12.5%의 평균 성공률.
실행-검증-복구 루프를 통해 실패 원인을 추적 가능하며, 개별 성분 학습 가능.

의의 및 한계

EmbodiedSkills는 VLA 정책을 닫힌 루프 에이전트로 변환하는 구조화된 프레임워크로, 실행 전 검증과 실행 후 검증을 통해 신뢰성을 높인다. 구조화된 트래젝토리 기록은 개별 성분 학습 및 온라인 적응을 가능하게 하며, 실용적 배포를 위한 기반을 제공한다. 그러나 RMBench에서 12.5%의 낮은 성공률은 메모리 의존 작업에서의 한계를 드러내며, 이는 추가적인 메모리 모듈 또는 장기적 상태 추적 기법의 필요성을 시사한다. 또한, 현재는 Qwen3-VL과 OpenPI/π0.5에만 적용되었으며, 다른 VLA 모델과의 호환성 검증이 필요하다.

실용적 활용

EmbodiedSkills는 로봇이 복잡한 장기 작업을 수행하는 산업 현장, 특히 물리적 환경에서 신뢰성 있는 실행이 필요한 자율 로봇 시스템에 적용 가능하다. 또한, 로봇 개발자들이 VLA 정책을 쉽게 교체하거나 조정하면서도 실행 구조를 유지할 수 있어, 다양한 로봇 플랫폼에 유연하게 배포할 수 있다.