CarryOn: A Dual-Loop Harness for Personalized and Reliable Robot Assistance

While generalist vision-language-action (VLA) models have enabled diverse open-world manipulation, real-world robotic assistance requires two critical capabilities they currently lack: personalization and reliable execution. First, executing an instruction like "make me a sandwich" requires grounding subtask decomposition in persistent user preferences rather than relying on a single generic solution. Second, reliable deployment demands explainable safety assurance that proactively prevents hazards and gracefully recovers from occasional physical failures. To address these gaps, we present CarryOn, a dual-loop harness designed to augment a frozen VLA policy. The planning loop maintains persistent user-level and scene-level context that is continually grounded against new observations and revised through interaction, enabling personalized task selection and execution grounding across conversations and changing scenes. The execution loop actively supervises policy rollouts, shielding actions from predicted hazardous contact. When execution fails, the system invokes reusable control-based recovery skills that restore task progress and are refined through reflection on earlier failures. On a real robot and in simulation, CarryOn dispatches preference-consistent subtasks across users and scenes, reduces the violation rate of an already safety-finetuned VLA from 52.6% to 6.1%, and increases recovery success from 13% to 80% when refined skills are reused.

한 줄 요약

CarryOn은 개인화된 로봇 지원을 위해 계획 및 실행 루프를 결합한 이중 루프 허네스를 제시하며, 안전 위반률 52.6% → 6.1%, 복구 성공률 13% → 80% 향상.

핵심 기여도

**이중 루프 허네스 (CarryOn)**: 계획 루프와 실행 루프를 결합하여 개인화된 작업 선택과 안전한 실행을 지원.
**개선된 안전성**: Safety-finetuned VLA 모델의 위반률을 52.6%에서 6.1%로 감소.
**복구 성공률 향상**: 반복 학습을 통해 복구 성공률 13% → 80% 증가.
**동적 기억 업데이트**: 대화와 관찰을 통해 사용자 및 환경 맥락을 지속적으로 수정.

핵심 아이디어

CarryOn은 일반적인 VLA 모델이 개인화 및 신뢰성 있는 실행을 지원하지 못한다는 문제를 해결하기 위해 **이중 루프 허네스**를 제안한다. 첫 번째 루프인 **계획 루프 (planning loop)**는 사용자 및 환경 맥락을 지속적으로 유지하고, 새로운 관찰과 대화를 통해 업데이트하여 작업 선택과 실행을 개인화한다. 두 번째 루프인 **실행 루프 (execution loop)**는 정책 실행을 감시하며, 위험한 접촉을 예측하여 방지하고 실패 시 재사용 가능한 복구 기술을 호출한다. 특히, 실패 경험을 기반으로 복구 기술을 반복적으로 개선함으로써 **80%의 복구 성공률**을 달성한다. 이는 기존 VLA 모델의 고정된 정책을 유지하면서도 실행 신뢰도를 향상시키는 핵심 아이디어이다.

기술적 접근법

**이중 루프 허네스 (CarryOn)**:
**계획 루프**: 사용자 맥락 (user context)과 환경 맥락 (scene context)을 저장하고, 관찰과 대화를 통해 업데이트.
**실행 루프**: VLA 정책 실행을 감시하며, **지오메트릭 쉴딩 (geometric shielding)**으로 위험한 접촉을 방지.
**복구 기술 (recovery skills)**: 실패 시 재사용 가능한 제어 기반 복구 기술을 호출하고, 실패 경험을 기반으로 반복적으로 개선.
**데이터셋**: 실제 로봇 및 시뮬레이션 환경에서 실험.
**수치**: 복구 성공률 13% → 80%, 위반률 52.6% → 6.1%.

주요 결과

**개인화된 작업 실행**: 다양한 사용자와 환경에서 **preference-consistent subtasks**를 실행.
**안전성 향상**: Safety-finetuned VLA 모델의 위반률 52.6% → 6.1% 감소.
**복구 성공률 향상**: 반복 학습을 통해 복구 성공률 13% → 80% 증가.
**실행 실패 시 복구**: 실패 시 **control-based recovery skills** 호출, 이후 반복 학습으로 성능 개선.

의의 및 한계

CarryOn은 로봇이 사용자 선호와 환경 변화를 반영하면서도 안전하고 신뢰성 있게 실행할 수 있는 체계적인 허네스를 제시한다. 특히, **개인화된 작업 선택**과 **실행 실패 시 복구**를 결합한 점에서 학술적·실용적 가치가 높다. 그러나, 현재 연구는 **단일 VLA 정책**을 기반으로 하며, 장기적인 사용자-로봇 상호작용에서의 **맥락 유지 능력**이나 **복잡한 환경에서의 확장성**은 추가 연구가 필요하다. 또한, 실험은 특정 시뮬레이션 및 실제 환경에 제한되며, 다양한 로봇 플랫폼에서의 적용 가능성도 검증이 필요하다.

실용적 활용

CarryOn은 **가정용 로봇**, **의료 지원 로봇**, **산업용 로봇** 등에서 사용자 맞춤형 작업을 안전하게 수행하는 데 활용 가능하다. 특히, **개인화된 서비스 요청** (예: 식단 선호 반영) 및 **실행 중 장애 복구**가 필요한 상황에서 유용하며, **사전 예방적 안전 조치**와 **실패 후 복구**가 요구되는 산업 분야에 적합하다.