RxBrain: Embodied Cognition Foundation Model with Joint Language-Visual Reasoning and Imagination

Embodied cognition requires agents to connect high-level task reasoning with the physical states to be achieved. We introduce Hy-Embodied-RxBrain, an embodied cognition foundation model with joint language-visual reasoning and imagination. Unlike vision-language models that emphasize scene understanding and textual decision making, or generative world models that mainly predict future visual states, RxBrain represents embodied plans in a single planning sequence where language and visual imagination play complementary roles. Language provides the abstract structure of a plan, including task decomposition, planning primitives, constraints, temporal order, and decision logic, while visual imagination grounds this structure through world state prediction and joint subgoal planning, associating each planning step with intermediate and final physical states. RxBrain adopts a unified multimodal Mixture-of-Transformers architecture that supports language, image, and video understanding and generation within one model. To train this capability, we build an automatic pipeline that converts embodied videos into joint text-visual planning supervision by decomposing videos into planning steps and aligning them with visual state transitions. We further introduce RxBrain-Bench to evaluate whether models can represent embodied plans through joint textual and visual components rather than separate understanding or generation. Experiments show that RxBrain maintains embodied understanding and generation abilities, and produces plans with coupled textual reasoning, world state prediction, and joint subgoal planning. We also extend RxBrain to continuous robot action generation, where it shows promising real-robot performance without large-scale action-data pretraining. These results provide an initial step toward foundation models for embodied cognition.

한 줄 요약

RxBrain은 언어-시각적 추론과 상상력을 결합한 임바디드 인지 기초 모델이다.

핵심 기여도

RxBrain은 단일 계획 시퀀스에서 언어와 시각적 상상력이 상호 보완적으로 작용하는 임바디드 인지 기초 모델을 제안.
언어는 계획의 추상적 구조를, 시각적 상상력은 세계 상태 예측과 하위 목표 계획을 담당.
통합된 멀티모달 Mixture-of-Transformers 아키텍처를 채택.
RxBrain-Bench라는 새로운 평가 벤치마크를 도입하여 언어-시각적 결합 계획 능력을 평가.

핵심 아이디어

기존의 vision-language 모델은 주로 장면 이해와 텍스트 기반 의사결정에 집중하거나, 생성 모델은 미래 시각 상태 예측에 초점을 맞추는 반면, RxBrain은 임바디드 인지에서 요구되는 고차원적 추론과 물리적 상태 간 연결을 동시에 처리한다. 언어는 계획의 추상적 구조(과제 분해, 계획 원시, 제약, 시간 순서, 결정 논리)를 제공하고, 시각적 상상력은 이 구조를 실제 세계 상태와 연결한다. 이는 단일 계획 시퀀스 내에서 언어와 시각적 요소가 협력적으로 작동함을 의미한다.

기술적 접근법

**Mixture-of-Transformers** 아키텍처를 사용하여 언어, 이미지, 동영상의 이해 및 생성을 통합.
**자동 파이프라인**을 통해 임바디드 비디오를 계획 단계로 분해하고, 시각적 상태 전이와 정렬하여 학습 데이터를 생성.
**RxBrain-Bench** 평가 벤치마크를 통해 모델이 결합된 텍스트-시각적 계획을 표현할 수 있는지 평가.

주요 결과

RxBrain은 **RxBrain-Bench**에서 결합된 텍스트-시각적 계획 표현 능력을 보여주며, 단일 모델에서 **언어 추론**, **세계 상태 예측**, **하위 목표 계획**을 동시에 수행.
**실제 로봇 액션 생성**에서도 뛰어난 성능을 보이며, 대규모 액션 데이터 사전 학습 없이도 **실제 로봇에 적용 가능**.

의의 및 한계

RxBrain은 임바디드 인지 모델링에서 언어와 시각적 요소를 통합적으로 처리하는 새로운 접근법을 제시하며, 로봇 행동 생성과 같은 실용적 분야에도 적용 가능하다. 그러나 현재는 **대규모 액션 데이터 없이도 성능을 유지하는 한계**가 있으며, **더 복잡한 환경에서의 일반화 능력**은 추가 연구가 필요하다.

실용적 활용

RxBrain은 로봇 행동 생성, 자율 시스템 설계, 인간-로봇 상호작용 등에서 활용 가능하며, 특히 **실제 환경에서의 실시간 계획 및 추론**이 필요한 상황에 적합하다.