RynnUnify: Towards Unified Embodied Brain

We introduce RynnUnify, a 16B unified embodied model that combines strong embodied understanding with long-horizon visual planning through interleaved video--language reasoning. With capabilities spanning spatial reasoning, physical prediction, and grounding, RynnUnify connects an understanding of the physical world with visual anticipation of how it evolves across successive subtasks. Building on these capabilities, we further develop an agentic extension through reinforcement learning to selectively use video predictions for reasoning about unobserved states and interaction outcomes. We also develop a world-action extension of the full RynnUnify model, translating its understanding and prediction capabilities into robot control. To evaluate these capabilities, we introduce Rynn-VP and Rynn-GEU for long-horizon visual planning and anticipatory reasoning. Experiments show that RynnUnify achieves the highest average embodied understanding score among the evaluated unified multimodal models and improves the Rynn-VP overall score by 9.75 points over Cosmos 3 Nano. Its agentic extension improves the Rynn-GEU average by 6.0 points over direct reasoning, while the world-action extension achieves 51.5\% success on 20 selected composite RoboCasa365 tasks and 46.7\% average success across three real-robot tasks. Together, these results establish RynnUnify as a shared foundation for embodied understanding, visual planning, and robot control, taking a step toward a unified embodied brain.

한 줄 요약

RynnUnify는 16B 규모의 통합 체화 모델로, 비디오-언어 추론을 통해 장기적 시각 계획과 체화 이해를 결합한 체화 브레인 기반 모델이다.

핵심 기여도

RynnUnify는 16B 규모의 Mixture-of-Transformers(MoT) 아키텍처를 기반으로, 체화 이해와 장기적 시각 계획을 결합한 통합 체화 모델을 제시.
강화 학습을 통해 RynnUnify의 reasoner를 기반으로 agent를 post-train하여 비디오 생성을 활용한 미래 상태 추론을 가능하게 함.
RynnUnify를 World-Action Model(WAM)로 확장하여 로봇 제어에 적용, RoboCasa365에서 51.5% 성공률 달성.
Rynn-VP와 Rynn-GEU라는 새로운 벤치마크를 제안하여 장기적 시각 계획과 미래 상태 추론을 평가.

핵심 아이디어

RynnUnify는 체화된 인지와 시각 예측을 결합한 통합 체화 브레인을 구현하기 위해 설계되었다. 이 모델은 비디오-언어 추론을 통해 체화된 이해와 장기적 시각 계획을 연결하며, 이는 곧 여러 하위 작업에서의 시각적 예측과 상호작용 결과를 예측하는 데 기여한다. 특히, RynnUnify는 강화 학습을 통해 agent를 post-train하여, 비디오 예측을 활용한 미래 상태 추론을 가능하게 하며, 이는 기존의 직접 추론 방식보다 Rynn-GEU 평균 점수를 6.0포인트 개선하는 것으로 나타났다. 또한, WAM 확장 모델은 로봇 제어에 직접 적용되어 RoboCasa365의 복합 작업에서 51.5%의 성공률을 달성하였다.

기술적 접근법

**모델 아키텍처**: RynnUnify는 8B 규모의 autoregressive reasoner와 8B 규모의 diffusion generator로 구성된 Mixture-of-Transformers(MoT) 아키텍처를 채택.
**비디오 예측**: diffusion generator는 rectified flow를 사용하여 연속적인 시각 latent를 예측.
**비디오-언어 추론**: reasoner와 generator는 joint attention을 통해 상호작용하며, generator는 reasoner의 표현에 주의를 기울인다.
**scene memory**: cross-chunk scene memory를 도입하여 장기적 생성의 일관성과 안정성을 향상.
**강화 학습**: RynnUnify의 reasoner를 기반으로 agent를 post-train하여, 비디오 생성을 활용한 미래 상태 추론을 수행.
**WAM 확장**: latent planning과 joint video-action training을 통해 RynnUnify를 World-Action Model로 확장.

주요 결과

RynnUnify는 평가된 통합 다중모달 모델 중 가장 높은 평균 체화 이해 점수를 달성.
Rynn-VP에서 Cosmos 3 Nano 대비 9.75포인트 개선.
Rynn-GEU에서 direct reasoning 대비 6.0포인트 개선.
WAM 확장 모델은 20개의 RoboCasa365 복합 작업에서 51.5% 성공률, 3개의 실제 로봇 작업에서 46.7% 평균 성공률 달성.

의의 및 한계

RynnUnify는 체화 이해, 시각 계획, 로봇 제어를 통합하는 공통 기반으로서 체화 브레인 구현에 한 걸음 다가선 모델이다. 특히, 비디오-언어 추론을 통해 장기적 계획과 미래 상태 추론을 가능하게 함으로써 기존 모델들의 한계를 극복하였다. 그러나, RynnUnify는 여전히 장기적 생성에서의 예측 오류 누적 문제와 실제 환경에서의 일반화 능력 향상이 필요하다. 또한, Rynn-VP와 Rynn-GEU는 새로운 평가 기준이므로, 더 많은 연구와 검증이 필요하다.

실용적 활용

RynnUnify는 로봇 제어, 자율 시스템, 체화 인지 연구 등에 적용 가능하다. 특히, RoboCasa365와 같은 복합 작업 환경에서 높은 성공률을 보이며, 실제 로봇 작업에 활용할 수 있는 잠재력을 보여준다. 또한, 비디오 생성을 기반으로 미래 상태를 예측하는 기능은 자율 주행, 드론, 서비스 로봇 등 다양한 분야에서 활용될 수 있다.