PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models

We present PhysBrain 1.5, a unified model for understanding physical environments, generating actions, and predicting future states. Motivated by the physical loop of observation, interaction, and environmental change, we bring these capabilities into a common learning framework. Starting from a general vision--language model, we encode language responses, end-effector motion, and dense visual targets as discrete sequences and jointly optimize them with autoregressive next-token prediction. Pre-training draws its embodied supervision entirely from human interaction videos, using task-centered episodes to pair semantic and spatial context with recovered motion and subsequent observations. We then adapt the model through supervised fine-tuning on a mixture of human demonstrations, robot trajectories, and simulated experience. Across 28 embodied understanding benchmarks, our 8B model achieves an average score of 72.5, setting a new open-source state of the art and performing on par with leading proprietary models such as GPT-6-Astra and Gemini 3.6 Flash. It achieves the best open-source results on 14 benchmarks while retaining general multimodal capabilities. Beyond these understanding evaluations, qualitative examples show the model's ability to produce end-effector trajectories and predict future scenes through spatially aligned RGB, depth, and robot-mask outputs.

한 줄 요약

PhysBrain 1.5는 8B 규모로 28개의 체화된 평가에서 평균 72.5 점을 달성한 오픈소스 물리 기초 모델이다.

핵심 기여도

**ActionPiece 모듈**을 도입하여 종단기구 궤적을 이산 토큰으로 인코딩함.
**RGB, depth, robot-mask**를 포함한 공간 정렬된 미래 상태를 예측함.
**8B 규모**의 모델로 오픈소스 최고 성능을 달성하며, 14개 벤치마크에서 1위를 기록함.
**인간 상호작용 영상**을 기반으로 체화된 사전학습 데이터를 구축함.

핵심 아이디어

PhysBrain 1.5는 물리적 환경에서 관찰-상호작용-변화의 루프를 모델링하기 위해, 언어, 종단기구 운동, 시각적 정보를 **이산 토큰**으로 통합하고, **자기회귀적 next-token 예측**을 통해 공동 최적화한다. 이는 기존의 단일 목적 모델(예: 시각-언어 모델, 행동 생성 모델)을 통합하는 새로운 접근법이다.

기존의 체화 모델은 각기 다른 목표(예: 공간 추론, 행동 생성)를 위한 별도의 모델을 학습했지만, PhysBrain 1.5는 **공통된 토큰 기반 학습 프레임워크**를 통해 이러한 능력을 하나의 모델에서 학습한다. 특히, **ActionPiece**는 종단기구 궤적을 이산 토큰으로 인코딩하여, 언어와 시각 정보와 동일한 방식으로 처리할 수 있도록 한다.

또한, **공간 정렬된 RGB, depth, robot-mask**를 미래 상태로 예측함으로써, 모델이 물리적 환경의 변화를 시각적으로 예측할 수 있도록 한다. 이는 단순한 행동 생성을 넘어, 환경 변화에 대한 이해를 가능하게 한다.

기술적 접근법

**모델 아키텍처**: 8B 파라미터 규모의 모델로, 언어, 종단기구 궤적, 시각 정보를 공통의 **이산 토큰**으로 인코딩함.
**ActionPiece 모듈**: 종단기구 궤적을 이산 토큰으로 인코딩하여, 언어와 시각 정보와 함께 자동 회귀적 next-token 예측을 수행함.
**시각 토큰**: 미래 RGB 이미지, depth 맵, robot mask를 이산 토큰으로 표현함.
**학습 데이터**: 인간 상호작용 영상에서 추출한 **태스크 중심 에피소드**를 사용하여, 의미적, 공간적 맥락과 운동, 관찰을 결합함.
**마이크로 배치 크기**: 명시되지 않음.
**학습률**: 명시되지 않음.
**최적화 알고리즘**: 명시되지 않음.

주요 결과

**28개의 체화된 평가 벤치마크**에서 평균 72.5 점을 달성함.
**GPT-6-Astra (73.3), Gemini 3.6 Flash (73.0)**와 유사한 성능을 보이며, 오픈소스 최고 성능을 달성함.
**14개 벤치마크**에서 오픈소스 최고 성능을 달성함.
**Qwen3-VL-Instruct (8B)** 대비 모든 벤치마크에서 성능 개선됨.
**5개의 주요 범주**(시각-공간 인지, 공간 및 다시점 이해, 체화된 추론 및 계획, 공간 정착 및 기능, 시각적 추적 및 궤적 추론)에서 상위 2위를 기록함.

의의 및 한계

PhysBrain 1.5는 체화된 인지, 행동 생성, 미래 상태 예측을 하나의 모델에서 통합하는 데 성공한 첫 번째 오픈소스 모델이다. 이는 **체화된 인공지능 연구**의 발전에 중요한 기여를 하며, **로봇 행동 학습** 및 **물리적 환경 이해** 분야에서 실용적 활용 가능성을 열어준다. 특히, **인간 상호작용 영상**을 기반으로 학습함으로써, 실제 세계와 유사한 환경에서의 성능을 보장할 수 있다.

그러나, **모델 크기(8B)**가 상용 모델(예: GPT-6-Astra, Gemini 3.6 Flash)에 비해 작아, 복잡한 물리적 상황을 다루는 데 한계가 있을 수 있다. 또한, **공간 정렬된 미래 상태 예측**은 아직 완전한 정확도를 달성하지 못했으며, **복잡한 다단계 행동 생성**에 대한 평가도 부족하다.

실용적 활용

PhysBrain 1.5는 **로봇 행동 학습**, **자율 시스템 개발**, **물리적 환경 이해를 요구하는 인공지능 연구**에 활용될 수 있다. 특히, **인간-로봇 상호작용**, **자율 주행**, **공간 인지 기반의 서비스 로봇** 분야에서 실용적 적용이 가능하다.