Ψ-0.6: Adaptive Streams of Thought in a Unified Vision-Language World Model

Humans reason about the physical world by flexibly combining different forms of inference as a problem unfolds. Achieving this flexibility is a major open challenge in AI: capabilities often remain separated across specialized models, limiting how they can be composed and jointly adapted to a task. We introduce Ψ-0.6, a unified vision-language world model that adaptively composes perception, language, geometry, and simulation within a shared reasoning process we call streams of thought. These streams interleave images, text, and explicit representations of geometry and motion, all of which the model can generate and interpret through a shared token interface. Ψ-0.6 surpasses leading open-weight models zero-shot on multi-view spatial reasoning, with further gains from reasoning through geometric intermediates. It also supports counterfactual simulation: generating and interpreting imagined scenes to determine, for example, whether moving an object would obstruct a pathway. Reinforcement learning from task feedback jointly optimizes the selection, generation, and use of intermediate representations, improving visual question-answering accuracy with gains that transfer to unseen benchmarks. Ψ-0.6 offers a path toward adaptive physical reasoning -- not only predicting the physical world but also choosing the representations through which to reason.

한 줄 요약

Ψ-0.6은 시각-언어-기하학적 추론을 통합한 단일 모델로, 강화 학습을 통해 적응적 추론을 학습한다.

핵심 기여도

**Ψ-0.6** 모델은 시각, 언어, 기하학, 시뮬레이션을 통합한 단일 추론 프로세스인 **streams of thought**를 제안.
**MindCube** 데이터셋에서 **zero-shot 평가**에서 기존 open-weight 모델을 초과.
**강화 학습**을 통해 추론 전략을 학습하여, **4개의 미见过 벤치마크**에서 정확도 향상.
**counterfactual simulation**을 통해 상상된 장면을 생성하고 해석함으로써 물리적 세계의 결과를 예측.

핵심 아이디어

Ψ-0.6은 인간이 문제 해결 시 유연하게 추론 방식을 전환하는 능력을 모방한다. 기존 AI는 시각 인코더, VLM, 월드 모델 등이 분리되어 있어 유연한 조합이 어려웠다. Ψ-0.6은 **Probabilistic Structure Integration (PSI)** 프레임워크를 확장하여, 단일 모델 내에서 이미지, 텍스트, 기하학적 표현, 움직임을 **공유 토큰 인터페이스**로 생성하고 해석할 수 있도록 한다. 이는 **streams of thought**라는 개념으로, 추론 과정에서 다양한 표현을 교차로 사용할 수 있게 한다.

Ψ-0.6은 **강화 학습**을 통해 추론 과정을 학습한다. 즉, 어떤 표현이 유용한지, 언제 어떤 표현을 사용할지를 **task feedback**을 기반으로 학습한다. 이는 기존 VLM이 외부 도구를 고정된 블랙박스로 사용하는 것과 달리, Ψ-0.6은 내부에서 중간 표현을 생성하고 이를 추론 과정에 통합한다.

기술적 접근법

**모델 구조**: **Ψ-0.6**은 **공유 트랜스포머**를 사용하여 이미지, 텍스트, 카메라 포즈, 깊이, 광학 흐름, 포인트 트랙 등을 토큰으로 예측.
**인터페이스**: **any-to-any prompting**을 통해 다양한 표현을 조합하여 추론. 예: 이미지 쌍 → 카메라 포즈 추정, 이미지 + 포즈 → 새로운 뷰 생성.
**강화 학습**: **task feedback**을 기반으로 **representation-adaptive streams of thought**를 학습.
**Counterfactual simulation**: 예측된 장면을 생성하고 해석하여 물리적 결과를 예측.

주요 결과

**MindCube** 데이터셋에서 **zero-shot 평가**에서 기존 open-weight 모델을 초과.
**FlowBench**에서 지정된 counterfactual motion을 기반으로 **expert 모델**을 초과.
**강화 학습**을 통해 **video-only QA baseline** 대비 **평균 상대 정확도 향상**.
**4개의 미见过 벤치마크**에서 정확도 개선, **transfer learning** 성능 보임.

의의 및 한계

Ψ-0.6은 단일 모델 내에서 **다중 표현을 유연하게 조합**하고, **강화 학습을 통해 추론 전략을 학습**함으로써 AI의 물리적 추론 능력을 향상시킨다. 이는 **counterfactual simulation**, **representation-adaptive reasoning**, **zero-shot 성능** 등에서 실질적인 개선을 보여준다. 또한, **강화 학습을 통한 정책 학습**은 도메인 간 전이 가능성을 열어준다.

그러나, Ψ-0.6은 아직 **실제 로봇 데이터에 대한 학습**이 제한적이고, **proprioception 및 행동**을 통합하지 않았다는 점에서 한계가 있다. 또한, **복잡한 물리적 상호작용**을 다루는 데 있어 추가적인 연구가 필요하다.

실용적 활용

Ψ-0.6은 **로봇 공학**, **자율 시스템**, **시뮬레이션 기반 학습** 등에서 활용 가능하다. 예를 들어, 로봇이 물리적 환경을 이해하고 상호작용할 때, Ψ-0.6은 **상상된 장면을 생성**하고 **적절한 표현을 선택**하여 문제 해결 능력을 향상시킬 수 있다. 또한, **강화 학습 기반 정책**은 다양한 작업 환경에서 유연한 추론을 가능하게 한다.