ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence

Training a spatial VLM to answer which side an object lies on does not require it to preserve the metric displacement that determines that answer, while supervision for a distance estimate may leave categorical relations largely unconstrained. When post-training emphasizes one readout, improvements can therefore concentrate on that interface while transfer to others remains weak or even degrades; we call this observed specialization interface lock-in. ChronoReplay addresses it by replaying heterogeneous spatial supervision as chronologically ordered episodes, retaining source-native targets, and balancing supervision across families. Under the same observation access, a single ChronoReplay checkpoint improves OVO-S-Bench, OST-Bench, and UCS-Bench together, including a 13.41-point gain on OST-Bench, and achieves the highest three-benchmark mean among the supervision settings compared here. Same-data controls further separate the ingredients of this transfer: answer serialization redistributes gains across OST and UCS, family-balanced learning improves over ordinary joint SFT and natural turn weighting, and chronological replay exceeds a shifted-order control by about 2.41 OST points across two paired seeds. Adaptive frame selection then changes evidence access while keeping the trained model fixed, providing an additional inference-time gain at lower visual cost. Streaming spatial performance depends on what distinctions supervision preserves, how heterogeneous histories are organized during learning, and what causal evidence inference makes available at test time.

한 줄 요약

ChronoReplay는 단일 응답 인터페이스에 의존하는 공간 VLM 학습의 한계를 극복하기 위해 이질적 감독을 순차적 에피소드로 재현하는 방법을 제안한다.

핵심 기여도

**Interface lock-in**이라는 현상을 발견: 단일 감독 패밀리 학습은 특정 응답 인터페이스에만 개선이 집중되고, 다른 인터페이스로의 전이가 약하거나 저하됨.
**ChronoReplay**는 이질적 감독을 순차적 에피소드로 재현하며, OST-Bench에서 13.41 포인트 개선.
**Family-balanced learning**과 **Causal Replay construction**를 통해 OST, UCS, OVO-S 벤치마크를 동시에 개선.
**Adaptive frame selection**을 통해 추론 시 추가 성능 향상과 시각적 비용 감소를 달성.

핵심 아이디어

기존 공간 VLM 학습은 단일 응답 형식(예: 범주형, 거리, 시간)에 초점을 맞추어, 다른 형식으로의 전이가 제한된다. 예를 들어, 범주형 감독만 사용하면 OST-Bench 성능이 50.52에서 47.48로 저하되며, 이 현상을 **interface lock-in**으로 명명하였다. 이는 단일 인터페이스 학습이 모델의 전이 능력을 제한한다는 통찰을 제공한다.

ChronoReplay는 두 가지 핵심 아이디어로 이를 해결한다. 첫째, **family-balanced learning**은 범주형, 거리, 시간 등 각 인터페이스의 원본 형식을 유지하면서 학습을 균형 있게 진행한다. 둘째, **Causal Replay construction**는 감독 데이터를 생성 시점의 순서를 유지한 채 재현하여, 각 응답이 유효한 전역적 맥락(chronological prefix)과 함께 학습되도록 한다. 이는 시간적 일관성을 유지하면서 모델이 다양한 인터페이스를 통합적으로 학습하도록 돕는다.

기술적 접근법

**Family-balanced learning**: 두 감독 패밀리(범주형, 거리/시간)를 각각의 원본 형식(option semantics, units, timestamp)로 유지하고, 단일 손실 함수에서 균형 있게 학습.
**Causal Replay construction**: 감독 데이터를 생성 순서대로 재현하며, 각 타겟을 유효한 causal prefix와 함께 학습.
**Adaptive frame selection**: 추론 시 필요한 프레임만 선택적으로 접근하여, 시각적 비용을 낮추고 성능을 추가 향상.
**OST-Bench, UCS-Bench, OVO-S-Bench**에서 실험 수행.
**OST-Bench**에서 13.41 포인트, **UCS-Bench**에서 7.44 포인트, **OVO-S-Bench**에서 4.91 포인트 개선.
**Cyclic-shift control** 실험에서 순서 유지가 2.41 OST 포인트 개선 기여.

주요 결과

**OST-Bench**: 13.41 포인트 개선 (베이스라인 대비 +13.41)
**UCS-Bench**: 7.44 포인트 개선
**OVO-S-Bench**: 4.91 포인트 개선
**L4 subset**에서 OVO-S 5.01 포인트 개선
**Cyclic-shift control** 실험에서 순서 유지가 2.41 OST 포인트 기여
**Family-balanced learning**이 일반적인 joint SFT보다 성능 향상
**Adaptive frame selection**이 추론 시 추가 성능 향상과 시각적 비용 감소 제공

의의 및 한계

ChronoReplay는 단일 인터페이스 학습의 한계(interface lock-in)를 극복하고, 범주형, 거리, 시간 인터페이스를 모두 통합적으로 학습할 수 있는 간단한 레시피를 제시한다. 이는 공간 지능 모델이 다양한 유형의 질의에 대응할 수 있도록 하며, 실제 로봇이나 스트리밍 시스템에서 유용할 수 있다.

하지만, 모든 공간 하위 범주에서 우위를 차지하지는 못하며, 특정 인터페이스(예: OVO-S)에서는 기존 대규모 모델(235B)과 수치적으로 유사한 성능만 달성한다. 또한, 학습 효과는 감독 데이터의 질과 순서에 크게 의존하며, 이는 데이터 접근성과 관련된 한계로 작용할 수 있다.

실용적 활용

ChronoReplay는 홈 로봇, 자율 주행 시스템, AR/VR 등에서 실시간 공간 인지와 질의 처리가 필요한 상황에 적용 가능하다. 특히, 단일 모델로 범주형, 거리, 시간 인터페이스를 모두 처리할 수 있어, 복잡한 시스템 구축을 간소화하고, 추론 비용을 낮출 수 있다.