ACE-Brain-0.6: Scaling Spatial Grounding for Physical Foundation Models

General-purpose multimodal models, including GPT-6 Astra and Claude Opus 5.5, demonstrate broad capabilities in embodied manipulation. Our analysis indicates that this generality is accompanied by strong spatial perception, as Astra can determine where to interact with task-relevant entities amid visual distractors. Because spatial perception connects high-level reasoning to the physical scene, we investigate scaling visual grounding to strengthen the perceptual foundation of general embodied operation. We develop a unified data pipeline that combines robot manipulation recordings with complementary visual data from diverse sources. After automatically annotating the robot recordings, the pipeline converts the collected data into verifiable grounding supervision. Fine-tuning Qwen3.5-9B on approximately 1.5 million samples produced by this pipeline yields ACE-Brain-0.6. The model outperforms GPT-6 Astra on four of seven public grounding benchmarks, with an overall average score of 75.41 compared with Astra's 73.68. Under a fixed Qwen3.5-9B fine-tuning setup, aggregate grounding performance improves steadily as successive data releases expand the training collection to cover a broader range of grounding scenarios. These results show that scaling verifiable grounding supervision from diverse sources can strengthen the spatial perception of an open 9B model for general embodied operation.

한 줄 요약

ACE-Brain-0.6은 1.5백만 개의 검증 가능한 지도 데이터로 훈련되어 GPT-6 Astra를 7개 벤치마크 중 4개에서 초과하는 9B 스케일의 시각-언어 모델이다.

핵심 기여도

**ACE-Brain-0.6 모델**: Qwen3.5-9B 기반으로 1.5백만 개의 샘플로 fine-tuning하여 7개 공개 벤치마크에서 GPT-6 Astra를 4개에서 초과함.
**데이터 파이프라인**: 로봇 조작 기록과 다양한 시각 데이터를 결합하고 자동 주석을 통해 검증 가능한 지도 데이터를 생성함.
**데이터 스케일링 실험**: 동일한 훈련 설정에서 샘플 수와 지도 범위 확장이 성능 향상에 기여함. 1.5백만 샘플에서 Astra 평균 점수(73.68)를 75.41로 상회함.

핵심 아이디어

ACE-Brain-0.6은 시각-언어 모델의 공간 인지 능력을 향상시키기 위해 **검증 가능한 지도**(verifiable grounding supervision)의 규모와 범위를 확장하는 전략을 채택한다. GPT-6 Astra는 시각적 방해 요소가 있는 환경에서도 작업 관련 객체를 정확히 위치시킬 수 있지만, 정밀한 공간 요구 조건에서는 오류가 발생한다는 점을 분석하였다. 이에 ACE-Brain-0.6은 **로봇 조작 기록**(robot manipulation recordings)과 **다양한 시각 데이터**(egocentric, object-centric, spatial data)를 결합하여 **자동 주석**(automatic annotation)을 통해 **질문-답변 형식의 지도 데이터**(question–answer supervision)를 생성한다. 이는 모델이 자연어 쿼리에 따라 이미지 내 객체를 정확히 식별하고, 위치 정보를 생성하도록 훈련하는 데 기여한다.

기술적 접근법

**모델**: Qwen3.5-9B를 기반으로, 언어 모델 파라미터는 fine-tuning하고, 시각 인코더는 고정함.
**문제 정의**: 모든 지도 작업을 조건부 텍스트 생성 문제로 정의. 출력 형식은 점, 상자, 정수, 범주 토큰 등 5가지로, 좌표는 [0, 1000] 범위의 정수로 정규화됨.
**데이터 파이프라인**: 30개 이상의 로봇 데이터셋과 보완 시각 데이터를 결합. 로봇 기록은 자동 주석을 통해 객체 레벨 라벨을 생성하고, 모든 데이터는 질문-답변 형식으로 변환됨.
**훈련 레시피**: 단일 에포크로 fine-tuning. 샘플 수와 지도 범위가 확장될수록 성능이 로그-선형적으로 향상됨.

주요 결과

**7개 공개 벤치마크 평균 점수**: ACE-Brain-0.6은 75.41 (GPT-6 Astra: 73.68)로, 4개 벤치마크에서 Astra를 초과함.
**로봇 시나리오 벤치마크**: ACE-Brain-0.6은 93.4점 (Astra: 91.1점)을 기록함.
**데이터 스케일링 효과**: 샘플 수가 1.5백만 개에 도달할 때, 평균 성능이 Astra를 상회하며, 기존 데이터만 추가하는 경우 성능 향상이 1점 미만임.

의의 및 한계

ACE-Brain-0.6은 9B 스케일의 오픈 모델이 GPT-6 Astra와 유사한 수준의 공간 인지 능력을 달성할 수 있음을 보여준다. 특히, **다양한 출처의 검증 가능한 지도 데이터**를 확장함으로써 성능을 향상시킬 수 있음을 실증적으로 입증하였다. 그러나 **모든 인스턴스를 열거**(multi-instance enumeration)하거나 **3차원 공간에서의 배치**(feasibility-aware placement)는 2차원 지도 데이터로는 충분히 표현되지 않아, 이는 데이터 한계로 인한 성능 저하 요인으로 남는다.

실용적 활용

ACE-Brain-0.6은 로봇 조작, 자율 시스템, AR/VR 등 시각-언어 인식이 필요한 산업 분야에서 활용 가능하다. 특히, **자동 주석 기반의 데이터 생성 파이프라인**은 대규모 지도 데이터를 효율적으로 확보할 수 있는 실용적 접근법을 제시한다.