RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment

Can vision-language models turn 2D observations into 3D understanding that supports precise action? This requires inferring object geometry, anticipating the effects of rotation, and refining actions through visual feedback. We introduce RoTA-Bench to evaluate these abilities through interactive 3D-to-2D projection alignment. Given a target silhouette, a model observes a rotated object and chooses successive rotations to recover the target projection within a limited action budget. Our automated pipeline constructs silhouette-preserving 3D objects from 2D icons and uses reversible initialization to guarantee solvability, yielding 674 tasks and a stratified 100-task test set. Empirically, we find that (i) a substantial human-model gap persists: GPT-5.6-Sol succeeds on only 17% of tasks, whereas 20 undergraduate participants collectively complete the test set four times with a 100% success rate; (ii) image-space and pose-space progress can diverge: at matched states, the model more often improves silhouette overlap while worsening pose alignment than humans (19.4% vs. 10.9%); and (iii) fine-grained control is sensitive to interaction history: removing it leaves 96.8% of the model's actions at a coarse 30-degree step size and sharply reduces observed task success. These findings highlight the challenge of converting visual evidence into precise 3D control, beyond recognizing or matching individual images.

한 줄 요약

RoTA-Bench는 2D 관측을 3D 이해로 전환하여 정밀한 행동을 지원하는 시각-언어 모델의 능력을 평가하는 대화형 투영 정렬 벤치마크이다.

핵심 기여도

RoTA-Bench는 674개의 자동 생성된 3D-2D 투영 정렬 과제와 100개의 계층적 테스트 세트를 포함한다.
GPT-5.6-Sol은 17%의 성공률을 기록하는 반면, 20명의 학부생은 100% 성공률을 달성하여 인간-모델 간 큰 격차를 드러낸다.
모델은 19.4%의 경우 실루엣 겹침을 개선하면서 자세 정렬을 악화시키는 반면, 인간은 10.9%에 그친다.
상호작용 이력이 제거되면 96.8%의 모델 행동이 30도의 조정 단계로 제한되며, 성공률이 급격히 감소한다.

핵심 아이디어

RoTA-Bench는 2D 이미지에서 3D 이해를 유도하고, 이를 정밀한 회전 행동으로 전환하는 능력을 평가하기 위해 설계되었다. 이는 인간의 공간 인지 능력과 유사한 과제를 시뮬레이션하는 데 초점을 맞춘다. 주요 아이디어는 2D 아이콘으로부터 실루엣을 보존하는 3D 객체를 생성하고, 가역 초기화를 통해 해결 가능성을 보장하는 자동 파이프라인을 도입한 것이다. 모델은 목표 실루엣을 복원하기 위해 제한된 행동 예산 내에서 회전을 선택하고, 시각 피드백을 통해 정렬을 반복적으로 개선해야 한다. 이는 단순한 이미지 인식을 넘어, 3D 공간 내 정밀한 제어 능력을 평가하는 데 기여한다.

기술적 접근법

**RoTA-Bench 파이프라인**: 2D 아이콘으로부터 실루엣 보존 3D 객체를 생성하고, 가역 회전을 통해 초기 자세를 생성한다.
**과제 구성**: 674개의 과제와 계층적 100개 테스트 세트를 포함하며, 각 과제는 제한된 행동 예산 내에서 24개의 이산 회전 중 하나를 선택하도록 요구한다.
**평가 대상**: 9개의 시각-언어 모델, 2개의 에이전트 구성, 20명의 학부생 참여자.
**회전 단계**: 30도 단위의 조정 단계가 사용되며, 상호작용 이력 제거 시 96.8%의 모델 행동이 이 단계에 제한된다.

주요 결과

**GPT-5.6-Sol**: 100개 테스트 세트에서 17% 성공률.
**인간 참여자**: 20명의 학부생이 4회 반복 실행에서 100% 성공.
**실루엣 vs 자세 정렬**: GPT-5.6-Sol은 19.4%의 경우 실루엣 겹침을 개선하면서 자세 정렬을 악화시키는 반면, 인간은 10.9%에 그침.
**상호작용 이력 영향**: 제거 시 96.8%의 모델 행동이 30도 단계로 제한되고, 성공률이 급격히 감소.

의의 및 한계

RoTA-Bench는 2D 관측을 3D 제어로 전환하는 능력을 평가하는 첫 번째 대화형 벤치마크로, 시각-언어 모델의 공간 추론 능력을 정량적으로 평가할 수 있는 도구를 제공한다. 특히, 인간-모델 간 격차와, 이미지 공간과 자세 공간의 진전이 분리될 수 있음을 밝혀내며, 정밀 제어의 중요성을 강조한다. 그러나 모델이 단일 실루엣 기반의 3D 정렬에만 초점을 맞춘다는 점에서, 더 복잡한 3D 환경이나 다물체 상호작용을 반영한 확장이 필요하다.

실용적 활용

RoTA-Bench는 로봇 제어, 증강현실(AR), 가상현실(VR) 시스템, 자율주행 차량 등에서 3D 공간 내 정밀한 행동 제어를 요구하는 분야에서 모델 평가에 활용될 수 있다. 또한, 시각-언어 모델의 공간 인지 능력을 향상시키기 위한 연구 개발에도 기초 자료로 활용 가능하다.