한 줄 요약
SceneActBench는 3D 환경에서 시각 정보를 바탕으로 대리자가 행동하는 능력을 평가하는 새로운 벤치마크이다.
핵심 기여도
- 3D 환경에서 시각 조건을 기반으로 대리자가 행동하는 문제를 실행 가능한 평가 문제로 정의.
- 210개의 소스 인스턴스를 기반으로 5개의 3D 작업(Layout, Camera, Articulated, Reconstruction, Dynamic)를 제시.
- 11개의 프로퍼리어리 VLM 설정을 평가하여 전체 점수 범위 38.6–50.2를 기록.
- 개별 작업별 실패 원인을 진단하여 단순 점수 이상의 분석 제공.
핵심 아이디어
기존 3D 벤치마크는 텍스트 응답이나 단일 객체 조작에만 초점을 맞추고, 대리자가 전체 다중 객체 3D 환경에 작용하는 능력을 충분히 평가하지 못한다. SceneActBench는 이 문제를 해결하기 위해, 대리자가 PNG 이미지나 샘플된 비디오 프레임을 바탕으로 3D 환경에 작용하도록 설계된 실행 가능한 평가 프레임워크를 제시한다. 이는 기존의 3D VQA나 단일 작업 기반 평가와 달리, 대리자가 실제 3D 공간 내 여러 객체에 대한 조정된 행동을 수행해야 하는 실질적인 시험을 제공한다. 특히, 대리자는 레이아웃 재구성, 카메라 시점 조정, 가동 가능한 객체 조작, 3D 재구성, 동적 시퀀스 재현 등 다각도의 작업을 수행해야 하며, 이는 기하학적 지표를 통해 평가된다.
기술적 접근법
SceneActBench는 210개의 소스 인스턴스(100개의 가구가 있는 방, 100개의 가동 가능한 객체, 10개의 다중 객체 동적 시퀀스)를 기반으로 5개의 작업을 구성한다. 각 작업은 고정된 대리자-환경 루프(fixed agent loop)를 통해 평가되며, 최종 출력은 숨겨진 지오메트리 기준에 따라 작업별 기하학적 지표로 평가된다. 평가 대상은 11개의 프로퍼리어리 VLM 설정이며, 각 설정은 동일한 환경 루프를 거쳐 비교가 공정하게 이루어진다.
주요 결과
- 11개의 VLM 설정에서 전체 점수 범위는 38.6–50.2로 나타남.
- 어떤 설정도 모든 작업에서 일관된 성능을 보이지 않음.
- 예: Layout 작업에서 최고 점수는 62.4, Dynamic 작업에서 최저는 28.1.
- 작업별 성능 차이는 특정 능력(예: 공간 정착, 운동학적 추론)에 따라 달라짐.
의의 및 한계
SceneActBench는 3D 환경에서 대리자가 행동하는 능력을 실행 가능한 방식으로 평가함으로써, 기존 텍스트 기반 평가의 한계를 극복한다. 특히, 다중 객체 환경에서의 조정된 행동을 평가함으로써 실용적 3D 애플리케이션에 필요한 능력을 측정할 수 있다. 그러나 현재 벤치마크는 210개의 소스 인스턴스만 포함하며, 더 넓은 3D 환경이나 개방형 모델에 대한 평가는 아직 이루어지지 않았다. 또한, 실패 분석은 개별 작업 수준에서 이루어지며, 전체 시스템 수준의 일반화는 제한적이다.
실용적 활용
SceneActBench는 3D 환경에서 대리자가 물리적 객체를 조작하거나 시점/구조를 재구성해야 하는 산업(예: 로봇, 게임, AR/VR)에서 모델 성능을 평가하는 데 활용될 수 있다. 또한, 연구자들이 3D 공간 이해와 행동 능력을 개선하기 위한 알고리즘 개발에 기준을 제공한다.