한 줄 요약
WorldScore는 3D, 4D, 영상 생성 모델을 포함한 다양한 월드 생성 접근법을 통합 평가하는 첫 번째 벤치마크이다.
핵심 기여도
- WorldScore 벤치마크를 제안하여 3D, 4D, I2V, T2V 모델을 통합 평가 가능하게 함.
- 3,000개의 테스트 예제로 구성된 다채로운 데이터셋을 제공 (실내/실외, 정적/동적, 광학실감/스타일화).
- WorldScore 메트릭을 도입하여 월드 생성의 제어성, 품질, 동적성 3가지 측면을 평가.
- 19개 모델 평가를 통해 각 모델 범주에서의 주요 통찰과 도전 과제를 제시.
핵심 아이디어
기존 월드 생성 평가 시스템은 주로 단일 장면 생성에 초점을 맞추고, 공간적 레이아웃 제어나 카메라 트래젝토리와 같은 요소를 고려하지 못하였다. WorldScore는 월드 생성을 "다음 장면 생성" 작업으로 분해하고, 각 단계에서 (현재 장면, 다음 장면, 레이아웃) 트리플릿을 사용하여 통합 평가를 가능하게 한다. 이는 카메라 매트릭스와 텍스트 설명을 포함한 명확한 레이아웃 명세를 통해 3D, 4D, 영상 생성 모델 모두를 평가할 수 있도록 설계되었다. 특히, 모든 모델은 동일한 출력 형식인 렌더링된 영상으로 평가되어 비교가 용이하다는 점이 핵심이다.
기술적 접근법
- **WorldScore 벤치마크**: 3,000개의 테스트 예제로 구성된 데이터셋.
- **평가 메트릭**: 제어성, 품질, 동적성 3가지 측면으로 총 10개의 메트릭을 사용.
- **평가 모델**: 19개 모델 평가 (5개 I2V, 7개 T2V, 6개 3D, 1개 4D).
- **입력 형식**: 각 단계에서 현재 장면(이미지 + 텍스트), 레이아웃(카메라 매트릭스 + 텍스트) 제공.
- **출력 형식**: 렌더링된 영상으로 평가, 모든 모델 간 비교 가능.
주요 결과
- **Gen-3, Hailuo** 등 2개의 클로즈드-소스 I2V 모델 포함, 19개 모델 평가.
- **3D 생성 모델**은 정적 월드 생성에서 우수하지만, 4D 표현 및 동적성 확장에는 어려움.
- **영상 생성 모델**은 제어성, 장거리 시퀀스 생성, 실외 장면 생성에서 주요 도전.
- **WorldScore 점수**는 각 모델의 장단점을 명확히 드러내며, 개선 방향을 제시.
의의 및 한계
WorldScore는 다양한 월드 생성 접근법을 통합 평가할 수 있는 첫 번째 벤치마크로, 연구자들이 모델 성능을 비교하고 개선 방향을 설정하는 데 유용한 도구가 될 수 있다. 특히, 3D와 4D 표현 간의 격차 해소, 제어 메커니즘 강화, 장거리 시퀀스 처리 능력 개선 등의 연구 방향을 명확히 제시한다. 그러나 현재 데이터셋은 3,000개의 예제로 제한적이며, 더 다양한 환경과 시나리오를 포함하는 확장이 필요하다.
실용적 활용
WorldScore는 게임 개발, VR/AR, 시뮬레이션, 교육 콘텐츠 제작 등에서 사용자 지정 월드 생성 시스템의 평가에 활용될 수 있다. 또한, AI 기반 월드 생성 기술의 발전을 측정하고, 산업적 적용 가능성 평가에 기여할 수 있다.