Do Vision-Language-Models show human-like logical problem-solving capability in point and click puzzle games?

Vision-Language(-Action) Models (VLMs) are increasingly applied to interactive environments, yet existing benchmarks often overlook the complex physical reasoning required for point-and-click puzzle games. This paper introduces Vision-Language Against The Incredible Machine (VLATIM), a benchmark designed to evaluate human-like logical problem-solving capabilities within the classic physics puzzle game The Incredible Machine 2 (TIM). Unlike existing benchmarks, VLATIM specifically targets the critical gap between high-level logical reasoning and continuous action spaces requiring precise mouse interactions. This benchmark is structured into five progressive parts, assessing capabilities that range from basic visual grounding and domain understanding to multi-step manipulation and full puzzle solving. Our results reveal a significant disparity between reasoning and execution. While large proprietary models demonstrate superior planning abilities, they struggle with precise visual grounding. Consequently, they do not yet show human-like problem-solving capabilities.

📋 한 줄 요약

**[VLM / 벤치마크]** 클래식 물리 퍼즐 게임 The Incredible Machine 2를 활용해 VLM의 논리적 추론과 정밀 마우스 조작 능력을 5단계로 평가하는 VLATIM 벤치마크를 도입하고, 대형 모델도 시각 grounding에서 약함을 보인다.

🎯 핵심 기여도

포인트앤클릭 물리 퍼즐 게임 환경에서 VLM의 인간 유사 논리 문제 해결 능력을 평가하는 VLATIM 벤치마크 신설
시각 grounding, 도메인 이해, 멀티스텝 조작, 전체 퍼즐 풀이까지 5단계 진보형 구조 설계
고차원 논리 추론과 연속적 행동 공간(정밀 마우스) 사이의 격차를 명시적 평가 축으로 분리
대형 독점 모델은 계획 능력은 우수하나 정밀 시각 grounding에서 일관되게 어려움을 겪음을 실증

💡 핵심 아이디어

기존 VLM 벤치마크는 정적 이미지나 텍스트 답변 위주로, 실제 환경처럼 "추론한 다음 정확한 위치를 클릭"해야 하는 격차를 평가하지 못한다. 물리 퍼즐 게임은 계획과 정밀 조작이 동시에 필요하므로 둘을 분리해서 측정하기에 이상적이다.

🔬 기술적 접근법

**모델/방법론**: The Incredible Machine 2 환경 위에 5단계 진보형 평가 프로토콜 설계
**핵심 기법**: 기본 시각 grounding → 도메인 이해 → 다단계 조작 → 전체 퍼즐 풀이로 능력을 분해 평가, 대형 독점 VLM과 오픈 모델을 동일 조건에서 비교

📊 주요 결과

대형 독점 VLM은 계획·논리 추론에서 강한 성능
그러나 정밀 시각 grounding 단계에서 일관되게 어려움
결과적으로 인간 수준 문제 해결 능력에는 아직 미달함을 정량적으로 확인
추론과 실행 사이의 큰 격차(disparity) 실증

💭 의의 및 한계

**의의**: 차세대 에이전트가 데스크톱·게임·웹 UI를 조작할 때 가장 큰 병목이 "추론은 가능하나 정확한 위치를 클릭하지 못함"이라는 점을 명확히 보여주며, VLA(Vision-Language-Action) 연구가 정밀 grounding에 집중해야 함을 시사한다. **한계**: 단일 게임 환경에 한정되며 평가 모델 수가 제한적이고, 한 게임 도메인에 특화된 결과가 다른 GUI/실세계 조작에 그대로 일반화되는지는 추가 검증이 필요하다.

🚀 실용적 활용

VLA 모델의 GUI 조작 능력 진단용 표준 벤치마크
컴퓨터 사용 에이전트(computer-use agent) 평가 도구
게임 AI·접근성 도구에서 정밀 포인팅 능력 평가