PIVOT: Iterative Visual Prompting Elicits Actionable Knowledge for VLMs

Vision language models (VLMs) have shown impressive capabilities across a variety of tasks, from logical reasoning to visual understanding. This opens the door to richer interaction with the world, for example robotic control. However, VLMs produce only textual outputs, while robotic control and other spatial tasks require outputting continuous coordinates, actions, or trajectories. How can we enable VLMs to handle such settings without fine-tuning on task-specific data? In this paper, we propose a novel visual prompting approach for VLMs that we call Prompting with Iterative Visual Optimization (PIVOT), which casts tasks as iterative visual question answering. In each iteration, the image is annotated with a visual representation of proposals that the VLM can refer to (e.g., candidate robot actions, localizations, or trajectories). The VLM then selects the best ones for the task. These proposals are iteratively refined, allowing the VLM to eventually zero in on the best available answer. We investigate PIVOT on real-world robotic navigation, real-world manipulation from images, instruction following in simulation, and additional spatial inference tasks such as localization. We find, perhaps surprisingly, that our approach enables zero-shot control of robotic systems without any robot training data, navigation in a variety of environments, and other capabilities. Although current performance is far from perfect, our work highlights potentials and limitations of this new regime and shows a promising approach for Internet-Scale VLMs in robotic and spatial reasoning domains. Website: pivot-prompt.github.io and HuggingFace: https://huggingface.co/spaces/pivot-prompt/pivot-prompt-demo.

한 줄 요약

PIVOT는 VLM을 사용한 시각적 반복 프롬프팅을 통해 로봇 제어 및 공간 추론을 제로샷으로 수행하는 새로운 접근법이다.

핵심 기여도

PIVOT이라는 반복적 시각 프롬프팅 방법을 제안하여 VLM이 공간적 출력을 추출할 수 있도록 함.
GPT-4와 Gemini 모델을 사용하여 로봇 제어, 객체 재배치, 지점 추정 등 다양한 공간적 작업에 적용.
제로샷 환경에서 로봇 제어가 가능함을 실증 (로봇 훈련 데이터 없이).
반복 최적화 과정을 통해 정확도 향상 가능성을 보여줌.

핵심 아이디어

VLM은 텍스트만 출력하는 한계로 인해 로봇 제어와 같은 공간적 작업에 적용하기 어려웠다. PIVOT은 이 문제를 해결하기 위해 반복적 시각 프롬프팅을 도입한다. 각 반복 단계에서 이미지에 후보 제안(예: 로봇 동작, 경로, 위치)을 시각적으로 표시하고, VLM이 이를 기반으로 최적의 선택을 수행하도록 유도한다. 이 과정은 반복 최적화 방식으로, 후보 집합을 점차 좁혀가며 정확도를 높인다. 이는 크로스-엔트로피 방법과 유사한 반복 최적화 프레임워크를 사용한다. 핵심 통찰은 VLM이 직접 정밀한 공간 출력을 생성하기는 어렵지만, 여러 후보 중 최선을 선택하는 능력은 뛰어나다는 점이다.

기술적 접근법

**PIVOT 알고리즘**: 반복적 시각 프롬프팅을 통해 VLM이 후보 제안(예: 번호 매긴 화살표)을 평가하고 선택하도록 유도.
**반복 최적화**: 각 반복에서 후보 집합을 개선하여 더 정밀한 선택 가능.
**VLM 사용**: GPT-4, Gemini 모델을 사용하며, 추가 훈련 없이 사용.
**시각적 제안**: 이미지에 번호 매긴 키포인트나 화살표로 표현.
**하이퍼파라미터**: 명시되지 않음.

주요 결과

**로봇 제어**: 제로샷 환경에서 로봇 제어 가능 (로봇 훈련 데이터 없이).
**객체 재배치**: 시뮬레이션 환경에서 객체 재배치 성공.
**지점 추정**: 키포인트 로컬라이제이션 작업에서 정확도 향상.
**GPT-4 vs. Gemini**: Gemini 모델이 더 높은 성능을 보임 (명시된 수치 없음).
**반복 횟수**: 반복 최적화를 통해 성능 향상 (정확도 향상 비율 명시되지 않음).

의의 및 한계

PIVOT은 VLM을 기반으로 한 제로샷 공간 추론의 가능성을 보여주며, 로봇 제어와 같은 복잡한 작업을 텍스트 기반 프롬프팅으로 해결할 수 있음을 입증한다. 특히, 로봇 훈련 데이터 없이도 제어가 가능하다는 점에서 실용적 가치가 크다. 그러나 현재 VLM의 3D 이해력 부족, 시각적 일반화 한계 등이 성능을 제한한다. 또한, 반복 최적화 과정이 시간 소요가 크고, 정확도는 여전히 완벽하지 않다. 이는 더 나은 VLM의 개발이나 특정 작업에 맞춘 미세 조정이 필요함을 시사한다.

실용적 활용

PIVOT은 로봇 제어, 시뮬레이션 환경에서의 지시 수행, 객체 재배치, 키포인트 추정 등 다양한 공간적 작업에 적용 가능하다. 특히, 로봇 훈련 데이터 없이도 제어가 가능하므로, 빠른 프로토타이핑이나 다목적 로봇 시스템 개발에 유용할 수 있다. 또한, VLM 기반 시스템이 물리적 세계와 상호작용하는 방식을 확장하는 데 기여할 수 있다.