RL-VLM-F: Reinforcement Learning from Vision Language Foundation Model Feedback

Reward engineering has long been a challenge in Reinforcement Learning (RL) research, as it often requires extensive human effort and iterative processes of trial-and-error to design effective reward functions. In this paper, we propose RL-VLM-F, a method that automatically generates reward functions for agents to learn new tasks, using only a text description of the task goal and the agent's visual observations, by leveraging feedbacks from vision language foundation models (VLMs). The key to our approach is to query these models to give preferences over pairs of the agent's image observations based on the text description of the task goal, and then learn a reward function from the preference labels, rather than directly prompting these models to output a raw reward score, which can be noisy and inconsistent. We demonstrate that RL-VLM-F successfully produces effective rewards and policies across various domains - including classic control, as well as manipulation of rigid, articulated, and deformable objects - without the need for human supervision, outperforming prior methods that use large pretrained models for reward generation under the same assumptions. Videos can be found on our project website: https://rlvlmf2024.github.io/

한 줄 요약

RL-VLM-F는 VLM 피드백을 활용해 텍스트와 시각 관측만으로 강화 학습 보상을 자동 생성하는 방법이다.

핵심 기여도

RL-VLM-F는 텍스트 목표 설명과 시각 관측만으로 강화 학습 보상을 자동 생성한다.
VLM을 활용해 이미지 쌍에 대한 선호도 라벨을 생성하고, 이를 기반으로 보상 함수를 학습한다.
기존 방법 대비 정성적 성능이 우수하며, 다양한 도메인(경직된, 조인트, 변형 가능한 객체 조작)에서 실험적으로 검증됨.
PEBBLE 알고리즘과 결합하여 오프폴리시 학습을 수행.

핵심 아이디어

RL-VLM-F는 강화 학습에서 보상 설계의 주요 과제인 **인공 지능에 의한 보상 엔지니어링** 문제를 해결하기 위해, **시각 언어 기초 모델**(VLM)을 활용한 **자동 보상 생성** 방법을 제안한다. 기존 연구는 VLM을 직접 보상 점수를 생성하도록 사용했으나, 이는 노이즈와 불일치가 발생할 수 있다. RL-VLM-F는 대신, **이미지 쌍에 대한 선호도**(preference)를 VLM으로부터 얻어, 이를 기반으로 **보상 함수를 학습**한다. 이는 **인간 선호도 기반 강화 학습**(preference-based RL)의 이론을 활용하면서도, 실제 인간 참여 없이도 보상을 자동 생성할 수 있다는 점에서 혁신적이다. 핵심 통찰은, **VLM이 이미지 비교를 직접 수행함으로써**, 정확한 텍스트 기반 상태 설명 없이도 복잡한 작업(예: 변형 가능한 객체 조작)에서도 보상을 생성할 수 있다는 점이다.

기술적 접근법

**입력**: 작업 목표의 텍스트 설명과 에이전트의 시각 관측 이미지
**VLM 활용**: GPT-4V, Gemini 등과 같은 VLM을 사용해 이미지 쌍에 대한 선호도 라벨을 생성
**보상 함수 학습**: Bradley-Terry 모델 기반의 손실 함수를 사용하여 선호도 라벨로 보상 함수를 최적화
**알고리즘**: PEBBLE(Preference-based RL with unsupervised pre-training and off-policy learning) 알고리즘을 기반으로 정책과 보상 함수를 번갈아 업데이트
**프롬프트 전략**: 두 단계 프롬프팅(분석 단계 → 라벨링 단계)을 사용하여 VLM의 정확도 향상
**학습 절차**:

1. 정책 π_θ와 보상 함수 r_ψ를 무작위로 초기화
2. RL을 통해 정책을 업데이트하고, 환경과 상호작용한 이미지를 버퍼에 저장
3. 버퍼에서 이미지 쌍을 무작위로 추출하고, VLM을 통해 선호도 라벨 생성
4. 생성된 라벨을 사용해 보상 함수를 업데이트

주요 결과

**7개 작업**(Open Drawer, Soccer, Sweep Into, Straighten Rope 등)에서 실험 수행
**4개 작업**(Open Drawer, Soccer, Sweep Into, Straighten Rope)에서 **두 단계 프롬프팅 전략**이 단일 단계 프롬프팅 대비 **성공률이 더 높음**
기존 방법 대비 **정성적 성능 우수**
**인간 감독 없이**도 다양한 도메인에서 효과적인 보상 및 정책 생성 가능
**VLM 기반 보상 생성** 방식 중 가장 높은 성능을 보임

의의 및 한계

RL-VLM-F는 강화 학습에서 보상 설계의 주요 과제인 **인간의 반복적 노력**을 제거하고, **자동화된 보상 생성**을 가능하게 한다는 점에서 학술적·실용적 의의가 있다. 특히, **복잡한 작업**(예: 변형 가능한 객체 조작)에서도 **정확한 텍스트 설명 없이**도 보상을 생성할 수 있다는 점에서 기존 방법과 차별화된다. 또한, **VLM의 선호도 기반 학습**을 통해 노이즈와 불일치를 줄이는 데 성공했다는 점도 주목할 만하다.

한편, 한계점으로는 **VLM의 질과 프롬프팅 전략**에 따라 성능이 크게 달라질 수 있다는 점이 있다. 또한, **장기적 작업**(long-horizon tasks)에 대한 실험은 아직 수행되지 않았으며, **더 복잡한 작업**에서는 추가적인 연구가 필요하다.

실용적 활용

RL-VLM-F는 **로봇 조작**, **자율 시스템**, **산업 자동화** 등에서 **인간 감독 없이도 보상을 자동 생성**할 수 있는 실용적 활용이 가능하다. 특히, **복잡한 물체 조작**(예: 유연한 물체, 조인트 구조)과 같은 작업에서 기존 방법 대비 **높은 유연성과 정확도**를 제공할 수 있다. 또한, **VLM 기반 시스템**이 발전함에 따라, 더 복잡한 작업에 적용될 잠재력이 있다.