Visual-RFT: Visual Reinforcement Fine-Tuning

Reinforcement Fine-Tuning (RFT) in Large Reasoning Models like OpenAI ol learns from feedback on its answers, which is especially useful in applications when fine-tuning data is scarce. Recent open-source work like DeepSeekR1 demonstrates that reinforcement learning with verifiable reward is possibly one key direction in reproducing o1. While the R1-style model has demonstrated success in language models, its application in multi-modal domains remains under-explored. This work introduces Visual Reinforcement Fine-Tuning (Visual-RFT), which further extends the application areas of RFT on visual tasks. Specifically, Visual-RFT first uses Large Vision-Language Models (LVLMs) to generate multiple responses containing reasoning tokens and final answers for each input, and then uses our proposed visual perception verifiable reward functions to update the model via the policy optimization algorithm such as Group Relative Policy Optimization (GRPO). We design different verifiable reward functions for different perception tasks, such as the Intersection over Union (IoU) reward for object detection. Experimental results on fine-grained image classification, few-shot object detection, reasoning grounding, as well as open-vocabulary object detection benchmarks show the competitive performance and advanced generalization ability of Visual-RFT compared with Supervised Fine-tuning (SFT). For example, Visual-RFT improves accuracy by 24.3 % over the baseline in one-shot fine-grained image classification with around 100 samples. In few-shot object detection, Visual-RFT also exceeds the baseline by 21.0 on COCO's 4-shot setting and 15.4 on LVIS. Our Visual-RFT represents a paradigm shift in fine-tuning LVLMs, offering a data-efficient, rewarddriven approach that enhances reasoning and adaptability for domain-specific tasks.

한 줄 요약

Visual-RFT는 시각 인식 작업에서 데이터 효율적인 강화 학습 기반 미세 조정을 제안하여 SFT 대비 24.3%의 정확도 향상을 달성한 연구이다.

핵심 기여도

Visual-RFT를 제안하여 GRPO 기반 강화 학습을 시각 인식 작업에 확장.
객체 탐지에 IoU 기반 가시적 보상 함수를 설계.
100개 샘플의 one-shot 설정에서 24.3%의 정확도 향상.
COCO 4-shot 설정에서 21.9%, LVIS에서 15.4%의 성능 개선.

핵심 아이디어

기존 RFT는 수학 및 코드 생성과 같은 명확한 정답이 있는 작업에 주로 적용되었으나, Visual-RFT는 이를 시각 인식 작업으로 확장했다. 이는 LVLM이 여러 응답을 생성하고, 각 작업에 맞는 가시적 보상 함수(IoU, 정확도 등)를 통해 정책 최적화 알고리즘인 GRPO를 활용하는 방식이다. 이 접근은 데이터가 제한된 환경에서도 모델이 스스로 시도와 오류를 통해 최적의 결과를 도출하도록 유도한다. 예를 들어, 객체 탐지 작업에서는 IoU 기반 보상 함수를 사용하여 정확도를 향상시키는 동시에, 정량적 평가를 가능하게 한다.

기술적 접근법

**모델**: Large Vision-Language Models (LVLMs)를 사용.
**알고리즘**: Group Relative Policy Optimization (GRPO)를 기반으로 정책 최적화 수행.
**보상 함수**: 작업별로 설계된 rule-based verifiable reward 함수 적용 (예: 객체 탐지에 IoU 기반 보상).
**데이터**: fine-grained image classification, few-shot object detection, reasoning grounding, open-vocabulary object detection 작업에서 실험.
**하이퍼파라미터**: 명시되지 않음.

주요 결과

**fine-grained image classification**: 100개 샘플의 one-shot 설정에서 24.3%의 정확도 향상.
**few-shot object detection**: COCO 4-shot 설정에서 21.9%, LVIS에서 15.4% 개선.
**open-vocabulary object detection**: COCO 새로운 클래스에서 mAP 9.8 → 31.3, LVIS 희귀 클래스에서 2.7 → 20.7 향상.
**SFT 대비 성능**: 모든 작업에서 SFT 기반 모델보다 뛰어난 성능을 보임.

의의 및 한계

Visual-RFT는 LVLM의 미세 조정 패러다임을 데이터 확장을 기반으로 한 SFT에서 보상 함수 설계로 전환시켰다. 이는 데이터가 제한된 환경에서 모델의 추론 능력과 적응력을 향상시키는 데 기여한다. 또한, 가시적 보상 함수는 수작업 라벨링의 필요성을 줄이고, 보상 계산을 간소화하여 연구 및 실용성 모두에서 유리하다. 그러나, 현재는 특정 작업에 맞춘 보상 함수 설계가 수동적이라는 점에서 한계가 있으며, 보다 자동화된 보상 함수 생성 기법이 필요할 수 있다.

실용적 활용

Visual-RFT는 데이터가 제한된 산업 현장에서의 시각 인식 작업, 예를 들어 의료 영상 분석, 드론 기반 감시, 희귀 객체 탐지 등에 적용 가능하다. 또한, 연구 분야에서는 few-shot learning, open-vocabulary detection 등에서의 모델 성능 향상을 위한 기반 기술로 활용될 수 있다.