RankQ: Offline-to-Online Reinforcement Learning via Self-Supervised Action Ranking

Offline-to-online reinforcement learning (RL) improves sample efficiency by leveraging pre-collected datasets prior to online interaction. A key challenge, however, is learning an accurate critic in large state--action spaces with limited dataset coverage. To mitigate harmful updates from value overestimation, prior methods impose pessimism by down-weighting out-of-distribution (OOD) actions relative to dataset actions. While effective, this essentially acts as a behavior cloning anchor and can hinder downstream online policy improvement when dataset actions are suboptimal. We propose RankQ, an offline-to-online Q-learning objective that augments temporal-difference learning with a self-supervised multi-term ranking loss to enforce structured action ordering. By learning relative action preferences rather than uniformly penalizing unseen actions, RankQ shapes the Q-function such that action gradients are directed toward higher-quality behaviors. Across sparse reward D4RL benchmarks, RankQ achieves performance competitive with or superior to seven prior methods. In vision-based robot learning, RankQ enables effective offline-to-online fine-tuning of a pretrained vision-language-action (VLA) model in a low-data regime, achieving on average a 42.7% higher simulation success rate than the next best method. In a high-data setting, RankQ improves simulation performance by 13.7% over the next best method and achieves strong sim-to-real transfer, increasing real-world cube stacking success from 43.1% to 84.7% relative to the VLA's initial performance.

📋 한 줄 요약

**[강화학습 / VLA]** 오프라인-온라인 RL에서 행동 클로닝 앵커가 정책 향상을 막는 문제를 해결하기 위해, 자기지도 다항 랭킹 손실로 행동 간 상대 순서를 학습하는 RankQ를 제안한다.

🎯 핵심 기여도

시간차(TD) 학습에 자기지도 다항 랭킹 손실을 추가해 행동 순서 구조를 강제하는 새로운 오프라인-온라인 Q-러닝 목적함수 RankQ 제안
OOD 행동을 일률적으로 페널티 주는 대신 상대적 행동 선호를 학습하여 Q-함수가 더 나은 행동 방향으로 기울도록 유도
희소 보상 D4RL 벤치마크에서 7개 기존 방법과 동등 이상의 성능 달성
사전학습된 VLA(Vision-Language-Action) 모델을 저데이터 영역에서 효과적으로 오프라인-온라인 파인튜닝

💡 핵심 아이디어

기존 비관주의 기반 오프라인 RL은 OOD 행동을 일률적으로 누른 결과 BC 앵커처럼 작동하여 데이터셋 행동이 차선일 때 향상을 막는다. RankQ는 절대적 비관주의 대신 행동 간 상대 순서를 학습하여 그래디언트가 항상 더 좋은 행동 쪽으로 향하도록 한다.

🔬 기술적 접근법

**모델/방법론**: TD 학습 위에 자기지도 다항 랭킹 손실을 결합한 Q-러닝 목적함수, 비전 기반 로봇 학습에서는 사전학습 VLA 모델 위에 적용
**핵심 기법**: 행동들 간 페어/그룹 랭킹 일관성을 자기지도 신호로 강제하여 Q-함수가 더 나은 행동에 더 높은 값을 할당하도록 학습

📊 주요 결과

희소 보상 D4RL 벤치마크: 7개 기존 방법 대비 동등 이상의 성능
저데이터 시뮬레이션 로봇 환경: 차순위 방법 대비 평균 +42.7% 성공률 향상
고데이터 시뮬레이션 환경: 차순위 방법 대비 +13.7% 향상
실제 큐브 쌓기(sim-to-real) 성공률: VLA 초기 43.1% → 84.7%

💭 의의 및 한계

**의의**: 오프라인-온라인 RL의 고질적 BC 앵커 문제를 우아하게 우회하며, 특히 VLA 같은 거대 사전학습 모델을 적은 데이터로 미세조정하는 실용적 레시피를 제시한다. **한계**: 랭킹 손실의 하이퍼파라미터 민감도와 보상이 풍부한 환경에서의 이점이 명확하지 않으며, 큐브 쌓기 등 비교적 단순한 조작 과제로 검증 범위가 한정된다.

🚀 실용적 활용

가정용 로봇의 시연 데이터 기반 파인튜닝 후 실환경 적응
산업 자동화에서 사전수집된 로그 데이터를 활용한 정책 부트스트랩
VLA 기반 범용 로봇 모델의 도메인 적응(sim-to-real) 파이프라인