Many robot manipulation videos do not indicate whether the task was successfully completed. RoboJev-27B is an open-weight vision-language model that takes a task instruction, 10 frames of a manipulation attempt, and (if available) final frames from auxiliary cameras and predicts whether the robot accomplished the task. RoboJev-27B is a variant of JEV-27B-VL, trained with a rank-32 LoRA adapter on the language model only (keeping the vision encoder frozen) using 52,598 episode records. It also uses a source-specific KL penalty that applies only to research data, anchoring predictions closer to the original model on those sources. It uses a calibrated two-token readout that outputs success/failure probabilities in a single forward pass. On 268 held-out episodes of the same robot model (SO-101), RoboJev-27B attains 95.2% balanced accuracy and 0.993 AUROC. It also generalises to episodes collected by unseen labs/robots (AUROC = 0.890 over 459 episodes) as well as to clearly labelled community-collected episodes (accuracy = 93.3% over 135 episodes), where the base model attains an AUROC = 0.900 on the unseen-lab/robot subset with the same inputs. It takes 0.26 seconds per episode (median, serial) to infer on a single H100, which is about \0.19 per 1,000 success predictions at 2.69 per GPU-hour (not including media processing and serving costs). RoboJev-27B is released together with its inference code, along with a transparent evaluation: 20,628 predictions organized into 29 model/protocol entries are made available to facilitate browsing and to enable reproducible benchmarking of success detection. We also compare against strong API-based frontier VLMs, which take in fewer input frames (4 images from the primary camera only); note that this comparison is not strictly like-for-like because RoboJev-27B is given more frames at inference.
한 줄 요약
RoboJev-27B는 로봇 조작 영상의 성공 여부를 판단하는 오픈소스 비전-언어 모델로, SO-101 데이터셋에서 95.2%의 balanced accuracy를 달성한다.
핵심 기여도
- RoboJev-27B는 JEV-27B-VL에 rank-32 LoRA 어댑터를 적용한 모델로, 52,598개의 episode로 fine-tuning됨.
- source-specific KL penalty를 사용해 연구 데이터에 대한 예측을 원본 모델에 가깝게 유지.
- 두 토큰을 사용한 calibrated readout으로 성공/실패 확률을 단일 forward pass로 출력.
- SO-101 데이터셋에서 95.2% balanced accuracy, 0.993 AUROC 달성.
핵심 아이디어
기존 로봇 조작 영상은 성공 여부를 명시하지 않아 평가가 어려웠다. RoboJev는 이러한 문제를 해결하기 위해 task instruction과 10개의 주 카메라 프레임, 보조 카메라의 마지막 프레임을 입력으로 받아 성공 여부를 판단한다. 기존 방법은 각 환경에 맞는 분류기를 따로 구축해야 했지만, RoboJev는 plug-and-play 방식으로 재사용 가능하다. 이는 입력이 정의되어 있고, 일관된 프롬프트 프로토콜을 사용하기 때문이다. 또한, 모델은 true/false 토큰을 지정된 위치에서 점수를 매기며, 설명을 생성하지 않아 오류 로그도 검증 가능하다.
기술적 접근법
- **모델**: RoboJev-27B는 JEV-27B-VL에 rank-32 LoRA 어댑터를 적용한 모델.
- **학습 데이터**: 52,598개의 episode로 fine-tuning.
- **비전 인코더**: 학습 중 동결(frozen).
- **어댑터 적용 대상**: language model에만 적용.
- **KL penalty**: 연구 데이터에만 적용되는 source-specific KL penalty.
- **출력**: calibrated two-token readout를 사용해 성공/실패 확률을 단일 forward pass로 출력.
- **입력 프레임**: 10개의 주 카메라 프레임 + 보조 카메라의 마지막 프레임 (dense-v1 프로토콜).
주요 결과
- **SO-101 데이터셋**: 95.2% balanced accuracy, 0.993 AUROC.
- **미학습 환경 (unseen-lab/robot)**: 459 episode에서 0.890 AUROC (base model: 0.900 AUROC).
- **커뮤니티 데이터**: 135 episode에서 93.3% accuracy.
- **추론 속도**: 단일 H100 GPU에서 0.26초/episode (median, serial).
- **비용**: 2.69 USD/GPU-hour (1,000개 예측당 약 0.19 USD).
의의 및 한계
RoboJev-27B는 로봇 성공 판단을 자동화하고, 평가 큐와 학습 종료 보상에 활용할 수 있는 도구로, open-weight 모델로서 투명성과 재사용성을 제공한다. 특히, 20,628개의 예측 결과와 29개의 모델/프로토콜 항목을 공개함으로써 재현 가능한 벤치마킹을 가능하게 한다. 그러나 학습 데이터와 다른 도메인에서 성능이 약간 떨어지는 한계가 있으며, 4개 프레임만 사용하는 API 기반 모델과의 비교는 입력 프로토콜 차이로 인해 정확하지 않다.
실용적 활용
RoboJev-27B는 로봇 정책 평가, 학습 종료 판단, 실패 분석 등 다양한 연구 및 산업 현장에서 활용 가능하다. 특히, open-weight 및 투명한 평가 프로토콜을 통해 연구자들이 모델의 신뢰도를 검증하고, 실패 사례를 분석하는 데 유용하다.