LabInstruct: Benchmarking Situated Instructional Video Generation for Lab Procedures

Self-driving laboratories (SDLs) aim to automate the full experimental loop, from scientific decision-making to physical execution. Ideally, AI-generated plans could be carried out directly by robotic systems, but reliable automation remains difficult in complex, open-world laboratory environments, where experiments often involve fine-grained manipulation, long-horizon procedures, and substantial variation across tasks and setups. Humans therefore remain an important execution interface between AI-generated plans and physical experiments, creating a need for clear and effective human-facing experimental guidance. Because laboratory procedures are inherently visual, spatial, and dynamic, video is particularly well suited to communicating apparatus configurations, manipulation actions, temporal dependencies, and state changes. Recent advances in video generation now make it possible to synthesize experimental demonstrations directly from an initial workspace image and a natural-language instruction. However, whether such models can reliably communicate real laboratory procedures has not been systematically studied. We introduce LabInstruct, a benchmark for situated instructional video generation in real laboratories. LabInstruct contains 204 tasks across 5 scientific disciplines, with real reference executions and structured annotations of objects, actions, contacts, and state transitions. Evaluating 8 frontier image-to-video models, we find that visually plausible generations frequently remain procedurally incorrect, revealing a substantial gap between visual realism and the reliability required for experimental instruction.

한 줄 요약

LabInstruct는 실험실 절차의 시각적 지침을 생성하는 영상 생성 모델의 신뢰성을 평가하는 벤치마크로, 204개의 과제와 8개의 최첨단 모델을 기반으로 평가한다.

핵심 기여도

LabInstruct 벤치마크를 제안하여 5개 학문 분야, 204개의 실제 실험실 과제와 구조화된 객체, 행동, 상태 전이를 포함한 레퍼런스 실행을 제공.
8개의 최첨단 이미지-비디오 생성 모델을 평가하여 시각적 사실성과 절차적 정확도 간의 괴리를 밝혀냄.
절차 인식 평가 프레임워크를 개발하여 4개의 핵심 차원 (Object Consistency, Action Fidelity, State Correctness, Physical Plausibility)을 기준으로 점수화.
3,229개의 검증된 체크리스트 항목을 생성하여 전문가 검토를 통해 신뢰성 있는 평가 기준 확보.

핵심 아이디어

실험실 절차는 시각적, 공간적, 동적인 특성을 가지므로, 텍스트나 이미지보다 동영상이 더 효과적인 지침 수단이다. 그러나 기존 영상 생성 모델은 시각적 사실성은 유지하면서도 절차적 정확도를 보장하지 못한다. 이에 따라, LabInstruct는 실험실 환경에서 생성된 영상이 실제 실험을 올바르게 수행할 수 있는지 평가하는 벤치마크를 제안한다. 이는 단순한 시각 품질 평가를 넘어, 객체 일관성, 행동 정확도, 상태 전이, 물리적 타당성 등을 기준으로 절차적 신뢰도를 측정한다. 특히, DeepSeek-v4-flash 모델을 활용해 체크리스트 항목을 생성하고, 전문가 검토를 통해 신뢰도를 높인 점이 핵심이다.

기술적 접근법

**LabInstruct 벤치마크**: 5개 학문 분야, 204개 과제, 2단계 복잡도 (Level 1: 단일 단계, Level 2: 다중 단계)로 구성.
**평가 프로토콜**: 4개의 핵심 차원 (Object Consistency, Action Fidelity, State Correctness, Physical Plausibility)과 2개의 유효성 조건 (Scene Consistency, Visual Safety)으로 평가.
**체크리스트 생성**: DeepSeek-v4-flash 모델을 사용하여 3,229개의 체크리스트 항목 생성, 전문가 검토를 통해 검증.
**인간 평가**: 4명의 평가자 (석사 2명, 박사 2명)가 동일한 체크리스트와 기준을 사용하여 영상 평가. 모델 ID는 익명 처리됨.
**평가 기준**: 각 항목은 Yes, No, Unjudgeable 중 하나로 평가. No와 Unjudgeable은 부정적 증거로 간주.

주요 결과

8개의 최첨단 이미지-비디오 생성 모델을 평가한 결과, 시각적 사실성은 유지되지만 절차적 정확도는 낮음.
Level 2 과제에서 완료율이 낮아, 장기적 절차와 상태 일관성이 주요 병목 요인.
평균적으로 Level 1 과제당 13.0개, Level 2 과제당 18.6개의 체크리스트 항목이 검증됨.
시각 안전성과 장면 일관성은 2가지 이진 유효성 조건으로, No 평가 시 해당 영상은 무효 처리됨.

의의 및 한계

LabInstruct는 실험실 환경에서 생성된 영상이 인간에게 신뢰할 수 있는 지침으로 작용하는지 평가하는 첫 번째 벤치마크로, AI-로봇 실험실 시스템과 인간의 협업을 연결하는 데 기여한다. 특히, 절차적 정확도를 측정하는 구조화된 평가 프레임워크를 제시하여, 기존 시각 품질 중심의 평가와 차별화된다. 그러나, 현재 모델은 장기적 절차와 상태 전이를 정확히 재현하지 못하며, 실험실 환경의 복잡성과 다양성에 대한 일반화 능력이 한계로 작용한다. 또한, 체크리스트 기반 평가는 주관적 판단 요소가 포함될 수 있어, 자동화된 평가 시스템과의 일관성 문제도 남는다.

실용적 활용

LabInstruct는 실험실 자동화 시스템, AI 기반 교육 플랫폼, 원격 실험 지도 등에서 인간-기계 협업을 지원하는 영상 생성 모델의 신뢰도를 평가하는 데 활용 가능하다. 특히, 과학 연구자들이 AI 생성 영상을 신뢰할 수 있는지 판단하는 데 중요한 도구가 될 수 있으며, 실험 지도 소프트웨어 개발에도 기초 자료로 사용될 수 있다.