Notes2Skills: From Lab Notebooks to Certainty-Aware Scientific Agent Skills

Scientific discovery workflows usually contain and rely heavily on lab notes, where researchers record observations, interpret uncertain results, and plan follow-up experiments. Such informative lab notes preserve evolving scientific reasoning and author uncertainty, rather than polished final results exhibited in publications, providing a valuable opportunity for AI to engage in scientific exploration at a more comprehensive and deeper level. However, most prior work on scientific text focuses on papers, protocols, or structured databases, leaving informal laboratory notes underexplored as inputs to AI agents for science. This gap matters because lab notes often intermingle validated observations, tentative judgments, and possible experimental next steps within the same passage. If these signals are conflated, an AI agent may mistake uncertain scientific judgments for confirmed conclusions or executable actions. To this end, we present Notes2Skills, a two-stage framework for turning lab notebooks into verifiable skills for scientific AI agents while preserving the author's certainty. Across seven conditions and three wet-lab sessions, Notes2Skills is the only configuration that neither mistakes uncertain notes for firm instructions nor discards firm ones. We show that certainty preservation is the missing piece between lab notebooks and reliable agent skills, opening a path toward safer AI co-scientist systems.

한 줄 요약

Notes2Skills는 실험 노트북의 작성을 기반으로 AI 에이전트가 안전하게 과학적 결정을 내릴 수 있도록, 작가의 확신을 보존하는 두 단계 프레임워크를 제시한다.

핵심 기여도

**Notes2Skills**라는 두 단계 프레임워크를 제안하여, 실험 노트북에서 AI 에이전트가 실행 가능한 **MetaSkill**을 생성.
**461개의 노트북 세그먼트**를 3개의 코퍼스(FreeNotes, ONS, WLP)에 걸쳐 **라벨링 및 검증**.
**Stage 2**에서 **149개의 고정 지시사항**을 **소스 링크된 에이전트 로드 가능한 캡슐**로 변환.
**F1 점수 0.737** 달성 (기존 제로샷 베이스라인 대비 +0.055 개선).

핵심 아이디어

기존 연구는 주로 구조화된 프로토콜이나 논문을 기반으로 했으나, 실험 노트북은 **FACT, JUDGMENT, SUGGESTION** 등 작가의 **확신 수준**을 함께 담고 있어 AI 에이전트와의 상호작용에 적합하다. 그러나 기존 시스템은 이러한 신뢰 신호를 무시하여, **"확신 세탁(Uncertainty laundering)"** 또는 **"지시 손실(Directive loss)"** 같은 실패 모드가 발생한다. Notes2Skills는 **작가의 확신이 에이전트의 행동 범위를 제한**하도록 설계되었으며, 이는 **MetaSkill**이라는 새로운 형식을 통해 구현된다. 이는 단순히 지시사항을 추출하는 것을 넘어, **각 지시사항에 확신 라벨과 암호화 링크**를 부여함으로써 **실험 데이터와의 일치 여부를 검증**할 수 있도록 한다.

기술적 접근법

**Stage 1**: 지시사항과 그 확신 라벨을 **동시 추출**.
**Stage 2**: 추출된 정보를 **MetaSkill**이라는 Markdown 형식의 스킬 문서로 컴파일.
**F1 점수 0.737** 달성 (기존 제로샷 베이스라인 0.682 대비 +0.055 개선).
**149개의 고정 지시사항**이 **FreeNotes, ONS, WLP** 세 코퍼스에 걸쳐 **소스 링크된 캡슐**로 변환됨.
**암호화 링크**를 통해 **실험 데이터와의 일치 여부**를 **Stage 2에서 검증**.

주요 결과

**FreeNotes, ONS, WLP** 세 코퍼스에서 **F1 = 0.737** 달성 (베이스라인 대비 +0.055 개선).
**Stage 2**에서 **149개의 고정 지시사항**이 **100% 소스 링크된 에이전트 로드 가능한 캡슐**로 변환됨.
**7가지 설정 중 유일하게** **확신 세탁 및 지시 손실** 실패 모드를 **모두 회피**.

의의 및 한계

Notes2Skills는 **단일 작가의 실험 노트북**을 AI 에이전트가 실행 가능한 스킬로 변환하는 **최초의 시도**이며, **작가의 확신을 보존**함으로써 **안전한 AI 협력 과학자 시스템**을 가능하게 한다. 특히, **실험 데이터와의 일치 여부를 검증**할 수 있는 **암호화 링크** 기능은 기존 시스템과 차별화된다. 그러나 현재는 **3개의 코퍼스**만 사용되었으며, **다양한 실험 환경**에서의 일반화 가능성은 추가 연구가 필요하다. 또한, **확신 라벨링 과정**은 여전히 **인공적인 라벨링에 의존**하며, 자동화된 라벨링 방법은 개선이 필요하다.

실용적 활용

Notes2Skills는 **실험 노트북 기반의 AI 협력 과학자 시스템** 구축에 활용될 수 있으며, 특히 **실험 데이터의 일관성 및 신뢰성**을 유지해야 하는 **생물학, 화학, 의학 실험** 분야에서 유용하다. 또한, **실험 기록의 디지털화 및 자동화**를 지원하는 **연구 관리 플랫폼**에도 적용 가능하다.