Onnes: A Physics-Grounded Multi-Agent LLM Simulator for Cryogenic Fault Diagnosis in Quantum Computing Infrastructure

Dilution refrigerators are the enabling infrastructure of superconducting quantum computers, yet their fault diagnosis is still dominated by threshold alarms that report that something is wrong, not what. We present Onnes, a physics-grounded digital-twin simulator of a dilution refrigerator (a forward physics model with a learned real-fridge noise fingerprint) that drives a live multi-agent LLM operations layer, and use it for a controlled head-to-head between a zero-shot LLM agent panel and a supervised ML classifier on cryogenic fault diagnosis. The twin couples a real dilution-cooling floor, a noise-and-correlation fingerprint learned from real BlueFors logs, and six physics-grounded fault classes, three engineered to overlap on temperature but separate on flow and pressure. Across a 1000-turn evaluation the zero-shot panel shows no significant difference from the classifier on detection but trails on classification, its errors concentrating on the confusable faults. Curated contrastive few-shot demonstrations and self-consistency voting then raise classification accuracy from 0.685 to 0.990, matching the supervised classifier (0.985) with no parameter updates and six labeled demonstrations; an ablation attributes the gain almost entirely to the demonstrations. Run as a continuous monitor across a nine-run fault-by-seed sweep, the agent catches every developing fault within one poll interval, and a confidence gate suppresses pre-onset false alarms whose rate is backend-dependent. As a first sim-to-real check, a detector trained purely on real BlueFors telemetry posts a real-hardware false-alarm rate of 6.4% and 100% recall on physics faults injected onto real held-out windows. All numbers are drawn verbatim from released run logs.

한 줄 요약

Onnes는 양자 컴퓨팅 인프라의 저온 결함 진단을 위해 물리 기반 디지털 트윈과 멀티에이전트 LLM을 결합한 시뮬레이터로, 0.685에서 0.990까지 정확도를 향상시킨다.

핵심 기여도

물리 기반 디지털 트윈 Onnes는 실제 BlueFors 로그에서 학습한 노이즈 및 상관관계 지문을 포함하며, 6개의 물리 기반 결함 클래스를 처리한다.
1000턴 평가에서 제로샷 LLM 에이전트 패널은 감지 정확도에서 기존 ML 분류기와 유의미한 차이가 없었으나, 분류 정확도는 0.685에서 0.990으로 향상되었다.
6개의 라벨 예시와 대비적 few-shot 데모, self-consistency voting을 통해 ML 분류기(0.985)와 동등한 성능을 달성했다.
실제 하드웨어에서 6.4%의 오경보율과 100% 재현율을 달성한 디텍터를 제시했다.

핵심 아이디어

Onnes는 제로샷 LLM 에이전트가 물리 기반 결함 진단에서 ML 분류기와 경쟁할 수 있는지 검증하기 위해 설계되었다. 기존의 임계값 기반 알람은 결함의 원인을 특정하지 못하므로, Onnes는 실제 저온 냉각 시스템의 노이즈 패턴을 학습한 디지털 트윈을 통해 더 정확한 진단을 가능하게 한다. 특히, 3개의 결함은 온도가 겹치지만 흐름과 압력에서 구분되도록 설계되어, LLM의 분류 능력을 시험한다. 이 연구는 LLM 에이전트가 추가 학습 없이도 ML과 동등한 성능을 내는지, 그리고 in-context 학습 기법이 성능 향상에 얼마나 기여하는지를 명확히 평가한다.

기술적 접근법

**Onnes 디지털 트윈**: 실제 BlueFors 로그에서 학습한 노이즈 및 상관관계 지문을 포함하며, 6개의 물리 기반 결함 클래스(3개는 온도가 겹치지만 흐름/압력에서 구분됨)를 시뮬레이션한다.
**LLM 에이전트 패널**: 5개의 에이전트가 실시간으로 작동하며, 제로샷 조건에서 평가된다.
**In-context 학습 기법**: 대비적 few-shot 데모와 self-consistency voting을 사용.
**평가 설정**: 1000턴의 시뮬레이션 평가와 9회 실행된 결함 시드 스윕을 통해 지속 모니터링 성능을 평가.
**하드웨어 테스트**: 실제 BlueFors 텔레메트리에서 학습한 디텍터가 6.4%의 오경보율과 100% 재현율을 달성.

주요 결과

**분류 정확도**: 제로샷 LLM 에이전트 패널의 정확도는 0.685에서, 대비적 few-shot 데모와 self-consistency voting을 적용한 후 0.990으로 향상됨.
**ML 비교**: ML 분류기의 정확도는 0.985로, LLM 패널과 유사한 수준.
**실제 하드웨어 성능**: BlueFors 텔레메트리 기반 디텍터는 6.4%의 오경보율과 100% 재현율을 달성.
**모니터링 성능**: 9회 실행된 결함 스윕에서 모든 결함이 1개의 폴링 간격 내에 감지됨.

의의 및 한계

Onnes는 물리 기반 디지털 트윈과 LLM 에이전트를 결합하여, 레이블이 희소한 환경에서 ML과 동등한 성능을 내는 제로샷 진단 시스템을 제시한다. 특히, in-context 학습 기법이 학습 없이도 성능 향상에 기여함을 입증하며, 이는 향후 LLM 기반 진단 시스템의 설계에 중요한 참고가 된다. 그러나 제로샷 조건에서는 분류 정확도가 낮았고, 오경보율은 백엔드에 따라 달라질 수 있다는 한계가 있다. 또한, 이 연구는 6개의 라벨 예시로 성능을 향상시켰으나, 더 많은 라벨이 필요한 상황에서는 제한적일 수 있다.

실용적 활용

Onnes는 양자 컴퓨팅 인프라의 저온 냉각 시스템에서 발생하는 드문 결함을 정확히 진단할 수 있는 시스템으로, 제로샷 조건에서도 ML과 동등한 성능을 내므로, 레이블이 희소한 산업 현장에 적합하다. 특히, few-shot 데모와 self-consistency 기법은 실제 운영 환경에서 신뢰성 있는 진단을 보장하는 데 활용될 수 있다.