Abstract
Many deployments must compare candidate language models for safety before a labeled benchmark exists for the relevant language, sector, or regulatory regime. We formalize this setting as benchmarkless comparative safety scoring and specify the contract under which a scenario-based audit can be interpreted as deployment evidence. Scores are valid only under a fixed scenario pack, rubric, auditor, judge, sampling configuration, and rerun budget. Because no labels are available, we replace ground-truth agreement with an instrumental-validity chain: responsiveness to a controlled safe-versus-abliterated contrast, dominance of target-driven variance over auditor and judge artifacts, and stability across reruns. We instantiate the chain in SimpleAudit, a local-first scoring instrument, and validate it on a Norwegian safety pack. Safe and abliterated targets separate with AUROC values between 0.89 and 1.00, target identity is the dominant variance component ($η^2 \approx 0.52$), and severity profiles stabilize by ten reruns. Applying the same chain to Petri shows that it admits both tools. The substantial differences arise upstream of the chain, in claim-contract enforcement and deployment fit. A Norwegian public-sector procurement case comparing Borealis and Gemma 3 demonstrates the resulting evidence in practice: the safer model depends on scenario category and risk measure. Consequently, scores, matched deltas, critical rates, uncertainty, and the auditor and judge used must be reported together rather than collapsed into a single ranking.
한국어 요약
📋 한 줄 요약
**[LLM 안전성 평가]** 라벨이 없는 환경에서 LLM 안전성을 비교 평가하기 위한 도구 타당성 체인을 정식화하고 SimpleAudit으로 노르웨이어 안전성 비교에 적용했다.
🎯 핵심 기여도
- 벤치마크가 없는 비교 안전성 점수화(benchmarkless comparative safety scoring)를 정식화
- 시나리오 팩·평가 기준·심사·판정·샘플링·재실행 예산을 포함한 점수의 유효성 계약 명세
- 진실 라벨 없이도 작동하는 도구 타당성 체인 제안
- 로컬 우선 도구 SimpleAudit으로 노르웨이어 안전성 팩에서 검증
💡 핵심 아이디어
새 언어·분야·규제 환경에는 라벨된 벤치마크가 없는 경우가 많다. 진실 라벨 일치 대신, 통제된 안전 vs abliterated 대조 반응성·표적 변동의 지배성·재실행 안정성으로 점수의 도구적 타당성을 입증한다.
🔬 기술적 접근법
- **모델/방법론**: 시나리오 기반 감사+판정 구조에서 통제된 비교를 실시
- **핵심 기법**: 안전·abliterated 모델 분리도(AUROC), 표적 식별 분산 비중(η²), 심각도 프로파일 재실행 안정성으로 도구 타당성 체인 검증
📊 주요 결과
- 안전·abliterated 표적 분리 AUROC 0.89~1.00
- 표적 식별이 분산의 지배 성분(η² ≈ 0.52)
- 10회 재실행 이내로 심각도 프로파일 안정화
- 노르웨이어 공공 조달 사례에서 Borealis vs Gemma 3 비교: 시나리오·위험 척도에 따라 더 안전한 모델이 달라짐
💭 의의 및 한계
**의의**: 라벨 부재 환경에서도 신뢰할 수 있는 안전성 비교 평가 절차를 제공한다. **한계**: 도구 타당성 체인은 사전 정의된 시나리오 팩과 심사 구성에 의존하며 단일 글로벌 순위로 환원되지 않는다.
🚀 실용적 활용
- 정부·공공 조달 LLM 안전성 비교
- 다언어·규제 도메인 모델 감사
- 기업 LLM 도입 전 위험 분석