Toward Open Weight Models Without Risks: Separating Public and Private Capabilities in LLMs

Open-weight Large Language Models (LLMs) enable scientific progress and broad deployment. However, they make it difficult to control access to sensitive capabilities. Current practice either suppresses dangerous capabilities before release or mediates access through closed services that use specialized model variants, input/output monitors, and API permissions. The former is susceptible to jailbreaks while sacrificing capability for all users to mitigate the risks posed by a few, and the latter is fundamentally incompatible with open-weight release. In this paper, we propose Tiered Language Models (TLMs), where a single set of released weights supports multiple capability levels. In its default public configuration, a TLM behaves as a conventional LLM. A compact secret key specifies a permutation over a small parameter subset, inducing an alternative computation graph over the same weights that exposes additional capabilities. We develop a training protocol that jointly pretrains both configurations from scratch, then fine-tunes the keyed configuration on private data with regularization to preserve the public model's behavior. We pretrain 180M- and 650M-parameter TLMs and demonstrate that the keyed configuration can acquire a new language, gain instruction-following ability, and memorize private factual knowledge, whereas the public configuration exhibits none of these capabilities. Moreover, we show that our approach extends naturally to multiple hierarchical tiers. Because authorization operates on the model's weight structure rather than in the input space, the mechanism resists fine-tuning-based extraction and partial key compromise. In general, TLMs take a step toward reconciling open-weight release with selective capability control.

한 줄 요약

Tiered Language Models(TLMs)는 공개된 모델 가중치 내에서 권한별 기능 제어를 가능하게 하는 새로운 접근법을 제시한다.

핵심 기여도

TLMs는 단일 가중치 집합으로 공개 및 비공개 기능을 구분하며, 180M 및 650M 파라미터 모델을 사전 학습함.
키 기반 재구성(permutation key)을 통해 추가 기능을 활성화하며, 키 크기는 LoRA 어댑터 대비 560×~7,000× 작음.
비공개 설정에서 새로운 언어 학습, 지시사항 준수(AlpacaEval 85% 이상), 합성 사실 기억 등의 기능을 보임.
공개 설정에서는 해당 기능이 누출되지 않으며, 90%의 키를 알고 있어도 기능 복구 불가.

핵심 아이디어

TLMs는 기존 접근에서 사용되는 입력 공간에 키를 삽입하는 방식 대신, 모델 가중치 구조 내에서 키를 인코딩하여 기능 제어를 수행한다. 이는 키가 모델 파라미터의 작은 부분집합에 대한 순열(permutation)을 지정함으로써, 동일한 가중치 집합에서 다른 계산 그래프를 유도한다. 이 방식은 키가 입력에 포함되지 않기 때문에 프롬프트 기반 공격이나 미세 조정(fine-tuning)을 통한 정보 유출을 방지할 수 있다. 핵심 아이디어는 ‘단일 모델 체크포인트 내에서 권한별 기능 분리’이며, 이는 기존의 ‘공개 모델 vs. 비공개 모델’ 구조를 대체하는 새로운 접근법이다.

기술적 접근법

**TLMs 학습 프로토콜**: 공개 및 키 설정을 동시에 사전 학습한 후, 키 설정은 비공개 데이터로 미세 조정하며, 정규화(regularization)를 통해 공개 설정의 행동을 유지.
**Permutation Key**: 키는 모델의 작은 파라미터 부분집합에 대한 순열을 지정하며, 이는 LoRA 어댑터보다 훨씬 작음.
**사전 학습 모델 규모**: 180M 및 650M 파라미터 모델을 사용.
**추가 사전 학습 비용**: 기존 사전 학습 대비 약 5% 증가.
**기능 활성화**: 키 설정에서 새로운 언어, 지시사항 준수, 합성 사실 기억 기능을 학습.

주요 결과

**AlpacaEval**: 키 설정에서 지시사항 준수 성능이 85% 이상 달성.
**언어 학습**: 키 설정에서 새로운 언어를 학습하며, 공개 설정에서는 학습되지 않음.
**합성 사실 기억**: 키 설정에서 합성 데이터를 정확히 기억하며, 공개 설정에서는 기억하지 않음.
**공격 저항성**: 키를 90% 알고 있어도 기능 복구 불가.
**키 크기**: LoRA 어댑터 대비 560×~7,000× 작음.

의의 및 한계

TLMs는 단일 모델 체크포인트 내에서 공개 및 비공개 기능을 분리함으로써, 오픈 가중치 모델의 보안 및 선택적 기능 제어 문제를 해결한다. 기존 접근법과 달리, 모델 구조 자체에 권한 정보를 인코딩하여, 키 유출이나 미세 조정을 통한 정보 유출을 방지할 수 있다. 그러나 실제 산업 적용에는 키 관리, 대규모 검증, 강력한 적응형 공격 대응, 현실적인 제한 기능 평가가 필요하다. 또한, 키 기반 재구성의 안정성과 확장성에 대한 추가 연구가 필요하다.

실용적 활용

TLMs는 민감한 연구(예: 고급 바이러스학)나 사적/라이선스 데이터 기반 지식을 포함한 모델의 선택적 배포에 적용 가능하다. 또한, 기업이 자체 호스팅 환경에서 보안이 필요한 모델을 운영하거나, 공개 및 제한된 사용 사례를 동일 모델로 지원할 수 있는 기반 기술이 될 수 있다.