LoREnc: Low-Rank Encryption for Securing Foundation Models and LoRA Adapters

Foundation models and low-rank adapters enable efficient on-device generative AI but raise risks such as intellectual property leakage and model recovery attacks. Existing defenses are often impractical because they require retraining or access to the original dataset. We propose LoREnc, a training-free framework that secures both FMs and adapters via spectral truncation and compensation. LoREnc suppresses dominant low-rank components of FM weights, compensates for the missing information in authorized adapters, and further applies orthogonal reparameterization to obscure structural fingerprints of the protected adapter. Unauthorized users produce structurally collapsed outputs, while authorized users recover exact performance. Experiments demonstrate that LoREnc provides strong protection against model recovery with under 1% computational overhead.

📋 한 줄 요약

**[모델 보안 / Low-Rank Encryption]** LoREnc가 spectral truncation·compensation·orthogonal reparameterization으로 FM과 LoRA 어댑터를 학습 없이 동시 보호 — 비인가 사용자는 structurally collapsed 출력, 인가 사용자는 exact 성능, 1% 미만 계산 오버헤드.

🎯 핵심 기여도

Foundation model과 LoRA 어댑터가 on-device 생성 AI를 효율화하지만 IP leakage·model recovery 공격 위험 동반함을 진단.
기존 방어가 retraining이나 원본 데이터 접근을 요구하는 비실용성 지적.
LoREnc 제안 — training-free 프레임워크로 spectral truncation·compensation을 통해 FM과 어댑터 모두 보호.
FM weight의 dominant low-rank component를 억제한 뒤 인가 어댑터에서 누락 정보 보상, orthogonal reparameterization으로 protected adapter의 structural fingerprint 은닉.

💡 핵심 아이디어

모델 보호는 학습 비용 없이 weight의 spectral 구조를 조작해 인가 어댑터만 정상 복원 가능하도록 설계할 수 있다 — dominant low-rank 성분 제거·보상·orthogonal 재매개화의 3 단계로 비인가 사용자에게는 structural collapse를 강제하면서 인가 사용자의 exact 성능은 보장.

🔬 기술적 접근법

**방법론**: LoREnc — training-free spectral truncation + compensation + orthogonal reparameterization.
**핵심 기법**: (1) FM weight의 dominant low-rank component spectral truncation, (2) 인가 어댑터에서 누락 정보 compensation, (3) Orthogonal reparameterization으로 어댑터 structural fingerprint 은닉, (4) 비인가 사용 시 structurally collapsed 출력 유도, (5) 인가 사용 시 exact 성능 회복.

📊 주요 결과

Model recovery 공격에 강한 보호 입증.
1% 미만의 계산 오버헤드.
비인가 사용자에서 structurally collapsed 출력 확인.
인가 사용자에서 exact 성능 복원.

💭 의의 및 한계

**의의**: 재학습·원본 데이터 없이 적용 가능한 실용 보호 프레임워크, FM과 어댑터를 동시 커버, on-device 생성 AI 배포의 IP·security 우려 완화. **한계**: spectral truncation이 일부 도메인 task에서 모델 표현력에 영향 가능성, orthogonal reparameterization의 fingerprint 은닉 범위는 공격 모델 의존, adaptive 공격에 대한 robustness 별도 검증 필요.

🚀 실용적 활용

On-device LLM·FM의 IP 보호.
LoRA 어댑터 marketplace의 인가 통제.
엔터프라이즈 모델 배포 보안.