Stealing Reasoning Traces from Proprietary LLM APIs

Leading large language model providers now conceal their models' step-by-step reasoning, or chain-of-thought, to protect intellectual property and limit information leakage. Rather than storing these traces server-side, providers return them to the client as blocks of encrypted text, which the client passes back with each subsequent request. Building on prior research, we identify an architectural vulnerability: these encrypted blocks are fully compatible and interchangeable across different sessions, users, and models within a provider's ecosystem. We exploit this compatibility to develop a scalable decryption jailbreak. By injecting an encrypted reasoning trace from a given model into a weaker, and less safeguarded model from the same provider, we force it to decode and output the trace verbatim in plaintext, without ever jailbreaking the more capable model directly. This vulnerability enables four distinct attack vectors. First, it circumvents anti-distillation mechanisms, allowing adversaries to extract a proprietary model's reasoning, as we demonstrate across Anthropic, OpenAI, and Google. Second, it allows for large-scale private data extraction. Developers frequently share session logs publicly, unaware of contents of the encrypted blocks. By decoding 315,320 reasoning blocks scraped from public repositories, we recovered 367 Personally Identifiable Information (PII) artifacts and 182 credentials. Third, it inadvertently reveals hazardous information hidden within the reasoning process, even in cases where the model's final, visible output safely rejects a malicious request. Fourth, attackers can leverage this flaw to execute invisible prompt injections, embedding malicious payloads entirely within encrypted blocks to poison public agentic rollouts. Following responsible disclosure, we propose concrete cryptographic and system-level mitigations to secure client-side reasoning.

한 줄 요약

프로피에터리 LLM API의 암호화 추론 흐름을 해킹하여 정보 유출 가능성을 보여준 연구.

핵심 기여도

암호화된 추론 흐름(encrypted reasoning trace)이 세션, 사용자, 모델 간 호환 가능하다는 구조적 취약점을 발견.
약한 모델에 암호화 추론 흐름을 주입하여 복호화하는 스케일러블한 디크립션 점프(Jailbreak) 기법 제시.
315,320개의 추론 블록 분석을 통해 367개의 PII, 182개의 자격 증명을 복구.
암호화 블록 내 악성 프롬프트 주입 공격 가능성을 실증.

핵심 아이디어

LLM 제공업체는 추론 흐름을 암호화하여 클라이언트에 반환하고, 이를 다음 요청 시 다시 전달하도록 설계했다. 그러나 연구팀은 이 암호화 블록이 세션, 사용자, 모델 간 호환 가능하다는 점을 발견했다. 이는 암호화된 추론 흐름이 모델의 내부 상태와 독립적이라는 의미이며, 약한 보안 모델에 주입함으로써 복호화를 유도할 수 있다는 통찰을 제공한다. 이는 기존의 디스틸레이션 방어 기법을 우회하고, 암호화된 데이터 내 유출 가능 정보를 탐지하는 새로운 공격 벡터를 제시한다.

기술적 접근법

암호화된 추론 블록을 약한 모델에 주입하여 복호화를 유도.
공개된 레포지토리에서 315,320개의 추론 블록을 수집하여 분석.
PII, 자격 증명, 악성 요청 내 유해 정보 등을 추출.
암호화 블록 내 악성 페이로드를 숨겨 프롬프트 주입 공격 시도.

주요 결과

315,320개의 추론 블록 분석으로 367개의 PII, 182개의 자격 증명을 복구.
OpenAI, Anthropic, Google의 모델에서 악성 요청에 대한 안전한 출력에도 불구하고 추론 과정 내 유해 정보가 노출됨.
암호화 블록 내 악성 페이로드 주입을 통한 프롬프트 조작 가능.

의의 및 한계

이 연구는 LLM API의 추론 흐름 보호 메커니즘의 취약점을 명확히 드러내며, 프로피에터리 모델의 보안 설계에 대한 재검토를 촉구한다. 그러나 공격이 특정 조건(약한 모델 존재, 공개된 블록 수집)에 의존하며, 모든 LLM 제공업체의 시스템에 적용 가능한 것은 아님을 인정한다. 연구팀은 암호화 및 시스템 수준의 보완책을 제안.

실용적 활용

이 취약점은 보안 감사, 모델 보호 설계, 프라이버시 보호 연구에 활용될 수 있으며, 특히 클라이언트-서버 간 암호화 통신의 보안성을 검증하는 데 중요한 사례를 제공한다.