研究者提出针对黑盒 LLM 的实用密钥提取框架
提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据
- 定位与核心问题：针对黑盒商业大语言模型仅暴露生成文本且隐藏内部概率分布的限制，解决缺乏精确训练上下文时提取模型记忆的高熵 API key 的安全风险。
- 两阶段方法框架：第一阶段利用注释编辑、死代码注入等 5 种语义保留代码变换扰动输入前缀，结合格式与长度双层过滤，通过硬标签响应蒸馏将黑盒模型的有效凭据输出迁移至本地白盒代理模型；第二阶段舍弃耗时的奖励模型，在白盒代理上通过 Sample-k%p 截断采样扩展候选空间，并基于最小窗口熵和 4-gram 重复子串抑制离线过滤幻觉凭据。
- 凭据恢复效果：在 5 个 API 平台的受控评测中，针对 DeepSeek-Coder-7B、Qwen2.5-Coder-7B 和 LLaMA-3-8B 三大受害模型，平均恢复的真实凭据数量相较直接查询基线提升 11.8%–25.0%，分别达到 35.0、35.0 和 49.4 个（Table 1）。
- 候选质量与多样性：在弱扰动条件下真实凭据比例（RR）相比白盒基线 DESEC 提升最高达 2.6 倍（Table 2），prompt 内候选凭据的余弦相似度和 3-gram Jaccard 相似度显著降低（Table 3）。
- 推断效率提升：将过滤与排序转移至本地离线后，单次提取延迟降至 210–454 秒，较 token 级引导解码的 DESEC 提速 20.7 倍至 34.8 倍（Figure 3）。
- 真实商业系统验证：在未接触模型权重的情况下，成功从 Qwen3-27B、GPT-Codex 5.3 和 Claude Haiku 4.5 中提取出多条凭据，并在 GitHub 上检索到公开匹配记录（Figure 4）。
- 作者结论与启示：作者指出，实验表明 output-only 访问权限足以暴露黑盒模型记忆的机密凭据，构成现实的安全威胁，呼吁业界在预训练前执行更严格的数据清洗以避免敏感信息记忆。