跳到正文
10月8日 · 周四

Anthropic · 论文

找到 2 篇
筛选1
同一类里任选其一,不同类之间同时满足;数字是加上其他已选条件后的篇数。
  1. 攻击arXiv:2608.09867 ·

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    利用加密思维块的跨模型重放,诱导弱模型逐字转写专有推理链

    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Haiku 4.5 等 15 个提示层
    场景
    模型与 API攻击者黑盒
    摘要论文揭示了客户端加密思维块跨模型互换漏洞,提出了低成本提取方法并给出防御方案。
    • 论文定位:本文揭示了主流商业大模型 API(Anthropic、OpenAI、Google)用于维护无状态架构的客户端加密思维链数据块存在跨会话、跨用户与跨模型的系统性互换漏洞。
    • 要解决的问题:厂商为了保护商业知识产权并防范有害信息外泄而隐藏思维链,但在生态内部广泛启用了宽松的加密块兼容性,使得强模型的内省对齐防线因同厂商弱模型的安全不对称性而面临被击穿的风险。
    • 方法核心机制:提出了一种基于弱模型充当模糊解密器的解密越狱方法;攻击者将强模型生成的加密签名注入同厂商低成本且防御宽松的弱模型(如 Claude Haiku 4.5、GPT-5.6 Luna、Gemini Robotics 1.6)中,利用输出预填或针对性提示词诱导其将加密内容逐字转写为明文,必要时结合强模型进行去噪调和。
    • 核心实验发现:
      1. 在 120 道 Codeforces 题目上,解密生成的 token 数量与 API 报告的原始计费思维 token 数量呈 1:1 紧密追踪(Figure 1)。
      2. 从公开抓取的 6,708 条智能体交互日志(315,320 个加密块)中解密出 941 项独立敏感伪影,从真实用户会话中恢复出 62 个 API 密钥、33 个密码等凭证,其中 64 项仅存在于加密思维而在可见聊天记录中已被用户清洗(Table 4)。
      3. 成功演示了将 HarmBench 恶意请求的隐藏思考还原为未审查输出,以及将恶意备份指令隐藏于加密块向 GPT-5.6 Sol 和 Opus 4.7 实施隐蔽提示词注入(Section 3.2、Section 4.2)。
      4. 预填 1% 的 Opus 4.8 思维可使 Kimi-K3 在 HLE STEM 题目上的最佳可见回答 n-gram 重叠度从 0.160 上升至 0.305(Table 3)。
    • 作者结论与启示:当前将加密数据对用户保密却对第三方缺乏防重放保护的设计无法保障隐私与安全;作者建议采用服务端存储的有状态架构,或在 AEAD 关联数据中强制绑定用户与会话哈希链,并呼吁行业重视多模型生态中弱模型的对齐短板。
    完整解读
  2. 攻击arXiv:2609.36941 ·

    研究者提出针对黑盒 LLM 的实用密钥提取框架

    提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据

    测试
    DeepSeek-Coder-7B、LLaMA-3-8B、Qwen2.5-Coder-7B 等 8 个模型层
    场景
    模型与 API攻击者黑盒
    摘要论文提出扰动蒸馏与离线过滤两阶段框架,实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。
    • 定位与核心问题:针对黑盒商业大语言模型仅暴露生成文本且隐藏内部概率分布的限制,解决缺乏精确训练上下文时提取模型记忆的高熵 API key 的安全风险。
    • 两阶段方法框架:第一阶段利用注释编辑、死代码注入等 5 种语义保留代码变换扰动输入前缀,结合格式与长度双层过滤,通过硬标签响应蒸馏将黑盒模型的有效凭据输出迁移至本地白盒代理模型;第二阶段舍弃耗时的奖励模型,在白盒代理上通过 Sample-k%p 截断采样扩展候选空间,并基于最小窗口熵和 4-gram 重复子串抑制离线过滤幻觉凭据。
    • 凭据恢复效果:在 5 个 API 平台的受控评测中,针对 DeepSeek-Coder-7B、Qwen2.5-Coder-7B 和 LLaMA-3-8B 三大受害模型,平均恢复的真实凭据数量相较直接查询基线提升 11.8%–25.0%,分别达到 35.0、35.0 和 49.4 个(Table 1)。
    • 候选质量与多样性:在弱扰动条件下真实凭据比例(RR)相比白盒基线 DESEC 提升最高达 2.6 倍(Table 2),prompt 内候选凭据的余弦相似度和 3-gram Jaccard 相似度显著降低(Table 3)。
    • 推断效率提升:将过滤与排序转移至本地离线后,单次提取延迟降至 210–454 秒,较 token 级引导解码的 DESEC 提速 20.7 倍至 34.8 倍(Figure 3)。
    • 真实商业系统验证:在未接触模型权重的情况下,成功从 Qwen3-27B、GPT-Codex 5.3 和 Claude Haiku 4.5 中提取出多条凭据,并在 GitHub 上检索到公开匹配记录(Figure 4)。
    • 作者结论与启示:作者指出,实验表明 output-only 访问权限足以暴露黑盒模型记忆的机密凭据,构成现实的安全威胁,呼吁业界在预训练前执行更严格的数据清洗以避免敏感信息记忆。
    完整解读
已经到底了