跳到正文
10月8日 · 周四

红队 · 论文

找到 1 篇
筛选1
同一类里任选其一,不同类之间同时满足;数字是加上其他已选条件后的篇数。
  1. 攻击arXiv:2609.29775 ·

    输出前缀攻击瞄准推理模型:注入推理通道可将攻击成功率推高至 99%

    提出推理通道预填与输出前缀组合攻击以越狱推理模型

    测试
    Gemini 3 Flash Preview、DeepSeek V4 Flash、Claude Haiku 4.5提示层
    场景
    模型与 API攻击者黑盒
    摘要论文针对推理大模型评估输出前缀与草稿推理注入,发现二者协同可推高 ASR,同时指出安全防护能够在系统层面解决该漏洞。
    • 研究定位:作者称本研究是首个针对大模型草稿推理通道系统开展的受控输出前缀攻击实验,评估了暴露推理与隐藏推理两种框架下的安全对齐表现。
    • 解决的问题:随着推理大模型成为主流,部分 API 暴露了可由用户写入的草稿推理字段,研究旨在探明前缀注入攻击在推理模型上的有效性,以及中间推理究竟充当了安全缓冲还是引入了新的攻击面。
    • 方法核心要点:研究采用 3×2 析因设计,对比无前缀、静态顺从前缀与针对性上下文前缀,以及注入与不注入由开源无审查模型生成的恶意推理草稿;对隐藏推理模型则在输出前缀中伪造思考标签进行测试。
    • 关键实验结果:在 AdvBench 的 100 个提示词测试中,单独注入恶意推理在三款模型上均接近无效(ASR 均为 0% 或 1%);但当恶意推理与输出前缀结合时,Gemini 3 Flash Preview 的 ASR 升至 99%(策略 5),DeepSeek V4 Flash 的 ASR 升至 76%(策略 6,Table 3)。
    • 模型与框架防御差异:不同模型对前缀与推理注入的易感性差异明显,采用 Constitutional AI 对齐的 Claude Haiku 4.5 在全部 6 种策略下的 ASR 均不超过 1%(Table 3),体现出该漏洞在工程实践中具备可防御性。
    • 作者结论与启示:作者认为输出前缀攻击几乎无需额外算力成本却能产生威胁,防御方不能仅过滤用户输入,还必须对客户端提交的助手前缀与推理内容实施校验,且模型服务框架应当限制助手预填功能以防范此类攻击。
    完整解读
已经到底了