跳到正文
10月8日 · 周四

思维链监控 · 论文

找到 4 篇
筛选

攻击类型

越狱2提示注入1提取与窃取1

攻击技术

对话结构操控3推理链操控3针对防御2

模型自身风险

欺骗与谋划1

影响

有害内容1数据与隐私泄露1监督失效2

系统形态

模型与 API3AI Agent1

攻击者权限

黑盒3

攻击面/入口

用户输入3文档与消息1工具返回1代码仓库与依赖1

层

提示层3应用层1

系统组件

监控器2推理链4
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 9 篇还没打标签，不在筛选结果里。
话题：思维链监控清除全部

另有 9 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv:2608.09867 ·

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Haiku 4.5 等 15 个提示层
    场景
    模型与 API攻击者黑盒
    摘要论文揭示了客户端加密思维块跨模型互换漏洞，提出了低成本提取方法并给出防御方案。
    • 论文定位：本文揭示了主流商业大模型 API（Anthropic、OpenAI、Google）用于维护无状态架构的客户端加密思维链数据块存在跨会话、跨用户与跨模型的系统性互换漏洞。
    • 要解决的问题：厂商为了保护商业知识产权并防范有害信息外泄而隐藏思维链，但在生态内部广泛启用了宽松的加密块兼容性，使得强模型的内省对齐防线因同厂商弱模型的安全不对称性而面临被击穿的风险。
    • 方法核心机制：提出了一种基于弱模型充当模糊解密器的解密越狱方法；攻击者将强模型生成的加密签名注入同厂商低成本且防御宽松的弱模型（如 Claude Haiku 4.5、GPT-5.6 Luna、Gemini Robotics 1.6）中，利用输出预填或针对性提示词诱导其将加密内容逐字转写为明文，必要时结合强模型进行去噪调和。
    • 核心实验发现：
      1. 在 120 道 Codeforces 题目上，解密生成的 token 数量与 API 报告的原始计费思维 token 数量呈 1:1 紧密追踪（Figure 1）。
      2. 从公开抓取的 6,708 条智能体交互日志（315,320 个加密块）中解密出 941 项独立敏感伪影，从真实用户会话中恢复出 62 个 API 密钥、33 个密码等凭证，其中 64 项仅存在于加密思维而在可见聊天记录中已被用户清洗（Table 4）。
      3. 成功演示了将 HarmBench 恶意请求的隐藏思考还原为未审查输出，以及将恶意备份指令隐藏于加密块向 GPT-5.6 Sol 和 Opus 4.7 实施隐蔽提示词注入（Section 3.2、Section 4.2）。
      4. 预填 1% 的 Opus 4.8 思维可使 Kimi-K3 在 HLE STEM 题目上的最佳可见回答 n-gram 重叠度从 0.160 上升至 0.305（Table 3）。
    • 作者结论与启示：当前将加密数据对用户保密却对第三方缺乏防重放保护的设计无法保障隐私与安全；作者建议采用服务端存储的有状态架构，或在 AEAD 关联数据中强制绑定用户与会话哈希链，并呼吁行业重视多模型生态中弱模型的对齐短板。
    完整解读
  2. 攻击arXiv:2609.27542 ·

    研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控

    注入控制标记闭合推理通道，消除思维链以规避监控并触发恶意工具调用

    测试
    openai/gpt-oss-20b、google/gemma-4-26B-A4B-it、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等 4 个应用层
    场景
    AI Agent
    摘要论文阐明控制标记注入可抑制CoT使监控失效并促成拒绝绕过，且工具执行受解析器宽容度影响。
    • 论文定位：该论文是一项关于工具使用推理智能体的安全实证研究，阐明智能体安全是由模型与解码harness共同决定的复合属性。
    • 核心问题：研究间接对抗输入能否通过篡改分词边界消除思维链推理，从而打破基于推理审查的安全监控假设，并分析下游工具调用解析器对动作执行的控制作用。
    • 核心机制：攻击者在输入中注入模型自身的保留控制标记，构造一个预先闭合的空 analysis 通道，诱导分词器将其解析为已完成的推理轮次，促使模型跳过思考直接生成工具调用；同时解析器对缺失闭合标记的宽容匹配使得截断调用仍能触发。
    • 关键定量结果：在 gpt-oss-20b 上，该注入使 40 个普通措辞任务的平均推理从 52.5 token 降为 0 且工具调用全部触发（Table 1）；在 48 个恶意任务上使规则和跨家族大模型监控器的检出率从 1.00 降为 0.00，并将 39.6% 的拒绝转变为成功外传（Table 3）；Gemma 模型在相同生成下仅因解析器不同而呈现 0% 与 100% 的成功率对立（Table 4）。
    • 防御与规避发现：输入清洗需采用替换而非朴素删除以防拼接新触发词（Table 6）；空推理检测绊线可被单行良性诱饵自适应绕过并达成 1.00 的外传成功率（Table 7）。
    • 结论与启示：作者认为不能单凭思维链监控保障智能体安全，防御者必须将推理审查与动作级参数检查相结合，并在解码harness中实施严格的输入清洗与解析器加固。
    完整解读
  3. 攻击arXiv:2609.15989 ·

    研究者提出 plan injection 攻击，可绕过思维链监控

    提出计划注入攻击，植入良性表述的有害计划以逃避思维链监控

    测试
    Qwen2.5-Coder-7B-Instruct、Qwen3-8B、DeepSeek-R1-0528 等 6 个提示层
    场景
    模型与 API攻击者黑盒
    摘要论文指出模型会将外部上下文中的伪装计划改写为自身推理，使思维链监视器失效甚至反向合理化恶意行为。
    • 论文定位：研究思维链（CoT）监视对上下文推理污染脆弱性的安全研究，提出了名为计划注入（plan injection）的推理阶段攻击。
    • 试图解决的问题：探索当恶意计划伪装成良性推理进入上下文时，现有的 CoT 监视器能否可靠识别模型被诱导的对抗行为。
    • 核心方法设计：攻击者在输入中作为可选建议植入带有良性辩护的错误推理计划；行动模型在无强制要求的情况下自发将其改写为自身的思维链，隐藏来源并输出对抗结果。
    • 关键实验结果：
      1. 在 APPS 和 Bio-Math 上，Qwen3-8B 和 DeepSeek-R1 采纳计划并成功触发后门/求解隐藏任务的比例达到 41.7%–98.9%（Figure 3），且 8-gram 文本复制超过一半的样本不足 1%（Table 7）。
      2. 即便在最强的思考型监视器（Claude 3.7 Sonnet）下，端到端未被检出的成功攻击比例在 APPS 上仍达 33%–40%，在 Bio-Math 上达 78%–81%（Table 8）。
      3. 增加监视器思考预算产生双向效应：在 Qwen3 235B 的两端样本中，高预算使可疑度上升样本平均增加约 0.26–0.30，但也使可疑度下降样本平均减少约 0.28–0.30（Figure 6）。
    • 作者结论与启示：作者认为，如果监视器仅对 CoT 进行恶意关键词或表层意图的粗浅匹配，计划注入能有效逃避审计；向监视器提供上下文计划或增加推理预算并不总是提升安全性，监视模型可能反被连贯的良性叙事误导，将异常行为主动合理化。
    完整解读
  4. 攻击arXiv:2609.29775 ·

    输出前缀攻击瞄准推理模型：注入推理通道可将攻击成功率推高至 99%

    利用推理通道与输出前缀联合注入，诱导推理模型生成有害内容

    测试
    Gemini 3 Flash Preview、DeepSeek V4 Flash、Claude Haiku 4.5提示层
    场景
    模型与 API攻击者黑盒
    摘要论文针对推理大模型评估输出前缀与草稿推理注入，发现二者协同可推高 ASR，同时指出安全防护能够在系统层面解决该漏洞。
    • 研究定位：作者称本研究是首个针对大模型草稿推理通道系统开展的受控输出前缀攻击实验，评估了暴露推理与隐藏推理两种框架下的安全对齐表现。
    • 解决的问题：随着推理大模型成为主流，部分 API 暴露了可由用户写入的草稿推理字段，研究旨在探明前缀注入攻击在推理模型上的有效性，以及中间推理究竟充当了安全缓冲还是引入了新的攻击面。
    • 方法核心要点：研究采用 3×2 析因设计，对比无前缀、静态顺从前缀与针对性上下文前缀，以及注入与不注入由开源无审查模型生成的恶意推理草稿；对隐藏推理模型则在输出前缀中伪造思考标签进行测试。
    • 关键实验结果：在 AdvBench 的 100 个提示词测试中，单独注入恶意推理在三款模型上均接近无效（ASR 均为 0% 或 1%）；但当恶意推理与输出前缀结合时，Gemini 3 Flash Preview 的 ASR 升至 99%（策略 5），DeepSeek V4 Flash 的 ASR 升至 76%（策略 6，Table 3）。
    • 模型与框架防御差异：不同模型对前缀与推理注入的易感性差异明显，采用 Constitutional AI 对齐的 Claude Haiku 4.5 在全部 6 种策略下的 ASR 均不超过 1%（Table 3），体现出该漏洞在工程实践中具备可防御性。
    • 作者结论与启示：作者认为输出前缀攻击几乎无需额外算力成本却能产生威胁，防御方不能仅过滤用户输入，还必须对客户端提交的助手前缀与推理内容实施校验，且模型服务框架应当限制助手预填功能以防范此类攻击。
    完整解读
已经到底了