跳到正文
10月8日 · 周四

提示注入 · 论文

找到 5 篇
筛选2

攻击类型

提示注入4

防御类型

模型加固2检测与过滤2指令与数据隔离5权限与审批3监控与审计2

影响

越权操作4输出被操纵1

系统形态

AI Agent5网页与电脑操作2多智能体1

攻击面/入口

网页与界面3工具返回4工具与技能描述1

层

应用层5

系统组件

MCP 与技能2权限与沙箱3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。
防御类型：指令与数据隔离防御类型：权限与审批话题：提示注入清除全部
  1. 防御arXiv:2609.11757 ·

    研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

    提出A-VIP，将购物意图绑定到支付授权以阻断商户文本操控

    测试
    gemini-2.5-flash-lite、gemini-3.1-flash-lite、gemini-3-flash-preview 等 15 个应用层
    场景
    AI Agent
    摘要论文揭示了AP2协议决策层受操纵的风险，提出结构化与权能绑定防御A-VIP，并发布评测基准。
    • 定位与目标：本文针对智能体支付协议 AP2，研究商户利用商品描述影响智能体决策的推理层攻击面，并提出了协议层绑定防御机制 A-VIP 与评测基准 AP2-WhisperBench。
    • 要解决的问题：现有支付协议的密码学签名仅能证明交易未被篡改，但未约束生成交易的决策推理；商户在商品描述中植入不含违规指令的事实性断言即可左右购物结果，且生成的购物车完全符合协议校验。
    • 方法要点：A-VIP 将用户签名意图转变为权能授权。针对凭据泄漏（Vault Whisper），引入 DDFC 使用单次会话令牌替代用户标识符；针对购物车篡改（Branded Whisper），通过快照进行实体与展示的算术与标识比对；针对事实性诱导（Selection Whisper），通过与最低价基准比对将未授权支出露出给用户确认。
    • 关键实验发现：
      1. 在 AP2 默认的 Flash-Lite 预览模型上，Vault 与 Branded 攻击成功率分别达 90% 与 56%（Table 3）；Selection 攻击在 GA 后续版本上达 73.3%（Table 3）。
      2. 事实性操纵在 17 个 Google 模型上成功率为 23.3% 至 73.3%（Table 4），在多厂商 27 个模型汇总达 71.8%（Section 7.4），仅 claude-opus-5 出现较低成功率（1.2%）。
      3. A-VIP 结构化检查以零假阳性闭环拦截了全部 7 类购物车篡改，并在 68 个被操纵购物车中 100% 露出了未授权支出（Table 11）。
      4. 辅助内容扫描器在 Intel i7 CPU 上单核达 1,932 次/秒，8 线程达 10,328 次/秒（Appendix C）。
    • 作者结论与启示：作者指出模型抵御能力与模型规模、厂商或定价无直接对应关系，支付协议设计者无法依赖下游模型自觉防御，必须在协议层将凭据、购物车与支出严格绑定到用户初始授权上。
    完整解读
  2. 防御arXiv:2610.05640 ·

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    提出multi-CaMeL，在多智能体调用边界隔离可信指令与不可信数据

    测试
    Claude Fable 5、GPT-5.5、GPT-4.1 等 6 个应用层
    场景
    多智能体
    摘要论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。
    • 论文定位：这是一项针对分层多智能体系统在间接提示注入威胁下的安全性与防御协议研究。
    • 核心问题：现有单智能体系统级防御（如 CaMeL）无法在多智能体交互中自动组合，上游智能体获取的非可信数据经跨边界传递后会被下游智能体的规划模型视为可信输入，从而发生“边界清洗”并劫持系统控制流。
    • 防御方法：提出 multi-CaMeL 通信协议与扩展解释器，将跨智能体调用强制解耦为可信指令通道（message）与不透明数据通道（variables），在运行时维持指令通道完整性与数据溯源。
    • 核心实验结果：
      • 在 MultiAgentDojo 上，multi-CaMeL 将 5 款模型的平均攻击成功率从无防御的 12.9% 和单智能体 CaMeL 的 0.2% 降低至 0.0%，消除了残留攻击（Table III）。
      • 在良性效用上，AssetOpsBench 中 multi-CaMeL 较单智能体 CaMeL 平均仅多损失 3.2 个百分点，在 Claude Fable 5 与 GPT-5.5 上额外损失仅 0.85 个百分点（Figure 5）。
      • 效用损失随着模型能力的提升而呈现收窄趋势，作者称这提示能力更强的模型更能适应预定义控制流与变量解耦的约束（Figure 5、Figure 6）。
    • 作者结论与启示：作者指出“跨越智能体边界不得隐式提升信息的可信度”是多智能体安全的核心原则；单纯保护每个个体智能体并不足以保障系统安全，必须在系统交互接口处对指令与数据实施显式隔离。
    完整解读
  3. 防御arXiv:2610.03089 ·

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出COBRA双LLM架构，防御计算机使用智能体的分支转向攻击

    测试
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个应用层
    场景
    网页与电脑操作
    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。
    • 论文定位：论文针对计算机使用智能体（CUA）在处理动态网络内容时面临的分支转向攻击，提出了首个系统性评测基准 STEER-Bench 以及结合控制流与数据流防御的系统级架构 COBRA。
    • 面临的核心问题：现有的 Dual-LLM 架构通过离线特权规划器提供控制流完整性（CFI），但无法应对动态图形界面所必需的运行时分支；攻击者无需注入新的指令，仅需操纵页面数据即可诱导智能体执行危险的预批准分支，造成数据流完整性（DFI）失效。
    • 方法核心设计：COBRA 在接触不可信内容前由规划器（P-LLM）将任务与经 SHA-256 钉住的站点/工具元数据编译为带约束的分支程序，隔离的 Q-VLM 仅负责视觉感知；运行时由分支解析中枢（BRH）动态验证分支条件与参数，并通过确定性 HTTP 和 MCP 代理在网络与工具边界严格阻断越权操作；同时结合多样本融合规划与站点描述生成工具 MESA 辅助部署。
    • 关键实验结果：
      • 在 STEER-Bench 的 199 个攻击单元格中，完整 COBRA 将分支转向攻击成功率（ASR）降至 0%（标准 ReAct 为 94.4%，Vanilla Dual-LLM 为 89.5%），同时保留 97% 的良性效用。
      • 在 4 个外部安全基准中，COBRA 在其威胁模型涵盖的 1,259 个攻击案例上均实现 0% ASR。
      • 在 OSWorld-MCP 361 个任务上，gpt-5 与 UI-TARS-1.5-7B 组合的 COBRA 取得 36.8% 的任务完成率，优于 UI-TARS-1.5-7B 单模型 ReAct 基线的 23.5%。
    • 作者的结论与启示：作者认为，保护 CUA 必须从控制流完整性拓展到严格的数据流完整性控制；未来在处理未进入网络请求的视觉数值、自由文本语义、非 HTTP 本地协议以及依赖站点所有者发布描述等方面仍存在开放挑战。
    完整解读
  4. 防御arXiv:2609.18411 ·

    可验证行动卡片 VAC：为智能体浏览器提供可信人在回路确认

    提出VAC，用真实操作参数与来源隔离保护智能体浏览器确认

    测试
    gpt-oss-120b、Gemini-2.5-Flash、GPT-4.1 等 6 个应用层
    场景
    网页与电脑操作
    摘要论文针对人在回路弹窗易受骗问题，提出提取 DOM 真实参数的外置验证卡 VAC，在跨模型评测中将攻击成功率完全归零。
    • 定位与核心问题：论文针对智能体浏览器在处理网页时容易遭遇提示注入并被操纵为混淆代理的问题，指出当前主流的“人在回路”确认弹窗因依赖模型生成摘要或页面可控标签，易受 Lies-in-the-Loop 伪造，无法提供安全保证。
    • 架构方案设计：提出了可验证操作卡（Verifiable Action Card, VAC），将安全根基从模型叙述转移至底层动作本身。核心包括：从 DOM 待执行表单中提取真实的收件人、金额与目标域名的操作描述符（C2）；在浏览器可信 chrome 中渲染默认拒绝的独立卡片（C3）；通过结构特征与意图来源进行风险分级（C4）；并在动作分发瞬间重新校验参数以防范 TOCTOU 篡改（C5）。
    • 主要实验结果：
      1. 在跨 5 个开源模型的评测中，无门控时攻击成功率平均为 78%（各模型介于 68% 至 100%），VAC 将所有模型的攻击成功率降至 0%（Table 8、10）。
      2. 朴素人在回路（Naive HITL）面对伪造标签时攻击成功率仍高达 72%，在转账伪造场景下被骗率达 100%，而 VAC 在相同条件下将 ASR 降至 0%（Table 10、第 8.1 节）。
      3. VAC 在 293 次评测中保持了 78% 的良性任务完成率，误报拦截率为 0%，平均每个良性任务仅需 0.94 次确认（Table 10）。
      4. 面对提交时篡改参数的自适应 TOCTOU 攻击与虚假归因攻击，无门控与 Naive HITL 均告失守，VAC 借助执行绑定与域名级归因实现了拦截（Table 9）。
    • 作者结论与启示：作者认为，人机协同防御的有效性完全取决于呈现给人类的证据质量；将确认逻辑绑定至真实动作并脱离模型与页面渲染信道，为自主智能体提供了不受模型鲁棒性波动影响的系统级安全防线。
    完整解读
  5. 防御arXiv:2609.35932 ·

    同字节不同权限：保留 token 表示如何放大聊天模板提示注入

    证明保留词元表示放大模板注入并验证分词缓解

    测试
    Qwen3-8B、Qwen3-32B、Llama-3.1-8B-Instruct 等 6 个应用层
    场景
    AI Agent
    摘要对话模板注入的权威性主要来自保留词元的学得向量而非文本语法，推理具有补偿作用，现有分词防御遗留工具协议漏洞。
    • 核心定位与问题：针对大模型智能体中对话模板伪造攻击的有效性机理，论文在严格固定输入字节的前提下，首次将保留控制词元 ID 与模板文本外观的贡献解耦并定量测量。
    • 核心方法设计：提出固定字节对比框架，通过服务端分词控制保留词元与普通子词切分，并引入词元数补偿对照组（Matched）定义标识差距 Δ，结合输入嵌入层向量替换实施因果归因。
    • 关键实验结果：
      • 在 Llama-3.1、GLM-4.5 和 Seed-OSS-36B 上，去除保留词元使 InjecAgent 攻击成功率降低 39.3 至 65.5 个百分点，证实保留表示主导攻击威力（Table 2）。
      • 保留标记的权威性根植于标记位置的单个学得向量，Llama-3.1-8B 替换为嵌入空间最近普通词元向量可恢复 98.4% 成功率（Table 4）。
      • Qwen3-8B 具有文本语法主导特性，但在关闭思考块后，去除保留词元的攻击成功率从 74.7% 跌至 35.7%，标识差距扩大至 49.8 个百分点（Table 27）。
      • 普查发现 64% 的主流开源模型分词器未覆盖工具协议词元，且自适应嵌入邻近搜索可恢复大部分攻击成功率（Table 31, Table 32）。
    • 作者结论与启示：作者认为对话模板注入攻击的权威性主要来自模型后训练中对保留控制向量赋予的学习信号；安全研究与防御部署必须深入分词器底层并审查传递给模型的具体词元 ID。
    完整解读
已经到底了