跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 3 篇
筛选2

攻击类型

越狱1提示注入1提取与窃取1

防御类型

检测与过滤1指令与数据隔离2权限与审批3

影响

越权操作1数据与隐私泄露1输出被操纵1

系统形态

AI Agent3

攻击面/入口

用户输入2工具返回1

层

应用层3

系统组件

MCP 与技能1权限与沙箱3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 3 篇还没打标签，不在筛选结果里。
防御类型：指令与数据隔离防御类型：权限与审批话题：Agent 安全清除全部

另有 3 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv:2609.11757 ·

    研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

    提出A-VIP，将购物意图绑定到支付授权以阻断商户文本操控

    测试
    gemini-2.5-flash-lite、gemini-3.1-flash-lite、gemini-3-flash-preview 等 15 个应用层
    场景
    AI Agent
    摘要论文揭示了AP2协议决策层受操纵的风险，提出结构化与权能绑定防御A-VIP，并发布评测基准。
    • 定位与目标：本文针对智能体支付协议 AP2，研究商户利用商品描述影响智能体决策的推理层攻击面，并提出了协议层绑定防御机制 A-VIP 与评测基准 AP2-WhisperBench。
    • 要解决的问题：现有支付协议的密码学签名仅能证明交易未被篡改，但未约束生成交易的决策推理；商户在商品描述中植入不含违规指令的事实性断言即可左右购物结果，且生成的购物车完全符合协议校验。
    • 方法要点：A-VIP 将用户签名意图转变为权能授权。针对凭据泄漏（Vault Whisper），引入 DDFC 使用单次会话令牌替代用户标识符；针对购物车篡改（Branded Whisper），通过快照进行实体与展示的算术与标识比对；针对事实性诱导（Selection Whisper），通过与最低价基准比对将未授权支出露出给用户确认。
    • 关键实验发现：
      1. 在 AP2 默认的 Flash-Lite 预览模型上，Vault 与 Branded 攻击成功率分别达 90% 与 56%（Table 3）；Selection 攻击在 GA 后续版本上达 73.3%（Table 3）。
      2. 事实性操纵在 17 个 Google 模型上成功率为 23.3% 至 73.3%（Table 4），在多厂商 27 个模型汇总达 71.8%（Section 7.4），仅 claude-opus-5 出现较低成功率（1.2%）。
      3. A-VIP 结构化检查以零假阳性闭环拦截了全部 7 类购物车篡改，并在 68 个被操纵购物车中 100% 露出了未授权支出（Table 11）。
      4. 辅助内容扫描器在 Intel i7 CPU 上单核达 1,932 次/秒，8 线程达 10,328 次/秒（Appendix C）。
    • 作者结论与启示：作者指出模型抵御能力与模型规模、厂商或定价无直接对应关系，支付协议设计者无法依赖下游模型自觉防御，必须在协议层将凭据、购物车与支出严格绑定到用户初始授权上。
    完整解读
  2. 防御arXiv:2609.14003 ·

    FlowSeal：用信息流控制阻断 LLM Agent 的隐私泄露

    提出FLOWSEAL，在工具边界以信息流控制阻断智能体隐私泄露

    测试
    DeepSeek-V3.2、DeepSeek-R1、GPT-4.1-mini 等 4 个应用层
    场景
    AI Agent
    摘要作者分析大模型智能体隐私检查与攻击面重合问题，提出外部拦截防御FLOWSEAL并验证有效性。
    • 研究定位：该研究针对个人大模型智能体在协作交互中的隐私保护问题，揭示了依赖提示词进行内部推理防御的结构性脆弱性，并提出了基于信息流控制的系统层防御。
    • 核心问题：现有防御将隐私判断交由智能体在攻击者可控的对话上下文中进行，使得防御执行点与攻击面重合，攻击者可通过任务重构（CWL）、省略披露（SOA）和跨通道解耦（CDA）绕过检查。
    • 防御机制：FLOWSEAL基于数据溯源对敏感记录打标，在工具调用边界部署独立代码拦截器执行三级格策略，并借助隔离的LLM内容检查器做语义去分类，辅以协作API引导智能体正常交互。
    • 关键实验结果：在SPR基准（DeepSeek-V3.2）上，FLOWSEAL将CWL的条目泄漏率从SPR-D2的52.2%降至0.5%，SOA从75.6%降至2.3%，CDA从43.8%降至2.2%；良性任务实用率保持在72.4%；在真实Gmail与Notion的MCP测试中将SOA泄漏率降至0.0%。
    • 消融与开销：工具拦截器是防御核心（禁用后CWL泄漏率回升至28.4%）；相较无防御设置，FLOWSEAL每轮仅增加0.017美元成本与37%的延迟。
    • 作者结论与启示：作者认为，通过将安全执行移至对抗性重构无法触及的外部层，智能体可以获得更稳定的隐私保护，未来需推动操作系统、工具层与模型对齐的多层纵深防御。
    完整解读
  3. 防御arXiv:2609.34518 ·

    SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE

    提出工具智能体的状态攻击DART与预执行防御SAGE

    测试
    GPT-5.6 Luna、GPT-5.6 Terra、Gemini 3.8 Flash 等 8 个应用层
    场景
    AI Agent
    摘要论文提出状态控制框架 SEAD、攻击 DART 与防御 SAGE，实验显示执行反馈与环境探测在攻防交互中具有关键作用。
    • 论文定位：该研究从部分可观测状态控制视角研究基于工具调用的语言模型智能体安全，提出了状态控制形式化框架 SEAD 及相应的攻击方法 DART 与预执行防御方法 SAGE。
    • 面临的核心问题：在工具智能体中，攻击者可将危害拆解为看似良性的多步操作，危害最终体现为外部环境状态的持久改变；而各角色仅具有部分可观测性，缺乏环境状态证据导致无法区分合法准备操作与有害越界。
    • 核心方法设计：攻击方法 DART 在已执行前缀树上展开搜索，利用工具执行的真实环境反馈指导分支扩展；防御方法 SAGE 在待执行动作生效前介入，通过有限步私有只读环境查询获取状态证据，消除状态歧义后再做放行或拦截决策。
    • 关键实验结果：在 187 个恶意任务上，DART 在 4 个目标模型上的 Semantic ASR 达到 43.9%–73.3%，Hard ASR 达到 33.2%–54.7%，较对应最佳基线分别提升 18.8–35.9 和 8.1–17.9 个百分点（Table 2）；在 75 任务子集的离线评测中，SAGE 取得 95.79% 的良性通过率与 34.55% 的精确闭环拦截率，综合指标 F1 达 50.78%、F2 达 72.86%（Table 3）；在线防御中，SAGE 将 DART 对 GPT-5.6 Luna 的 Hard ASR 从 48.0% 降至 4.0%（Figure 3），并在未参与训练的 PostgreSQL 与 Web 任务中展现出跨领域防御能力（Table 5）。
    • 作者结论与启示：作者认为，工具调用将智能体安全转化为围绕关键状态转移的部分可观测控制问题；单纯依赖对话语义或孤立动作难以可靠判断危害，将环境状态证据与执行反馈纳入攻防闭环是提升智能体安全评估与防御能力的关键路径。
    完整解读
已经到底了