跳到正文
10月9日 · 周五

全部论文

找到 31 篇
筛选4

攻击类型

越狱3提示注入30投毒与后门6检测规避1

攻击技术

潜伏触发1

模型自身风险

欺骗与谋划1失准与价值偏离1Agent 危险操作4幻觉与编造1

防御类型

模型加固7检测与过滤13指令与数据隔离19权限与审批18监控与审计9水印与溯源1

影响

越权操作21数据与隐私泄露2输出被操纵4可用性与可靠性1

系统形态

模型与 API1LLM 应用2AI Agent28编程 Agent2网页与电脑操作4

攻击面/入口

用户输入26网页与界面16文档与消息13工具返回24工具与技能描述9代码仓库与依赖3检索语料4记忆写入6Agent 间消息3图像与音视频6训练数据4权重与梯度2分发渠道7推理服务与硬件2

层

提示层1应用层30

系统组件

MCP 与技能7记忆3RAG1护栏与评审10监控器4推理链1权限与沙箱14视觉1多模态1

被测模型厂商

OpenAI18Qwen（阿里）15Google12Meta12Anthropic10DeepSeek7其他17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 600 篇还没打标签，不在筛选结果里。
防御类型：检测与过滤防御类型：权限与审批攻击面/入口：网页与界面攻击面/入口：工具返回清除全部

另有 600 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2609.11757

    研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

    提出 Whisper 攻击与 A-VIP 绑定防御，约束智能体支付决策

    arXiv
    2609.11757
    发表
    层
    应用层
    场景
    AI Agent
    测试
    gemini-2.5-flash-lite、gemini-3.1-flash-lite、gemini-3-flash-preview 等 15 个

    摘要论文揭示了 AP2 协议决策层受操纵的风险，提出结构化与权能绑定防御 A-VIP，并发布评测基准。

    深度解读完整解读
  3. 防御arXiv 2605.17380

    Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月

    提出企业级检测系统 ADR，检测编程 Agent 的提示注入与恶意 MCP

    arXiv
    2605.17380
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-4o、Claude Sonnet 4、Llama Guard 3-8B 等 4 个

    摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。

    深度解读完整解读
  4. 评测与基准arXiv 2610.03448

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评 Agent 提示注入检测器，检验基准分数能否预测部署表现

    arXiv
    2610.03448
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    深度解读完整解读
  5. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA，用分支能力约束与代理拦截防御计算机使用 Agent 的分支引导攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  6. 防御arXiv 2609.33039

    TACIT：从 LLM 内部状态检测 Agent 轨迹危害

    提出 TACIT，从冻结内部表征检测智能体有害轨迹

    arXiv
    2609.33039
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen3Guard-4B、LlamaGuard3-8B、AgentDoG-4B 等 9 个

    摘要提出基于内部表征的智能体轨迹安全检测方法 TACIT，揭示工具风险表征特性并在多项基准上提升检测表现与效率。

    深度解读完整解读
  7. 防御arXiv 2607.13716

    CAVA：面向智能体 AI 运行时治理的规范动作验证与证明

    提出 CAVA，将异构智能体动作规范为可哈希指纹并绑定审批回执

    arXiv
    2607.13716
    发表
    层
    应用层
    场景
    AI Agent
    摘要CAVA 用规范动作指纹承接异构运行时治理。

    CAVA 是给异构智能体运行时用的动作语义层，用来回答“被批准和被审计的到底是哪一个动作”。

    深度解读完整解读
  8. 评测与基准arXiv 2609.05535

    Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测

    提出 Mind2Web-Injection，评测网页 Agent 截图护栏的证据对齐

    arXiv
    2609.05535
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5.6-luna、Qwen3-VL-32B、Qwen3-VL-8B 等 6 个
    摘要作者称检测、定位和反事实响应在六个 VLM 上可分开。

    Mind2Web-Injection 用来检查网页截图护栏的判决是否对齐到该用的画面证据。。

    深度解读完整解读
  10. 评测与基准arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 11 个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
  12. 防御arXiv 2608.24017

    WebMCP-Phalanx：为浏览器内 LLM Agent 工具调用建立信任边界

    提出 WebMCP-Phalanx，用能力凭证与双智能体隔离浏览器工具面

    arXiv
    2608.24017
    发表
    层
    应用层
    场景
    AI Agent
    摘要Phalanx 用浏览器凭证绑定工具所有权，Q/P 分离拦住描述注入，工具名与返回值仍有残留。

    WebMCP-Phalanx针对浏览器里的 WebMCP 智能体：在 SOP 下补工具所有权，并把语义检查从有工具权的执行中分开。

    深度解读完整解读
  14. 防御arXiv 2610.01349

    PACE：面向工具调用 LLM Agent 的来源感知能力强制执行

    提出 PACE，在工具调用前对 Agent 做路径隔离与效果授权

    arXiv
    2610.01349
    发表
    层
    应用层
    场景
    AI Agent
    测试
    gpt-5.6-luna、DeepSeek-V4-Flash、Qwen-3.8-27B
    摘要PACE 在工具边界做路径割与效果核验。

    PACE 是面向工具调用型 LLM 智能体的运行时调解：当准入证据无法区分会改变行为的规格时，不在出口站点上撤销调解，而在最后一次工具调用前同时检查表示出的影响路径和请求权限。

    深度解读完整解读
  15. 防御arXiv 2610.00797

    Sapien：面向自主 AI 智能体的有状态策略引擎

    提出有状态策略引擎 Sapien，拦截被劫持智能体的越权工具调用

    arXiv
    2610.00797
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Gemini 3.8 Flash、Gemini 3.1 Pro、Claude Sonnet 5 等 4 个
    摘要Sapien 用有状态上下文策略约束工具序列，在近似保住效用的同时拦住多数被劫持轨迹。

    Sapien 是面向通用 AI 智能体的有状态策略引擎：执行前把用户提示词译成任务策略，运行时只放行该策略承认的工具调用序列。

    深度解读完整解读
  16. 评测与基准arXiv 2604.07223

    TraceSafe-Bench：评估 LLM 护栏在多步工具调用轨迹上的表现

    提出基准 TRACE SAFE-BENCH 评测多步工具调用轨迹护栏

    arXiv
    2604.07223
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5 mini、GPT-5.4 mini、Gemini3-Flash 等 15 个
    摘要TRACE SAFE-BENCH 用可控变异评轨迹护栏，结构能力比规模和越狱鲁棒性更相关。

    TRACE SAFE-BENCH 用固定的多步工具轨迹评护栏，问的是不安全动作到达环境之前能否被拦住，而不是智能体自己会不会拒绝。

    深度解读完整解读
  17. 防御arXiv 2601.10156

    ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用

    提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用

    arXiv
    2601.10156
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-4o、Qwen3-8B、Qwen2.5-7B-Instruct 等 10 个
    摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。

    ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。

    深度解读完整解读
  19. 防御arXiv 2609.22573

    研究提出面向企业 MCP 的零信任授权与工具发现方案

    提出企业 MCP 的零信任授权扩展，拒绝提示注入下的越权工具调用

    arXiv
    2609.22573
    发表
    层
    应用层
    场景
    AI Agent
    测试
    gpt-5、claude-sonnet-4-6、claude-opus-4-7 等 6 个
    摘要同一份按工具声明同时管 MCP 的发现、列表和调用，使注入不能扩大已有凭证的权限。

    作者把零信任放在 MCP 工具调用边界：智能体即使被提示注入，也不能调用其凭证范围之外的工具。问题来自三点部署性质。调用意图会随不可信上下文改变。

    深度解读完整解读
加载更多