跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 6 篇
筛选2

攻击类型

提示注入4投毒与后门1

攻击技术

编码与混淆1跨模态载荷3

模型自身风险

拒答失当1

防御类型

检测与过滤1

影响

有害内容1越权操作3输出被操纵1可用性与可靠性1

系统形态

AI Agent6编程 Agent1网页与电脑操作1

攻击面/入口

用户输入1网页与界面1文档与消息1工具返回1工具与技能描述1图像与音视频3分发渠道1

层

应用层6

系统组件

MCP 与技能9记忆12RAG3护栏与评审2监控器7权限与沙箱6视觉4音频1多模态4

被测模型厂商

OpenAI5其他6
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 383 篇还没打标签，不在筛选结果里。
系统组件：护栏与评审系统组件：多模态话题：Agent 安全清除全部

另有 383 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv:2610.07359 ·

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 指标，测量智能体动作门禁堆叠的错误相关性与等效层数

    AI Agent测试GPT-5.5 (gpt55)、claude-haiku-4-5-20251001、claude-sonnet-5 等 6 个应用层
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    完整解读
  3. 评测与基准arXiv:2610.03938 ·

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测启用工具调用后多模态模型拒答有害图文请求的变化

    AI Agent测试Gemini-2.5-Pro、Gemini-3.1-Pro-Preview、Claude Opus 4.6 等 13 个应用层
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    完整解读
  4. 评测与基准arXiv:2610.03448 ·

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    AI Agent测试Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个应用层

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    完整解读
已经到底了