跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 38 篇
筛选1

攻击类型

越狱4提示注入16投毒与后门6恶意使用3

攻击技术

自动化搜索2多轮渐进1编码与混淆4跨模态载荷2针对防御1潜伏触发2诱导选用1

模型自身风险

欺骗与谋划1失准与价值偏离4Agent 危险操作5危险能力1拒答失当1

防御类型

检测与过滤2指令与数据隔离1权限与审批2监控与审计3

影响

有害内容1越权操作18数据与隐私泄露6输出被操纵6可用性与可靠性3监督失效2

系统形态

LLM 应用3AI Agent35编程 Agent10网页与电脑操作6多智能体2

攻击者权限

黑盒1

攻击面/入口

用户输入9网页与界面3文档与消息3工具返回7工具与技能描述6代码仓库与依赖5检索语料1记忆写入6Agent 间消息1图像与音视频2分发渠道3推理服务与硬件1

层

应用层38

系统组件

MCP 与技能6记忆5RAG3护栏与评审2监控器3权限与沙箱5视觉3多模态3

被测模型厂商

OpenAI58Anthropic43Qwen（阿里）38Google31DeepSeek28智谱 GLM24Meta22Kimi（月之暗面）21xAI12MiniMax8Mistral7其他17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 377 篇还没打标签，不在筛选结果里。
被测模型厂商：Qwen（阿里）话题：Agent 安全清除全部

另有 377 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv:2610.05532 ·

    DelegationBench 发布：Agent 判断该问用户时

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    AI Agent测试Qwen 3.6 27B、GPT-5.6 Sol、GPT-5.6 Terra 等 10 个应用层
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    完整解读
  9. 评测与基准arXiv:2610.04575 ·

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控从探针分数到告警策略的有效性

    AI Agent测试Qwen2.5-7B-Instruct、Qwen2.5-7B、Qwen-14B 等 4 个应用层
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    完整解读
  10. 评测与基准arXiv:2610.03938 ·

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测启用工具调用后多模态模型拒答有害图文请求的变化

    AI Agent测试Qwen3-VL-235B-A22B-Instruct、Qwen3.5-122B-A10B、Gemini-2.5-Pro 等 13 个应用层
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    完整解读
  13. 评测与基准arXiv:2604.02947 ·

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    网页与电脑操作编程 Agent测试Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个应用层
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    完整解读
  15. 评测与基准arXiv:2610.03448 ·

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    AI Agent测试Qwen2.5-7B-Instruct、Horizon-Labs、Wolf Defender 等 15 个应用层

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    完整解读
加载更多