跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 59 篇
筛选2

攻击类型

越狱3提示注入20投毒与后门11恶意使用4

攻击技术

自动化搜索4多轮渐进1编码与混淆4跨模态载荷3针对防御1潜伏触发6诱导选用2

模型自身风险

欺骗与谋划7奖励作弊1失准与价值偏离5Agent 危险操作9危险能力4拒答失当1

防御类型

检测与过滤2指令与数据隔离1权限与审批2监控与审计6

影响

有害内容1越权操作27数据与隐私泄露9输出被操纵5可用性与可靠性3监督失效6滥用能力提升1

系统形态

模型与 API1LLM 应用3AI Agent59编程 Agent22网页与电脑操作7多智能体5

攻击者权限

黑盒1

攻击面/入口

用户输入11网页与界面3文档与消息5工具返回8工具与技能描述8代码仓库与依赖7检索语料1记忆写入10Agent 间消息3图像与音视频3分发渠道3推理服务与硬件1

层

应用层59

系统组件

MCP 与技能9记忆12RAG2护栏与评审2监控器7权限与沙箱6视觉4音频1多模态4

被测模型厂商

OpenAI53Anthropic40Qwen（阿里）34Google29DeepSeek24智谱 GLM23Kimi（月之暗面）20Meta18xAI12MiniMax8Mistral5其他12
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 383 篇还没打标签，不在筛选结果里。
系统形态：AI Agent系统形态：网页与电脑操作话题：Agent 安全清除全部

另有 383 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv:2610.05532 ·

    DelegationBench 发布：Agent 判断该问用户时

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    AI Agent测试GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个应用层
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    完整解读
  9. 评测与基准arXiv:2610.07359 ·

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 指标，测量智能体动作门禁堆叠的错误相关性与等效层数

    AI Agent测试GPT-5.5 (gpt55)、claude-haiku-4-5-20251001、claude-sonnet-5 等 6 个应用层
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    完整解读
  16. 评测与基准arXiv:2610.04575 ·

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控从探针分数到告警策略的有效性

    AI Agent测试Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个应用层
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    完整解读
  17. 评测与基准arXiv:2610.06748 ·

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench，评测去中心化交易智能体的违规与失信

    多智能体测试GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个应用层
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    完整解读
  18. 评测与基准arXiv:2610.03938 ·

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测启用工具调用后多模态模型拒答有害图文请求的变化

    AI Agent测试Gemini-2.5-Pro、Gemini-3.1-Pro-Preview、Claude Opus 4.6 等 13 个应用层
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    完整解读
加载更多