跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 31 篇
筛选2

攻击类型

越狱3提示注入14投毒与后门6恶意使用2

攻击技术

自动化搜索1多轮渐进1编码与混淆3跨模态载荷2针对防御1潜伏触发2诱导选用2

模型自身风险

欺骗与谋划1失准与价值偏离3Agent 危险操作8

防御类型

检测与过滤2指令与数据隔离1权限与审批2监控与审计1

影响

有害内容1越权操作27数据与隐私泄露9输出被操纵7可用性与可靠性4监督失效7滥用能力提升1

系统形态

LLM 应用1AI Agent30编程 Agent11网页与电脑操作3多智能体4

攻击者权限

黑盒1

攻击面/入口

用户输入8文档与消息1工具返回6工具与技能描述8代码仓库与依赖5记忆写入6Agent 间消息3图像与音视频2分发渠道3推理服务与硬件1

层

应用层31

系统组件

MCP 与技能8记忆6护栏与评审2监控器1权限与沙箱5视觉2音频1多模态2

被测模型厂商

OpenAI27Anthropic22Qwen（阿里）20DeepSeek13智谱 GLM13Kimi（月之暗面）13Google12Meta11xAI8Mistral5MiniMax5其他6
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 383 篇还没打标签，不在筛选结果里。
影响：越权操作影响：可用性与可靠性话题：Agent 安全清除全部

另有 383 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv:2610.05532 ·

    DelegationBench 发布：Agent 判断该问用户时

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    AI Agent测试GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个应用层
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    完整解读
  3. 评测与基准arXiv:2610.07359 ·

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 指标，测量智能体动作门禁堆叠的错误相关性与等效层数

    AI Agent测试GPT-5.5 (gpt55)、claude-haiku-4-5-20251001、claude-sonnet-5 等 6 个应用层
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    完整解读
  8. 评测与基准arXiv:2610.06748 ·

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench，评测去中心化交易智能体的违规与失信

    多智能体测试GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个应用层
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    完整解读
  9. 评测与基准arXiv:2604.02947 ·

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    网页与电脑操作编程 Agent测试Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个应用层
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    完整解读
  12. 评测与基准arXiv:2610.03448 ·

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    AI Agent测试Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个应用层

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    完整解读
  19. 评测与基准arXiv:2608.18066 ·

    Salesforce AI Research 重测自改进 Agent

    重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

    网页与电脑操作测试GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个应用层
    摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。

    这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。

    完整解读
加载更多