跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 64 篇
筛选3

攻击类型

越狱5提示注入21投毒与后门10恶意使用3

攻击技术

自动化搜索4多轮渐进1编码与混淆4跨模态载荷3针对防御1潜伏触发6诱导选用2

模型自身风险

欺骗与谋划9奖励作弊3失准与价值偏离5Agent 危险操作8危险能力4拒答失当1

防御类型

检测与过滤2指令与数据隔离1权限与审批2监控与审计6

影响

有害内容2越权操作25数据与隐私泄露9输出被操纵7可用性与可靠性3监督失效8滥用能力提升1

系统形态

LLM 应用3AI Agent61编程 Agent24网页与电脑操作7多智能体6

攻击者权限

黑盒1

攻击面/入口

用户输入12网页与界面3文档与消息6工具返回9工具与技能描述7代码仓库与依赖5记忆写入9Agent 间消息3图像与音视频3分发渠道3推理服务与硬件1

层

应用层64

系统组件

MCP 与技能8记忆12RAG2护栏与评审3监控器8推理链1权限与沙箱5视觉4音频1多模态4

被测模型厂商

OpenAI64Anthropic47Qwen（阿里）40Google33DeepSeek31智谱 GLM26Kimi（月之暗面）24Meta22xAI14MiniMax9Mistral7其他17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 373 篇还没打标签，不在筛选结果里。
被测模型厂商：OpenAI被测模型厂商：Mistral被测模型厂商：xAI话题：Agent 安全清除全部

另有 373 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2610.05532

    DelegationBench

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    arXiv
    2610.05532
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    深度解读完整解读
  5. 评测与基准arXiv 2605.01970

    Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准

    提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御

    arXiv
    2605.01970
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5-mini、GPT-5、Gemini 3.1 Pro

    摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。

    深度解读完整解读
  6. 评测与基准arXiv 2605.16626

    Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

    提出 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

    arXiv
    2605.16626
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-5.5、Claude Opus 4.6、Claude Opus 4.7 等 6 个

    摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。

    深度解读完整解读
  9. 评测与基准arXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 指标，测量智能体动作门禁堆叠的错误相关性与等效层数

    arXiv
    2610.07359
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5.5 (gpt55)、claude-haiku-4-5-20251001、claude-sonnet-5 等 6 个
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    深度解读完整解读
  10. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5.2、Qwen2.5-VL(32B)、Qwen3-VL(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  11. 评测与基准arXiv 2610.07274

    研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

    提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性

    arXiv
    2610.07274
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5.6 Sol、Claude Sonnet 4.6、Claude Opus 5 等 5 个

    摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。

    深度解读完整解读
  12. 评测与基准arXiv 2610.07089

    研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

    构建统一滥用监视基准，用危害窗口评测跨威胁动作监控

    arXiv
    2610.07089
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Mistral Small 3.2 24B、GPT-5.6 Luna、Gemma 4 26B-A4B 等 12 个

    摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。

    深度解读完整解读
  14. 评测与基准arXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench，评测去中心化交易智能体的违规与失信

    arXiv
    2610.06748
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  15. 评测与基准arXiv 2610.03938

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测启用工具调用后多模态模型拒答有害图文请求的变化

    arXiv
    2610.03938
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5.4、Gemini-2.5-Pro、Gemini-3.1-Pro-Preview 等 13 个
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    深度解读完整解读
  16. 评测与基准arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-4o、o3、Mistral Large 2 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  17. 评测与基准arXiv 2610.05586

    AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测

    构建 AGENTDOXX 评测联网搜索智能体对匿名访谈的再识别能力

    arXiv
    2610.05586
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5.6 Terra、GPT-5 Mini、GPT-4.1 Mini 等 10 个

    摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。

    深度解读完整解读
  19. 评测与基准arXiv 2610.02664

    论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束

    提出 STAR-Guard 双层防御缓解长程智能体遗忘安全约束

    arXiv
    2610.02664
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5.5、DeepSeek-V4-Pro、GLM-5.2 等 7 个

    摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。

    深度解读完整解读
  20. 评测与基准arXiv 2610.03153

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    提出 EvoRiskBench，评测工作区智能体的运行时安全风险

    arXiv
    2610.03153
    发表
    层
    应用层
    场景
    编程 Agent、多智能体
    测试
    GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    深度解读完整解读
加载更多