跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 39 篇
筛选3

攻击类型

越狱4提示注入15投毒与后门6恶意使用3

攻击技术

自动化搜索3多轮渐进1编码与混淆3跨模态载荷2潜伏触发3诱导选用1

模型自身风险

欺骗与谋划4奖励作弊1失准与价值偏离5Agent 危险操作4危险能力1

防御类型

检测与过滤1指令与数据隔离1权限与审批2监控与审计3

影响

有害内容1越权操作18数据与隐私泄露3输出被操纵8可用性与可靠性2监督失效3

系统形态

LLM 应用3AI Agent36编程 Agent11网页与电脑操作2多智能体5

攻击者权限

黑盒1

攻击面/入口

用户输入10网页与界面1文档与消息3工具返回5工具与技能描述6代码仓库与依赖5检索语料1记忆写入7Agent 间消息2图像与音视频2分发渠道2推理服务与硬件1

层

应用层39

系统组件

MCP 与技能7记忆8RAG3护栏与评审1监控器3权限与沙箱5视觉2音频1多模态2

被测模型厂商

OpenAI64Anthropic47Qwen（阿里）40Google33DeepSeek31智谱 GLM26Kimi（月之暗面）24Meta22xAI14MiniMax9Mistral7其他17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 373 篇还没打标签，不在筛选结果里。
被测模型厂商：DeepSeek被测模型厂商：Mistral被测模型厂商：xAI话题：Agent 安全清除全部

另有 373 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 评测与基准arXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 指标，测量智能体动作门禁堆叠的错误相关性与等效层数

    arXiv
    2610.07359
    发表
    层
    应用层
    场景
    AI Agent
    测试
    deepseek-v4-flash、GPT-5.5 (gpt55)、claude-haiku-4-5-20251001 等 6 个
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    深度解读完整解读
  4. 评测与基准arXiv 2610.07089

    研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

    构建统一滥用监视基准，用危害窗口评测跨威胁动作监控

    arXiv
    2610.07089
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Mistral Small 3.2 24B、Gemma 4 26B-A4B、Qwen3.6 27B 等 12 个

    摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。

    深度解读完整解读
  7. 评测与基准arXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench，评测去中心化交易智能体的违规与失信

    arXiv
    2610.06748
    发表
    层
    应用层
    场景
    多智能体
    测试
    DeepSeek-V4-Pro、GPT-5.5、GPT-5.4 等 5 个
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  8. 评测与基准arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepSeek-V3、Mistral Large 2、DeepSeek-R1 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  9. 评测与基准arXiv 2610.05586

    AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测

    构建 AGENTDOXX 评测联网搜索智能体对匿名访谈的再识别能力

    arXiv
    2610.05586
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepSeek-V4 Flash、GPT-5.6 Terra、GPT-5 Mini 等 10 个

    摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。

    深度解读完整解读
  10. 评测与基准arXiv 2610.02664

    论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束

    提出 STAR-Guard 双层防御缓解长程智能体遗忘安全约束

    arXiv
    2610.02664
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepSeek-V4-Pro、GPT-5.5、GLM-5.2 等 7 个

    摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。

    深度解读完整解读
  11. 评测与基准arXiv 2610.03153

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    提出 EvoRiskBench，评测工作区智能体的运行时安全风险

    arXiv
    2610.03153
    发表
    层
    应用层
    场景
    编程 Agent、多智能体
    测试
    DeepSeek-V4-Pro-0813、GPT-5.6 Sol、Claude Opus 5

    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    深度解读完整解读
  12. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测智能体框架的多模态提示注入

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Grok 4.3、Claude Opus 4.8、GPT-5.4 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  13. 评测与基准arXiv 2608.09476

    ActBench：面向协作智能体行为安全的自演化基准

    构建 ActBench 评测协作智能体多步执行中的操作级行为安全

    arXiv
    2608.09476
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Grok-4.5、Deepseek-v4-Pro、Deepseek-v4-Flash 等 15 个

    摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。

    深度解读完整解读
  15. 评测与基准arXiv 2609.35799

    研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

    在模拟环境中复现级联失准行为并降低审计诱导开销

    arXiv
    2609.35799
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Grok 4.6、GLM 5.2、GLM 5.3 等 9 个

    摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。

    深度解读完整解读
  16. 评测与基准arXiv 2608.11469

    SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

    构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力

    arXiv
    2608.11469
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    DeepSeek-V4.1-Flash、Grok-4.5、GPT-6-Astra 等 11 个
    摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。

    作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。

    深度解读完整解读
  19. 评测与基准arXiv 2609.31342

    研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案

    构建知识逆转基准，评测陈旧检索证据如何推翻模型原本正确的回答

    arXiv
    2609.31342
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    DeepSeek-V3、DeepSeek-R1、GPT-4o 等 13 个
    摘要论文评测了陈旧检索推翻正确知识的中毒现象，并分析了其内部机制与防御局限。

    这篇论文是对检索增强生成（RAG）中“陈旧文档中毒”现象的实证与机理评估研究。

    深度解读完整解读
  20. 评测与基准arXiv 2609.08258

    研究实测五套 Agent 记忆系统均不执行撤销标记

    评测智能体记忆软撤回是否生效，并提出陈旧检索防护

    arXiv
    2609.08258
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Grok-4、DeepSeek-V4-Flash、Grok-4-Fast 等 9 个

    摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。

    深度解读完整解读
加载更多