跳到正文
10月9日 · 周五

Agent 安全 · 论文

找到 33 篇
筛选3

攻击类型

越狱2提示注入15投毒与后门4恶意使用1

攻击技术

自动化搜索3编码与混淆1跨模态载荷2潜伏触发3

模型自身风险

欺骗与谋划4奖励作弊2失准与价值偏离6Agent 危险操作6危险能力1拒答失当1

防御类型

模型加固2推理时干预1检测与过滤2指令与数据隔离3权限与审批1

影响

有害内容1越权操作18数据与隐私泄露1输出被操纵4可用性与可靠性3监督失效3

系统形态

LLM 应用1AI Agent33编程 Agent4网页与电脑操作5多智能体6

攻击面/入口

用户输入4网页与界面6文档与消息6工具返回5工具与技能描述2代码仓库与依赖2记忆写入5Agent 间消息1图像与音视频2分发渠道1推理服务与硬件1

层

模型层1应用层33训练与数据层1

系统组件

MCP 与技能4记忆6护栏与评审1监控器3权限与沙箱2视觉4音频1多模态4

被测模型厂商

OpenAI181Qwen（阿里）144Anthropic121Google108DeepSeek97Meta69智谱 GLM69Kimi（月之暗面）60Mistral31xAI27MiniMax25Microsoft12NVIDIA8字节跳动6其他69
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 268 篇还没打标签，不在筛选结果里。
层：应用层被测模型厂商：xAI被测模型厂商：字节跳动话题：Agent 安全清除全部

另有 268 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    DoubaoSeed-1.6、Qwen2.5-VL(32B)、Qwen3-VL(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  4. 风险行为arXiv 2609.39050

    研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控

    测量良性多智能体协作中自发隐蔽传递凭据以绕过监控

    arXiv
    2609.39050
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    Grok-4.5、DeepSeek-V4-Pro、devstral-2512 等 15 个

    摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。

    深度解读完整解读
  5. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA，用分支能力约束与代理拦截防御计算机使用 Agent 的分支引导攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    UI-TARS-1.5-7B、gpt-5、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  6. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测智能体框架的多模态提示注入

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Grok 4.3、Claude Opus 4.8、GPT-5.4 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  8. 攻击arXiv 2609.35576

    研究提出跨 LLM 助手的记忆跳跃攻击

    提出跨独立助手的工件介导记忆跳跃自传播攻击

    arXiv
    2609.35576
    发表
    层
    应用层
    场景
    多智能体
    测试
    Grok 4.6、GPT-5.6 Luna、Kimi-K2.6 等 6 个
    摘要论文证实持久工件与内存可形成跨智能体传播链，揭示了将共享工件纳入安全防线的重要意义。

    该论文系统研究并量化了通过共享持久工件在具有独立私有内存的 LLM 智能体之间发生自传播的“工件介导传播”攻击风险。

    深度解读完整解读
  9. 评测与基准arXiv 2608.09476

    ActBench：面向协作智能体行为安全的自演化基准

    提出自演化基准 ActBench，评测协作智能体的操作级行为安全

    arXiv
    2608.09476
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Grok-4.5、Claude-Opus-4.8、Claude-Sonnet-4.6 等 15 个

    摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。

    深度解读完整解读
  11. 风险行为arXiv 2609.35799

    研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

    在模拟环境中复现级联失准行为并降低审计诱导开销

    arXiv
    2609.35799
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Grok 4.6、GLM 5.2、GLM 5.3 等 9 个

    摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。

    深度解读完整解读
  12. 评测与基准arXiv 2608.11469

    SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

    构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力

    arXiv
    2608.11469
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Grok-4.5、GPT-6-Astra、GPT-5.6-Sol 等 11 个
    摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。

    作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。

    深度解读完整解读
  14. 评测与基准arXiv 2609.08258

    研究实测五套 Agent 记忆系统均不执行撤销标记

    评测智能体记忆软撤回是否生效，并提出陈旧检索防护

    arXiv
    2609.08258
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Grok-4、Grok-4-Fast、GPT-5.5 等 9 个

    摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。

    深度解读完整解读
  15. 攻击arXiv 2607.05189

    研究者提出 MemGhost，对持久化个人 Agent 实现隐蔽记忆注入

    提出 MEMGHOST，以单封恶意邮件向持久个人智能体注入隐蔽记忆

    arXiv
    2607.05189
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Grok 4.1 Fast、GPT-5.4、Claude Sonnet 4.6 等 6 个
    摘要总结了论文的研究背景、双代理优化方法 MEMGHOST、全周期实验结果以及作者对记忆信任边界的启示。

    本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。

    深度解读完整解读
  17. 评测与基准arXiv 2609.35596

    SEABench：评测自演化智能体的内生失配

    提出 SEABench，评测无参数自进化智能体的内生失配

    arXiv
    2609.35596
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Grok 4.3、Kimi K2.5、GPT 5.6 Luna 等 4 个
    摘要SEABench 显示无参数自进化能提高任务完成，同时在配对未进化基线安全的下游任务上引入可归因的安全失败。

    SEABench 是一个面向个人助理、参数不更新的自进化智能体基准，用来测量局部适应如何变成后续任务上的内生失配。。

    深度解读完整解读
  19. 攻击arXiv 2610.01768

    LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄

    提出 LLMLeak，把机密编进报错 URL，借聊天机器人网页抓取外传

    arXiv
    2610.01768
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Grok、Meta-Llama-3.3-70B-Instruct、Meta-Llama-4-Scout-17B-16E-Instruct 等 15 个
    摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。

    LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。

    深度解读完整解读
  20. 风险行为arXiv 2609.35928

    论文发现暴露模型身份标签会削弱多智能体 LLM 合作

    测量公开模型家族标签引发的多智能体派系化与合作下降

    arXiv
    2609.35928
    发表
    层
    应用层
    场景
    多智能体
    测试
    Seed-OSS (Seed-OSS-36B-Instruct)、Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b) 等 6 个
    摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。

    Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。

    深度解读完整解读
加载更多