跳到正文
10月9日 · 周五

全部论文

找到 21 篇
筛选4

攻击类型

越狱1提示注入6投毒与后门1恶意使用2

攻击技术

多轮渐进1角色扮演与说服1跨模态载荷1

模型自身风险

欺骗与谋划2奖励作弊1失准与价值偏离1Agent 危险操作3危险能力2

防御类型

权限与审批1监控与审计1

影响

有害内容1越权操作7输出被操纵5可用性与可靠性1监督失效2滥用能力提升1

系统形态

模型与 API12LLM 应用4AI Agent47编程 Agent11网页与电脑操作4多智能体7

攻击者权限

黑盒1

攻击面/入口

用户输入3网页与界面2文档与消息2工具与技能描述3代码仓库与依赖2检索语料1记忆写入2Agent 间消息2图像与音视频1分发渠道1

层

应用层21

系统组件

MCP 与技能2记忆1护栏与评审1监控器1权限与沙箱2视觉1多模态1

被测模型厂商

OpenAI42Anthropic31Qwen（阿里）30DeepSeek21智谱 GLM18Google16Kimi（月之暗面）14Meta9MiniMax6Mistral5xAI5其他9
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 664 篇还没打标签，不在筛选结果里。
系统形态：编程 Agent系统形态：网页与电脑操作系统形态：多智能体被测模型厂商：DeepSeek清除全部

另有 664 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 评测与基准arXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信

    arXiv
    2610.06748
    发表
    层
    应用层
    场景
    多智能体
    测试
    DeepSeek-V4-Pro、GPT-5.5、GPT-5.4 等 5 个
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  5. 评测与基准arXiv 2608.11469

    SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

    构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力

    arXiv
    2608.11469
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    DeepSeek-V4.1-Flash、GPT-6-Astra、GPT-5.6-Sol 等 11 个
    摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。

    作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。

    深度解读完整解读
  6. 评测与基准arXiv 2609.19892

    ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

    提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务

    arXiv
    2609.19892
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    DeepSeek-V4-Flash-0731、Claude-Sonnet-5、GLM-4.7 等 15 个

    摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。

    深度解读完整解读
  8. 评测与基准arXiv 2609.29465

    SWE-Prometheus：衡量真实代码仓库工程治理改进的基准

    提出 SWE-Prometheus，评测编码智能体改进真实仓库工程治理

    arXiv
    2609.29465
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    DeepSeek-V4-Pro、DeepSeek-V4-Flash、GPT-5.6-Sol 等 10 个
    摘要SWE-Prometheus 把治理改造拆成改进、行为保持和证据质量。

    SWE-Prometheus 评测编码智能体能否在没有给定缺陷的情况下，提高真实仓库的工程治理状态。

    深度解读完整解读
  9. 评测与基准arXiv 2609.06966

    Mole：面向前沿实验室 AI 智能体的内部威胁检测基准

    提出 MOLE 基准，评测监控器对智能体内部威胁的检出能力

    arXiv
    2609.06966
    发表
    层
    应用层
    场景
    多智能体
    测试
    DeepSeek-V4-Flash、DeepSeek-V4-Pro、DeepSeek-V3.2 等 15 个
    摘要MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。

    MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。。

    深度解读完整解读
  10. 评测与基准arXiv 2609.09798

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    arXiv
    2609.09798
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    DeepSeekCoder-V2-Lite-16B、CodeLlama-13B-Instruct、GPT-OSS-20B 等 7 个

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    深度解读完整解读
  11. 评测与基准arXiv 2609.19140

    AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

    用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销

    arXiv
    2609.19140
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    DeepSeek-V4 Flash、Gemma-4 31B、GPT-OSS 120B 等 6 个
    摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。

    深度解读完整解读
  15. 评测与基准arXiv 2609.39578

    Box² Bench：语言模型能否有选择地依赖外部指导

    提出 Box2-Bench，评测模型能否选择性依赖外部工作流

    arXiv
    2609.39578
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    DeepSeek V4 Flash、Gemini 3.7 Flash、GLM 5.2 等 9 个
    摘要Box2 把利用与稳健拆开。

    Box2-Bench 固定任务与模型，只改变工作流可靠性，用来衡量模型能否选择性依赖可能出错的外部指导。

    深度解读完整解读
  16. 评测与基准arXiv 2608.07556

    MasDrift：跨多智能体架构的授权保持基准

    用 MasDrift 评测多智能体架构的授权保持

    arXiv
    2608.07556
    发表
    层
    应用层
    场景
    多智能体
    测试
    DeepSeek V4 Flash、Qwen3.7 Plus、GPT-5.4 Nano 等 6 个
    摘要授权保持可被测量：层级用未授权动作换完成率，重锚定比沿链携带更稳。

    MasDrift 把多智能体设计中的授权保持做成可测量性质，对象是没有攻击者的普通委托。

    深度解读完整解读
  17. 评测与基准arXiv 2609.05591

    WolfSociety：金融智能体社会中有害智能体规模带来的集体风险

    用 WolfBench 测量金融智能体社会中有害规模下的集体崩溃

    arXiv
    2609.05591
    发表
    层
    应用层
    场景
    多智能体
    测试
    DeepSeek V3.2、GPT-4.1、Qwen3-235B 等 6 个
    摘要更大的金融智能体社会在更低有害比例上崩溃，但所需有害人数仍增加。

    WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题：智能体经社交网络交流，并在共享市场里交易，形成从交流到行动再到后续决策的闭环。

    深度解读完整解读
  18. 评测与基准arXiv 2609.17320

    Emergence World：对长时程多智能体系统开展对抗压力测试

    构建 Emergence World，评测长时程多智能体对抗韧性与群体失效

    arXiv
    2609.17320
    发表
    层
    应用层
    场景
    多智能体
    测试
    DeepSeek v4 Pro、Claude Opus 4.8、Gemini 3.5 Flash 等 9 个

    摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。

    深度解读完整解读
  19. 评测与基准arXiv 2609.24662

    DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准

    提出双控多智能体基准 DUMA-Bench，评测 Agent 策略违反

    arXiv
    2609.24662
    发表
    层
    应用层
    场景
    多智能体
    测试
    DeepSeek V3.2、GPT-5、GPT-5-mini 等 14 个
    摘要DUMA-Bench 用双控交互评测智能体安全。

    DUMA-Bench 把 τ²-bench 的双控交互做成智能体安全评测，用来看策略违反如何随用户、模型和环境一起出现。

    深度解读完整解读
加载更多