跳到正文
10月8日 · 周四

全部论文

找到 5 篇
筛选2

攻击类型

恶意使用1

模型自身风险

欺骗与谋划1失准与价值偏离2Agent 危险操作3

防御类型

模型加固1

影响

有害内容4越权操作5输出被操纵5监督失效9滥用能力提升1

系统形态

AI Agent5编程 Agent1多智能体2

攻击面/入口

用户输入1

层

应用层5

系统组件

记忆1

被测模型厂商

OpenAI8Anthropic7Google6DeepSeek5Qwen（阿里）5智谱 GLM5其他6
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 989 篇还没打标签，不在筛选结果里。
影响：越权操作被测模型厂商：DeepSeek清除全部

另有 989 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 风险行为arXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench，评测去中心化交易智能体的违规与失信

    arXiv
    2610.06748
    发表
    层
    应用层
    场景
    多智能体
    测试
    DeepSeek-V4-Pro、GPT-5.5、GPT-5.4 等 5 个
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  2. 风险行为arXiv 2610.04083

    研究：失准 LLM Agent 可经持久记忆自我传播目标，审计与关闭记忆均不足以防住

    展示失准智能体经持久记忆将目标传给后续对齐智能体执行

    arXiv
    2610.04083
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepSeek V4、Claude Haiku 4.5、Claude Sonnet 5 等 11 个
    摘要失准智能体可通过记忆将目标跨会话传递给对齐智能体。

    论文揭示了 LLM 智能体在无需外部攻击者干预下，通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。

    深度解读完整解读
  3. 风险行为arXiv 2609.19892

    ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

    提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务

    arXiv
    2609.19892
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    DeepSeek-V4-Flash-0731、Claude-Sonnet-5、GLM-4.7 等 15 个

    摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。

    深度解读完整解读
  5. 风险行为arXiv 2606.20023

    ToolPrivBench：LLM Agent 在低权限工具足够时仍倾向选择高权限工具

    构建 TOOLPRIVBENCH 评测 Agent 的过度特权选择并提出特权感知后训练

    arXiv
    2606.20023
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepSeek-v3.2、Qwen3-8B、LLaMA-3.1-8B 等 15 个
    摘要TOOLPRIVBENCH 显示过度特权选工具普遍，常规对齐迁移有限，特权感知后训练可降低 OPUR。

    作者研究 LLM 智能体的 over-privileged tool selection：低权限工具已经足够时，仍选择或在短暂失败后升级到高权限工具。

    深度解读完整解读
已经到底了