跳到正文
10月9日 · 周五

Agent 安全 · 论文

找到 13 篇
筛选4

攻击类型

提示注入4投毒与后门3恶意使用1

攻击技术

梯度与表征优化1自动化搜索1潜伏触发3

模型自身风险

欺骗与谋划2失准与价值偏离3Agent 危险操作1

影响

有害内容6越权操作12数据与隐私泄露3输出被操纵12可用性与可靠性1监督失效11

系统形态

模型与 API3LLM 应用8AI Agent48编程 Agent7网页与电脑操作5多智能体10具身与机器人1

攻击面/入口

用户输入4文档与消息2工具返回1检索语料1记忆写入1Agent 间消息1图像与音视频1训练数据1权重与梯度1

层

模型层1应用层10训练与数据层1基础设施层1

系统组件

记忆3RAG1微调与开源权重1视觉1多模态1

被测模型厂商

OpenAI8Qwen（阿里）7DeepSeek5Google5其他9
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 257 篇还没打标签，不在筛选结果里。
影响：输出被操纵影响：可用性与可靠性系统形态：模型与 API系统形态：多智能体话题：Agent 安全清除全部

另有 257 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  2. 评测与基准arXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信

    arXiv
    2610.06748
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  3. 攻击arXiv 2610.05793

    研究者训练出按多智能体拓扑触发的代码后门模型

    提出拓扑条件后门，使模型在推断多智能体部署时向代码插入隐蔽漏洞

    arXiv
    2610.05793
    发表
    层
    训练与数据层
    场景
    编程 Agent、多智能体
    测试
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    深度解读完整解读
  5. 风险行为arXiv 2609.35928

    论文发现暴露模型身份标签会削弱多智能体 LLM 合作

    测量公开模型家族标签引发的多智能体派系化与合作下降

    arXiv
    2609.35928
    发表
    层
    应用层
    场景
    多智能体
    测试
    Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b)、Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16) 等 6 个
    摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。

    Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。

    深度解读完整解读
  6. 攻击arXiv 2609.28613

    研究：提示注入可改变 Jev 决策模型的行动概率

    测量间接提示注入对类型化概率决策的动作劫持

    arXiv
    2609.28613
    发表
    层
    应用层
    场景
    模型与 API
    测试
    jev-1.13.0
    摘要封闭动作集改变提示注入的表现，但没有去掉概率被不可信内容移动的风险。

    作者在 jev-1.13.0 上研究 decision hijacking：不可信内容能否在用户任务和可选动作都不变时，把类型化决策推向攻击者目标。

    深度解读完整解读
  8. 评测与基准arXiv 2609.39146

    MADBench：多智能体辩论安全性评测基准发布

    发布 MADBench，评测多智能体辩论会吸收还是放大对抗影响

    arXiv
    2609.39146
    发表
    层
    应用层
    场景
    多智能体
    测试
    gpt-4o、GPT-5、GPT-6 Astra
    摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。

    MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。

    深度解读完整解读
  9. 防御arXiv 2609.39297

    MiniRep：面向多智能体辩论的鲁棒声誉聚合方法

    提出 MiniRep，按当前质量、风险与历史声誉聚合多智能体辩论

    arXiv
    2609.39297
    发表
    层
    应用层
    场景
    多智能体
    测试
    七个 API 可访问 LLM 组成的十智能体池（论文按数据集单独排名为 strong/weak，正文未列出模型名）、1.5B semantic verifier
    摘要MiniRep 用当前提案证据校准历史声誉并限制克隆组，MATH 上平均准确率高于基线，其他任务有反例。

    MiniRep 是面向恶意智能体的 MAD 声誉聚合，只作用在 Decide 阶段。

    深度解读完整解读
  11. 评测与基准arXiv 2609.39473

    FAME：用反事实推理评测自主智能体的虚假记忆

    提出 FAME，用反事实概念漂移评测智能体虚假记忆

    arXiv
    2609.39473
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3B
    摘要FAME 用反事实引起的隐状态概念漂移，在出答案前区分忠实记忆与虚假记忆。

    FAME 是一个免训练的评测框架，用来判断自主智能体的记忆在虚假相关、环境偏移或知识冲突下是否已变成虚假记忆。。

    深度解读完整解读
  12. 风险行为arXiv 2609.36855

    研究：上游错误消息会让多智能体 LLM 下游覆盖正确答案

    测量多智能体交接中错误上游消息对正确答案的替换

    arXiv
    2609.36855
    发表
    层
    应用层
    场景
    多智能体
    测试
    gpt-4o-mini、gpt-5.4、kimi-k2.6 等 9 个
    摘要固定证据只改消息后，错误上游结论会定向替换下游本可答对的答案。

    这项受控研究考察多智能体 draft-review 交接里，一条上游消息会怎样改变下游原本能做对的判断。下游同时看到任务证据和上游消息。作者固定证据，比较消息隐藏、原样展示和结论反转，用消息价值τ和交互Γ分开“消息有用”和“消息有害”，并把能独立答对却改成上游具体错答称为substitution。

    深度解读完整解读
  13. 评测与基准arXiv 2609.05591

    WolfSociety：金融智能体社会中有害智能体规模带来的集体风险

    用 WolfBench 测量金融智能体社会中有害规模下的集体崩溃

    arXiv
    2609.05591
    发表
    层
    应用层
    场景
    多智能体
    测试
    DeepSeek V3.2、GPT-4.1、Qwen3-235B 等 6 个
    摘要更大的金融智能体社会在更低有害比例上崩溃，但所需有害人数仍增加。

    WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题：智能体经社交网络交流，并在共享市场里交易，形成从交流到行动再到后续决策的闭环。

    深度解读完整解读
已经到底了