跳到正文
10月9日 · 周五

全部论文

找到 23 篇
筛选6

攻击类型

越狱2提示注入4投毒与后门5恶意使用1

攻击技术

多轮渐进2角色扮演与说服1跨模态载荷1潜伏触发2诱导选用1

模型自身风险

欺骗与谋划3失准与价值偏离3Agent 危险操作1拒答失当2幻觉与编造1

防御类型

监控与审计1水印与溯源1

影响

有害内容4越权操作47数据与隐私泄露15输出被操纵19可用性与可靠性6监督失效23滥用能力提升4

系统形态

模型与 API1LLM 应用25AI Agent59编程 Agent8网页与电脑操作3多智能体14具身与机器人1

攻击者权限

黑盒2

攻击面/入口

用户输入4网页与界面2文档与消息2工具与技能描述1检索语料1记忆写入1Agent 间消息3图像与音视频1训练数据2权重与梯度1分发渠道1

层

提示层1模型层1应用层23训练与数据层2

系统组件

MCP 与技能1记忆2RAG1护栏与评审1监控器1视觉1多模态1
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 530 篇还没打标签，不在筛选结果里。
影响：有害内容影响：输出被操纵系统形态：编程 Agent系统形态：网页与电脑操作系统形态：多智能体层：应用层清除全部

另有 530 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱，在 IDE 编程 Agent 多轮流程中诱导生成有害代码

    arXiv
    2607.03968
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  3. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  4. 评测与基准arXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信

    arXiv
    2610.06748
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  5. 风险行为arXiv 2610.03033

    研究：LLM 智能体间的数值信号与协调行为

    测量多智能体博弈中数值信号的结构及其对合作的影响

    arXiv
    2610.03033
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    GPT-4o (gpt-4o-2024-11-20)、Mistral Large (mistral-large-2512)、Claude Haiku 4.5 (claude-haiku-4-5-20251001) 等 4 个
    摘要受指令数值会形成锚定收益的结构并影响接收方，但合作效应不能跨模型外推。

    四种 LLM 在四个经典两人博弈中交换无预设语义的数字时，消息结构可以跨模型出现，合作水平的变化则不能跨模型外推。

    深度解读完整解读
  6. 评测与基准arXiv 2609.02095

    READY：面向企业 Agent 部署的可靠性资格认证框架

    提出 READY 资格框架，评测企业 Agent 在监督下的可靠性与复核成本

    arXiv
    2609.02095
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    Opus 5、Sonnet 5、GPT-5.6-Sol 等 15 个
    摘要READY 把工作流证据转成可检验的可靠性–监督–成本部署画像。

    READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性，以及要付多少运营成本”。。

    深度解读完整解读
  7. 防御arXiv 2610.02005

    贝叶斯辩证论证（BDA）：面向持续对抗下多 LLM 委员会的可校准聚合

    提出 BDA，把多 LLM 议会的辩证动作当可靠性证据做加权聚合

    arXiv
    2610.02005
    发表
    层
    应用层
    场景
    多智能体
    摘要BDA 用零额外调用的可靠性加权，给出可校准后验，并在持续对抗下反转不可靠席位。

    BDA 是一种不另调 LLM 的多 LLM 议会聚合方法，同时处理置信度校准和持续不可靠席位。

    深度解读完整解读
  8. 攻击arXiv 2607.12340

    研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击

    提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持

    arXiv
    2607.12340
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 12 个
    摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。

    深度解读完整解读
  11. 防御arXiv 2609.15803

    研究者提出 k-robust 联盟对齐，用多智能体评审委托授权

    提出 k-robust 联盟对齐，刻画失准评审下委托授权的安全条件

    arXiv
    2609.15803
    发表
    层
    应用层
    场景
    多智能体
    摘要联盟覆盖使无个体对齐的评审面板仍可相对基线安全授权，数值分数改善完备性。

    委托授权的安全不要求每位评审者对齐，而要求面板在效用空间覆盖委托人。

    深度解读完整解读
  14. 攻击arXiv 2609.17817

    论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码

    提出基准投毒攻击，使自修改编码智能体跨代写出漏洞代码

    arXiv
    2609.17817
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 5 个

    摘要论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞，警示系统设计需纳入安全约束。

    深度解读完整解读
  15. 攻击arXiv 2609.39788

    研究：多智能体系统潜在通信链路可被训练用于提升有害顺从

    提出只改多智能体潜在通信链路以提高有害遵从的攻击

    arXiv
    2609.39788
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Llama-3.2-3B-Instruct、Qwen2.5-3B-Instruct、Gemma-3-1B-IT 等 7 个
    摘要潜在链路本身即可改变冻结智能体系统的安全，奖励既能攻击也能修复。

    学习得到的潜在通信链路会改变由冻结、对齐智能体组成的系统是否遵从有害请求。。作者研究三种拓扑：双智能体、三级顺序协作，以及双专家加汇总。

    深度解读完整解读
  16. 评测与基准arXiv 2609.09798

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    arXiv
    2609.09798
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    被测模型
    CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    深度解读完整解读
  18. 评测与基准arXiv 2609.39578

    Box² Bench：语言模型能否有选择地依赖外部指导

    提出 Box2-Bench，评测模型能否选择性依赖外部工作流

    arXiv
    2609.39578
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    被测模型
    Gemini 3.7 Flash、DeepSeek V4 Flash、GLM 5.2 等 9 个
    摘要Box2 把利用与稳健拆开。

    Box2-Bench 固定任务与模型，只改变工作流可靠性，用来衡量模型能否选择性依赖可能出错的外部指导。

    深度解读完整解读
  19. 评测与基准arXiv 2609.39146

    MADBench：多智能体辩论安全性评测基准发布

    发布 MADBench，评测多智能体辩论会吸收还是放大对抗影响

    arXiv
    2609.39146
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    gpt-4o、GPT-5、GPT-6 Astra
    摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。

    MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。

    深度解读完整解读
加载更多