跳到正文
10月9日 · 周五

全部论文

找到 52 篇
筛选6

攻击类型

越狱1提示注入20投毒与后门14模型篡改8提取与窃取4检测规避6拒绝服务1恶意使用2

攻击技术

梯度与表征优化4自动化搜索4编码与混淆3推理链操控1针对防御3潜伏触发10

模型自身风险

欺骗与谋划1奖励作弊1失准与价值偏离2Agent 危险操作3拒答失当2

防御类型

模型加固3推理时干预2检测与过滤2指令与数据隔离3权限与审批4监控与审计3水印与溯源2

影响

有害内容4越权操作16数据与隐私泄露10输出被操纵11可用性与可靠性1监督失效7

系统形态

模型与 API15LLM 应用2AI Agent35编程 Agent16网页与电脑操作2多智能体14

攻击者权限

黑盒5灰盒1白盒4

攻击面/入口

用户输入104网页与界面37文档与消息53工具返回65工具与技能描述37代码仓库与依赖19检索语料13记忆写入28Agent 间消息15图像与音视频22训练数据7权重与梯度14分发渠道26推理服务与硬件3

层

提示层5模型层16应用层36训练与数据层48

系统组件

MCP 与技能7记忆4RAG2护栏与评审3监控器3推理链3权限与沙箱9微调与开源权重9图像生成2嵌入1多模态2

被测模型厂商

Qwen（阿里）26OpenAI22Google18Anthropic17Meta16DeepSeek10Mistral9智谱 GLM8Kimi（月之暗面）6其他23
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 489 篇还没打标签，不在筛选结果里。
攻击面/入口：代码仓库与依赖攻击面/入口：Agent 间消息攻击面/入口：训练数据攻击面/入口：权重与梯度层：模型层层：应用层清除全部

另有 489 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2609.37468

    论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法

    提出检索器后门攻击操纵智能体多轮搜索，并用 DOU 隐蔽后门

    arXiv
    2609.37468
    发表
    层
    应用层
    场景
    AI Agent
    测试
    E5、Contriever-MSMARCO、Qwen2.5-7B-Instruct

    摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。

    深度解读完整解读
  5. 攻击arXiv 2605.12673

    UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

    提出 BenchJack 系统审计智能体基准的奖励作弊缺陷

    arXiv
    2605.12673
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Code、OpenAI Codex
    摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。

    论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。

    深度解读完整解读
  7. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化后门以穿透良性 SFT 与 RL

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  8. 攻击arXiv 2610.05894

    研究者提出闭环偏见注入攻击

    提出闭环激活引导，在扩散语言模型去噪过程中注入定向偏见

    arXiv
    2610.05894
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    灰盒
    测试
    LLaDA-8B-Instruct、Dream-v0-Instruct-7B、LLaDA-MoE-7B-A1B-Instruct

    摘要通过去噪中间概率反馈动态调节残差流转向，证明扩散语言模型在推理服务栈中存在闭环偏见注入脆弱性。

    深度解读完整解读
  9. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  10. 攻击arXiv 2610.03124

    研究提出 Untag 攻击框架，使开源大模型触发标签滥用检测机制失效

    提出 UNTAG，绕过开源权重模型的 trigger-tag 滥用检测

    arXiv
    2610.03124
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒、白盒
    测试
    Llama2 (7B)、Llama3 (8B)、Qwen2.5 (7B)
    摘要作者用 UNTAG 评估 trigger-tag，认为其不能充当开放权重滥用检测的主要边界。

    UNTAG 是针对开放权重 LLM 上条件滥用检测 trigger-tag 的统一攻击评估：信号可以在解码期注入，也可以写进权重，但攻击者若能改输出或改已发布权重，检测可以失效。

    深度解读完整解读
  12. 防御arXiv 2610.02005

    贝叶斯辩证论证（BDA）：面向持续对抗下多 LLM 委员会的可校准聚合

    提出 BDA，把多 LLM 议会的辩证动作当可靠性证据做加权聚合

    arXiv
    2610.02005
    发表
    层
    应用层
    场景
    多智能体
    测试
    gemma-3-27b-it、phi-4、gpt-4.1-nano 等 9 个
    摘要BDA 用零额外调用的可靠性加权，给出可校准后验，并在持续对抗下反转不可靠席位。

    BDA 是一种不另调 LLM 的多 LLM 议会聚合方法，同时处理置信度校准和持续不可靠席位。

    深度解读完整解读
  15. 防御arXiv 2608.06422

    CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用

    提出分片监督，将评判标准分配给独立调用以抵御展示攻击

    arXiv
    2608.06422
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 5 个
    摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。

    本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。

    深度解读完整解读
  16. 防御arXiv 2608.05578

    AMS 工具通过激活分析检测语言模型的安全训练改动

    提出 AMS，用激活分离与方向相似度检测安全训练改动

    arXiv
    2608.05578
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Llama-3.2-1B-Instruct 等 14 个
    摘要AMS 按激活签名把安全改动分四类，前三类可由两级扫描覆盖，行为微调会漏。

    AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。

    深度解读完整解读
  17. 防御arXiv 2610.00371

    FlowReview：以授权配对评测控制多智能体组合信息流

    提出 FlowReview，用对象解析与确定性提交门控制多智能体组合信息流

    arXiv
    2610.00371
    发表
    层
    应用层
    场景
    多智能体
    测试
    Sonnet 4.5、Haiku 4.5、Qwen3-32B 等 7 个
    摘要配对标准要求拒绝禁止使用并完成授权使用，FlowReview 把三项审查接到执行。

    这篇工作把多智能体安全写成一件必须同时成立的事：拦住组合信息所启用的禁止使用，并完成同一场景里任务所需的授权使用。

    深度解读完整解读
  18. 防御arXiv 2608.30387

    研究者提出多智能体系统输出与委派链路双层存证方案

    提出多智能体输出与委派谱系的两层存证方案

    arXiv
    2608.30387
    发表
    层
    应用层
    场景
    多智能体
    测试
    Ollama llama3.1:latest
    摘要两层证明记录放出字节与边授权。

    部署方侧的两层证明，用来在多智能体跨部署方委托之后回答两个事后问题：谁放出了这些字节，这条跨部署方边有没有父方授权。

    深度解读完整解读
  19. 防御arXiv 2608.30083

    研究者提出零知识谓词证明网关，在 MCP 与 Agent2Agent 上实现 Agent 间数据最小化

    提出零知识谓词证明网关，让 Agent 只交换谓词证明而不传敏感值

    arXiv
    2608.30083
    发表
    层
    应用层
    场景
    多智能体
    摘要作者将 source integrity 而不是证明开销视为绑定约束。

    Proof Gateway 是一套已运行的智能体间数据最小化机制：用治理谓词的零知识证明代替原始值和自然语言自述。

    深度解读完整解读
加载更多