跳到正文
10月10日 · 周六

全部论文

找到 91 篇
筛选5

攻击类型

提示注入45投毒与后门27模型篡改11提取与窃取7检测规避4

攻击技术

自动化搜索4针对防御5潜伏触发14

模型自身风险

Agent 危险操作3

防御类型

模型加固16检测与过滤8指令与数据隔离14权限与审批12监控与审计3

影响

有害内容8越权操作29数据与隐私泄露17输出被操纵23可用性与可靠性6监督失效3

系统形态

模型与 API26LLM 应用5AI Agent60coding agent8web agent9网页与电脑操作5多智能体17

攻击者权限

黑盒4白盒9

攻击面/入口

用户输入102网页与界面40文档与消息51工具返回78工具与技能描述48代码仓库与依赖21检索语料16记忆写入27Agent 间消息19图像与音视频22训练数据45权重与梯度33分发渠道39

层

模型层13应用层62训练与数据层29

系统组件

MCP 与技能10记忆8RAG4护栏与评审5监控器4推理链3权限与沙箱16微调与开源权重23视觉4图像生成3多模态8
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 404 篇还没打标签，不在筛选结果里。
攻击面/入口：网页与界面攻击面/入口：Agent 间消息攻击面/入口：权重与梯度层：应用层层：训练与数据层清除全部

另有 404 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2610.11932

    复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本

    测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答

    arXiv
    2610.11932
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Grok、Doubao、ChatGPT 等 10 个

    摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。

    深度解读完整解读
  2. 攻击arXiv 2610.09819

    FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

    提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

    arXiv
    2610.09819
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    HuBERT-base、WavLM-base

    摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。

    深度解读完整解读
  3. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链

    arXiv
    2610.09793
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    黑盒
    摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  4. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    web agent
    被测模型
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  5. 分析与理论arXiv 2610.09004

    研究：去除有害信息不足以证明开源权重模型的抗篡改能力

    论证发布时互信息不能认证开源权重抗微调恢复

    arXiv
    2610.09004
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    EleutherAI/deep-ignorance-e2e-strong-filter、EleutherAI/deep-ignorance-unfiltered、Google BERT-Tiny 等 6 个
    摘要作者称零信息仍可一步恢复，表观抗微调可来自参数化。

    作者研究开源权重模型的篡改抵抗：发布时的互信息是否足以保证微调恢复很慢。

    深度解读完整解读
  8. 攻击arXiv 2610.07654

    研究揭示策略蒸馏的安全后门风险

    测量带后门教师经 OPD 向干净学生迁移潜伏后门

    arXiv
    2610.07654
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen2.5-1.5B-Instruct、Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct
    摘要作者称 OPD 可在压低无触发词有害率时迁入后门。

    带后门的外部教师经 OPD，可在压低无触发词有害率的同时，把触发条件下的有害行为传给初始干净学生。。

    深度解读完整解读
  9. 可解释性arXiv 2610.07518

    TRACE：仅凭 checkpoint 更新审计大语言模型有害目标

    提出 TRACE，仅凭检查点更新审计有害合规微调目标

    arXiv
    2610.07518
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Qwen3-8B 等 6 个
    摘要作者称有害合规 SFT 在检查点更新中留下可排序坐标，并据此做只读权重审计。

    作者在检查点更新里寻找有害合规 SFT 的目标组成，并把读数做成不查询模型、不看未知训练数据的审计分 TRACE。

    深度解读完整解读
  10. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  11. 攻击arXiv 2610.05793

    研究者训练出按多智能体拓扑触发的代码后门模型

    提出拓扑条件后门，使代码模型在推断多智能体部署时植入漏洞

    arXiv
    2610.05793
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    深度解读完整解读
  12. 防御arXiv 2610.05640

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    提出 multi-CaMeL，在智能体调用边界隔离可信指令与非可信数据

    arXiv
    2610.05640
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Claude Fable 5、GPT-5.5、GPT-4.1 等 6 个

    摘要论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。

    深度解读完整解读
  13. 攻击arXiv 2610.05453

    研究者提出 Privacy-Leaking Watermarks，可在本地多模态模型中泄露对话隐私

    提出 PLW，用微调把先前对话敏感触发编码进后续生成图像

    arXiv
    2610.05453
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    OmniGen2、BAGEL-7B

    摘要PLW 把先前对话线索写成后续图像中的隐水印，检出随触发、模型和间隔变化。

    深度解读完整解读
  16. 攻击arXiv 2610.04128

    研究显示拆分学习中的梯度可提升客户端文本重建率

    衡量分裂学习中梯度相对激活对客户文本重建的额外贡献

    arXiv
    2610.04128
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    GPT-2 (openai-community/gpt2, 124M)、Qwen3-0.6B
    摘要激活已恢复大部分 token。

    这篇工作测量 split learning 分裂点上的文本泄漏：激活单独能恢复多少，训练回传的梯度再增加多少，以及按 token 还是按整篇计分会不会改写结论。

    深度解读完整解读
  17. 防御arXiv 2610.02349

    MIRROR：面向多智能体通信的法定人数完整性防御

    提出 MIRROR，用多路径摘要多数表决保障多智能体通信完整性

    arXiv
    2610.02349
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Gemma-4-31B-it、Gemini 2.5 Pro
    摘要MIRROR 靠多数路径。

    MIRROR 是 LLM 多智能体通信层上的多路径法定人数完整性原语，只处理不透明字节，不解释消息内容。要处理的是 Agent-in-the-Middle：中介合法终结 TLS 后可改在途消息，而语义校验有推理开销和误拦，签名又要求私钥管理。做法是生成结束后复制同一规范化载荷。

    深度解读完整解读
  18. 防御arXiv 2610.02005

    贝叶斯辩证论证（BDA）：面向持续对抗下多 LLM 委员会的可校准聚合

    提出 BDA，按辩证动作可靠性加权聚合多 LLM 议会以抵抗持续对抗

    arXiv
    2610.02005
    发表
    层
    应用层
    场景
    多智能体
    摘要BDA 用零额外调用的可靠性加权，给出可校准后验，并在持续对抗下反转不可靠席位。

    BDA 是一种不另调 LLM 的多 LLM 议会聚合方法，同时处理置信度校准和持续不可靠席位。

    深度解读完整解读
  20. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA 双 LLM 架构，防御计算机使用 Agent 的分支转向攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
加载更多