跳到正文
10月10日 · 周六

全部论文

找到 22 篇
筛选6

攻击类型

提示注入5投毒与后门6模型篡改7提取与窃取5

防御类型

模型加固10指令与数据隔离3监控与审计3

影响

有害内容4越权操作4数据与隐私泄露5输出被操纵6

系统形态

模型与 API17LLM 应用3AI Agent27web agent5网页与电脑操作4多智能体1具身与机器人0

攻击者权限

白盒7

攻击面/入口

用户输入67网页与界面5文档与消息7工具返回6记忆写入5Agent 间消息11图像与音视频22训练数据28权重与梯度17分发渠道4推理服务与硬件5

层

模型层5应用层5训练与数据层12

系统组件

微调与开源权重9视觉3多模态5
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 194 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：网页与电脑操作系统形态：多智能体系统形态：具身与机器人攻击面/入口：网页与界面攻击面/入口：权重与梯度清除全部

另有 194 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 防御arXiv 2610.09941

    OrthoPurify 用一步正交投影净化被后门污染的视觉语言模型

    提出 OrthoPurify，用正交投影清除视觉语言模型适配器中的劫持方向

    arXiv
    2610.09941
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    LLaVA-1.5-7B、Qwen3-VL-8B、LLaVA-1.5-13B 等 5 个
    摘要一次投影去掉劫持方向。

    OrthoPurify 是部署前的 LVLM 后门净化方法，用一次正交投影去掉被劫持的权重更新方向。

    深度解读完整解读
  3. 防御arXiv 2610.05640

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    提出 multi-CaMeL，在智能体调用边界隔离可信指令与非可信数据

    arXiv
    2610.05640
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Claude Fable 5、GPT-5.5、GPT-4.1 等 6 个

    摘要论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。

    深度解读完整解读
  4. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA 双 LLM 架构，防御计算机使用 Agent 的分支转向攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  8. 防御arXiv 2609.39866

    研究者提出梯度封堵实现 LLM 发布前的预防性遗忘

    提出 GSU 在发布前封堵敏感门梯度，抵抗下游微调获取禁止能力

    arXiv
    2609.39866
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    被测模型
    Llama-3.2-1B、Llama-3.2-3B、Llama-3.1-8B 等 7 个
    摘要GSU 在发布前封堵 SiLU 门的获取梯度，并在 TOFU 与 WMDP 上降低下游微调得分。

    Gradient-Sealed Unlearning（GSU）是一种发布前的 preemptive unlearning：不删除模型里已经有的能力，而是让指定禁止域能力更难被发布后的微调获取。

    深度解读完整解读
  9. 防御arXiv 2609.39548

    NDDL：用正常扩散动力学为文生图模型做后门防御

    提出 NDDL，用良性扩散轨迹检测文生图后门提示并定位触发 token

    arXiv
    2609.39548
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Stable Diffusion v1.5、Stable Diffusion XL、Stable Diffusion v3.5 等 4 个
    摘要NDDL 从良性扩散轨迹学习正常转移，用动态不一致检测后门并定位触发 token。

    NDDL 是面向文生图扩散模型的后门防御：防御者只有白盒模型访问和良性提示词，没有后门先验，需要区分后门提示词并找出触发 token。

    深度解读完整解读
  10. 防御arXiv 2609.38909

    Purdue 提出 Pact：将欺骗作为行为遗忘

    提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

    arXiv
    2609.38909
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    被测模型
    DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

    摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。

    深度解读完整解读
  11. 防御arXiv 2610.00320

    研究显示少样本微调可绕过安全层局部冻结与修复防御

    检验层冻结与奇异方向截断能否挡住少样本有害微调

    arXiv
    2610.00320
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    被测模型
    Llama-3.1-8B-Instruct、Llama-3.1-Tulu-3-8B-DPO、OLMo-2-1124-7B-Instruct 等 10 个
    摘要定位与恢复可以复现，但知情攻击能把损伤移出冻结带，并打败跨检查点的截断修复。

    这篇工作检验：把拒答定位到某些层或更新方向之后，能不能在攻击者知情时还守住拒答。。

    深度解读完整解读
  12. 防御arXiv 2609.27124

    Fed-ADR：用恶意编排服务器协同客户端梯度操纵攻击联邦学习

    提出 Fed-ADR，用编排服务器协同操纵梯度攻破联邦学习并检测恢复

    arXiv
    2609.27124
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    灰盒
    被测模型
    CNN（MNIST：2 Conv + 3 FC）、CNN（Fashion-MNIST：6 Conv + 1 FC）、ResNet18（CIFAR-10）
    摘要Fed-ADR 用 gray-box 编排攻击绕过多种聚合防御，再用 Hessian 一致性检测和窗口内恢复把准确率拉回。

    Fed-ADR 是一套面向联邦学习的攻击、检测与恢复框架：编排服务器改写合谋客户端的梯度，使参数服务器的现有防御把投毒更新当成良性，同时在发现后用历史梯度把全局模型原地修回来。

    深度解读完整解读
  13. 防御arXiv 2609.23586

    VidMark：面向视频生成模型知识产权保护的高效水印方案

    提出 VidMark 水印方案，核验视频生成模型的输出来源与所有权

    arXiv
    2609.23586
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Stable Video Diffusion (SVD)、Open-Sora、Wan
    摘要VidMark 加解码器引导微调，把模型签名写入 VGM 输出并用于两项核验。

    Huang 等人提出一套面向视频生成模型的生成内嵌水印方案，用来同时判断一条视频是否来自受保护模型，以及一个嫌疑模型是否为该模型的拷贝。

    深度解读完整解读
  14. 防御arXiv 2609.20532

    面向旧款 GPU 的可验证差分隐私训练框架：用 CPU 侧 TEE 校验 GPU 梯度

    AI 导读论文提出一种在旧款 GPU 上实现可验证差分隐私（DP）训练的框架，用 CPU 侧 TEE 配合不受信任的 GPU 完成校验。

    arXiv
    2609.20532
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    5-layer MLP、WideResNet、GPT-2-medium 等 4 个
    摘要CPU TEE 概率抽查不可信 GPU 上的 DP-SGD，以小开销约束频繁偏离。

    TEE-Certified DP 用已部署的 CPU TEE 监视不可信旧 GPU 上的 DP-SGD，使监管方能在不看训练数据的情况下检查声明的隐私机制是否被执行。

    深度解读完整解读
  16. 防御arXiv 2609.15671

    QPriv-VL：面向视觉语言模型的问题引导 token 裁剪隐私防御

    提出 QPriv-VL，用问题引导剪枝降低分布式视觉问答的隐私泄露

    arXiv
    2609.15671
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    LLaVA-1.5-7B、Llama-2
    摘要QPriv-VL 在切层前按问题相关度与 DINOv2 敏感度剪视觉 token，作者称能在约四成 token 下兼顾准确率与四类攻击。

    QPriv-VL 把问题引导的视觉 token 剪枝做成分布式 VQA 的客户端隐私防御，而不是只做集中式推理加速。

    深度解读完整解读
  17. 防御arXiv 2609.10117

    研究揭示基于混淆的端侧 LLM 保护方案的安全边界

    提出 Collapse，从端侧混淆暴露视图抽取高效用替代模型

    arXiv
    2609.10117
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    BERT-Base、ViT-Base、Qwen2.5-0.5B 等 4 个
    摘要Oprior 是四原语复合的安全边界，Collapse 利用列方向泄漏抽取替代模型，Oext 只被同一攻击评测。

    这篇工作用代数原语统一若干 TEE 卸载混淆，给出该族的典范边界，再说明该边界挡不住一种分阶段模型抽取。。

    深度解读完整解读
  19. 防御arXiv 2609.02293

    SEAL：通过共享专家对齐强化 MoE 全局安全

    提出 SEAL，在 MoE 共享专家上做 DPO-LoRA 对齐以抵御越狱与权重篡改

    arXiv
    2609.02293
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    被测模型
    Qwen1.5-MoE-A2.7B、DeepSeekMoE-16B、GLM-4.7-Flash 等 4 个
    摘要SEAL 把 DPO-LoRA 限制在混合 MoE 共享专家上，SEAL++再保护已有安全神经元方向。

    SEAL是面向混合 MoE 的训练时防御：只对齐始终执行的共享专家，使安全不依赖路由器是否把 token 送到安全专家。

    深度解读完整解读
加载更多