评测与基准arXiv 2605.14605
研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升
用代价曲线评估恶意微调防御在持续训练下的衰减
- arXiv
- 2605.14605
- 发表
- 场景
- 模型与 API
- 测试
- Llama-2-7B-chat、Qwen3-8B、Llama-3.1-8B-Instruct 等 8 个
摘要论文指出恶意微调防御在持续训练下均会衰减，表明基于有限攻击者假设的防御无法为开源模型提供持久保护。
全部论文
另有 552 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2610.07723
研究者提出答案侧后门：让模型自生成触发词绕过安全拒答
提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答
- arXiv
- 2610.07723
- 发表
- 场景
- 模型与 API
- 测试
- Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个
摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。
- 评测与基准arXiv 2609.22818
研究测量 LLM Agent 记忆投毒防御的良性场景开销
测量 LLM Agent 记忆投毒防御的良性效用与 token 开销
- arXiv
- 2609.22818
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- gemini-3.1-flash-lite、text-embedding-3-small、claude-haiku-4-5-20251001
摘要写时代价落在噪声内。
在没有攻击的对话上，给记忆投毒防御计价，而不是再测一轮攻击是否被挡住。
- 防御arXiv 2609.36862
VaccineBooster：面向有害微调对齐的混合扰动防御
提出 VaccineBooster，在对齐阶段混合嵌入扰动与梯度衰减抵御有害微调
- arXiv
- 2609.36862
- 发表
- 场景
- 模型与 API
- 测试
- Llama-2-7B
摘要VaccineBooster 把两种对齐阶段扰动合在一步里，内容更安全但拒答保留更少。
VaccineBooster 是一种对齐阶段防御：在提供方还看得到训练过程、还没接触用户微调数据时，把嵌入扰动和权重级梯度衰减合成同一次更新，用来应对之后不受信任的微调。有害微调可以只混入少量有害指令-回答对，就削弱拒答并提高有害输出的可能，任务效用却仍然好看。过滤会漏掉隐蔽样本，事后修复又往往不知道该修哪里。
- 攻击arXiv 2610.01367
研究：高质量数据筛选挡不住投毒
提出 Bi-QSTO，优化能穿过质量筛选并在微调中削弱安全对齐的投毒样本
- arXiv
- 2610.01367
- 发表
- 场景
- 模型与 API
- 测试
- Llama2-7B-Chat、Llama3-8B-Instruct、Qwen2-7B-Instruct 等 5 个
摘要质量筛选挡不住部分高分样本的安全削弱。
Bi-QSTO 研究一个实际训练缺口：基于质量的数据选择会先于微调决定样本去留，而以往微调投毒多假设毒样本直接进入训练集。已对齐 LLM 的拒答会被少量有害或看似无害的微调样本削弱。作者用三个问题串起实验：选择能否排除毒样本。
- 防御arXiv 2609.39279
FDCU：用双重约束子空间投影抵御机器遗忘后的重训练攻击
提出 FDCU 双约束子空间投影遗忘，抵御再训练恢复有害知识
- arXiv
- 2609.39279
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-3B、Llama-3-8B-Instruct、Qwen-3-8B
摘要FDCU 用双掩码限制浅层抑制，在知识擦除与安全输出上提高再训练后的稳定性。
FDCU 是一种约束参数更新的遗忘方法，用来降低再训练把已抑制恶意行为重新引出的可能。
- 攻击arXiv 2609.39788
研究：多智能体系统潜在通信链路可被训练用于提升有害顺从
提出只改多智能体潜在通信链路以提高有害遵从的攻击
- arXiv
- 2609.39788
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Llama-3.2-3B-Instruct、Qwen2.5-3B-Instruct、Gemma-3-1B-IT 等 7 个
摘要潜在链路本身即可改变冻结智能体系统的安全，奖励既能攻击也能修复。
学习得到的潜在通信链路会改变由冻结、对齐智能体组成的系统是否遵从有害请求。。作者研究三种拓扑：双智能体、三级顺序协作，以及双专家加汇总。
- 防御arXiv 2609.02293
SEAL：通过共享专家对齐强化 MoE 全局安全
提出 SEAL，在 MoE 共享专家上做 DPO-LoRA 对齐以抵御越狱与权重篡改
- arXiv
- 2609.02293
- 发表
- 场景
- 模型与 API
- 测试
- Qwen1.5-MoE-A2.7B、DeepSeekMoE-16B、GLM-4.7-Flash 等 4 个
摘要SEAL 把 DPO-LoRA 限制在混合 MoE 共享专家上，SEAL++再保护已有安全神经元方向。
SEAL是面向混合 MoE 的训练时防御：只对齐始终执行的共享专家，使安全不依赖路由器是否把 token 送到安全专家。
- 可解释性arXiv 2609.06934
论文提出拒答的几何解释：事后安全训练脆弱，预训练期持续安全共训更抗攻击
解释后验安全的权重几何脆弱性，并提出预训练持续安全共训练
- arXiv
- 2609.06934
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen-2.5-7B、Qwen-2.5-7B-Instruct、Llama-3-8B 等 15 个
摘要论文将后验安全脆弱性归因于正交抑制，并提出通过预训练持续共训练实现具备微调抗性的安全防护。
- 其他arXiv 2609.12413
SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量
综述智能体执行链路中的越狱攻击、防御与实践权衡
- arXiv
- 2609.12413
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.5-4B、Llama-3.1-8B-Instruct
摘要SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。
Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。
- 攻击arXiv 2609.27124
Fed-ADR：用恶意编排服务器协同客户端梯度操纵攻击联邦学习
提出 Fed-ADR，用编排服务器协同操纵梯度攻破联邦学习并检测恢复
- arXiv
- 2609.27124
- 发表
- 场景
- 模型与 API
- 攻击者
- 灰盒
- 测试
- CNN（MNIST：2 Conv + 3 FC）、CNN（Fashion-MNIST：6 Conv + 1 FC）、ResNet18（CIFAR-10）
摘要Fed-ADR 用 gray-box 编排攻击绕过多种聚合防御，再用 Hessian 一致性检测和窗口内恢复把准确率拉回。
Fed-ADR 是一套面向联邦学习的攻击、检测与恢复框架：编排服务器改写合谋客户端的梯度，使参数服务器的现有防御把投毒更新当成良性，同时在发现后用历史梯度把全局模型原地修回来。
- 防御arXiv 2608.05045
Gradient Immunity 提出 USG：在开放权重发布时阻断恶意微调梯度
提出 USG，在部分保护开源权重发布时阻断有害微调梯度
- arXiv
- 2608.05045
- 发表
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- Qwen3-14B（表中作 Qwen-14B）、Llama-3.1-8B（表中作 Llama-8B）
摘要USG 在 PPOW 下用零空间立方层阻断有害微调梯度。
Unidirectional Safety Gate 是面向 PPOW 发布设定的发布时防护：大部分权重仍可训练，一小部分安全关键组件由提供者侧加固保留，下游不必配合额外安全流程。。
- 防御arXiv 2608.24354
RACER：面向多模态大模型后门的区域感知一致性修复框架
提出 RACER，用区域感知一致性对抗微调去除多模态大模型后门
- arXiv
- 2608.24354
- 发表
- 场景
- 模型与 API
- 测试
- LLaVA-1.5-7B、Qwen2-VL-7B、Qwen2.5-VL-7B
- 攻击arXiv 2609.01495
去中心化联邦学习中的拜占庭节点放置优化
提出 BPI 选点算法，增强去中心化联邦学习中的模型与数据投毒
- arXiv
- 2609.01495
- 发表
- 场景
- 模型与 API
- 攻击投毒与后门
摘要BPI 用有限轮 gossip 暴露选拜占庭集合。
作者把 DFL 中“破坏哪 m 个节点”写成攻击者在固定预算下的优化问题，并用 BPI 近似有限轮内诚实节点受到的拜占庭暴露。
- 攻击arXiv 2609.07048
FreqDoor：面向视觉语言模型的频域后门攻击
提出 FreqDoor，在频域混合振幅并对生成式 VLM 做训练时视觉后门
- arXiv
- 2609.07048
- 发表
- 场景
- 模型与 API
- 测试
- BLIP-2 (opt-2.7b)、InstructBLIP (flan-t5-xl)、LLaVA (interleave-qwen)
摘要FreqDoor 用频域振幅混合给三款 VLM 植入仅视觉的训练时后门。
FreqDoor 是针对生成式 VLM 的仅视觉、训练时后门：在频域混合触发源振幅、保留干净图像相位，使触发在空间上分散。
- 攻击arXiv 2609.22711
UBA-ORL：针对离线强化学习的遗忘激活后门攻击
提出 UBA-ORL，借助 BD 与 CM 样本让离线强化学习后门在轨迹删除后激活
- arXiv
- 2609.22711
- 发表
- 场景
- 具身与机器人
- 测试
- TD3+BC、BCQ、IQL
摘要UBA-ORL 用竞争的 BD/CM 样本，使离线 RL 后门在删除伪装轨迹后激活。
UBA-ORL 研究离线强化学习中由合规轨迹删除激活的后门：合法贡献者同时上传共享触发的后门轨迹和伪装轨迹，训练后触发响应被压低，删除伪装批次后再升高。受害系统是使用静态数据集和轨迹级遗忘接口的离线 RL 服务。对手不能看到训练算法、参数、梯度或具体遗忘算法，但能提交可区分批次，并在部署时向观测注入预定触发。
- 评测与基准arXiv 2609.25579
研究重新审视后门修复评测：区分总体干净效用与良性性能保持
用 Dmax 与尾部损失评测后门修复的类别性能保持
- arXiv
- 2609.25579
- 发表
- 场景
- 模型与 API
- 测试
- ResNet18、PreActResNet18、VGG19-BN
- 分析与理论arXiv 2609.32288
预训练数据投毒的可解理论：依赖极限顺序的缩放指数
证明预训练投毒的清洁超额风险指数随极限顺序变化
- arXiv
- 2609.32288
- 发表
- 场景
- 模型与 API
- 测试
- OLMo-style models
- 攻击投毒与后门
摘要投毒清洁超额风险的幂指数取决于先固定宽高比还是先取充足数据极限。
可解的预训练数据投毒理论：清洁超额风险的缩放指数随极限顺序改变。。
已经到底了