Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 15 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 SLDR,用选择性层恢复与动态路由防御恶意微调
Published Oct 8
Evaluated models Llama3.1-8B-Instruct , Llama3-8B-Instruct , Qwen2.5-7B-Instruct and others4 Abstract 作者称 SLDR 能压低有害输出并保持下游效用。SLDR 是针对恶意微调的微调后防御:在已对齐模型上做有符号层探测,只在敏感分数最大与最小的两层训练 LoRA,再用 lmax 的最后 token 表示决定是否启用适配器。
论证发布时互信息不能认证开源权重抗微调恢复
Published Oct 7
Evaluated models EleutherAI/deep-ignorance-e2e-strong-filter , EleutherAI/deep-ignorance-unfiltered , Google BERT-Tiny and others6 Abstract 作者称零信息仍可一步恢复,表观抗微调可来自参数化。作者研究开源权重模型的篡改抵抗:发布时的互信息是否足以保证微调恢复很慢。
提出 GSU 在发布前封堵敏感门梯度,抵抗下游微调获取禁止能力
Published Sep 30
Evaluated models Llama-3.2-1B , Llama-3.2-3B , Llama-3.1-8B and others7 Abstract GSU 在发布前封堵 SiLU 门的获取梯度,并在 TOFU 与 WMDP 上降低下游微调得分。Gradient-Sealed Unlearning(GSU) 是一种发布前的 preemptive unlearning:不删除模型里已经有的能力,而是让指定禁止域能力更难被发布后的微调获取。
提出 FDCU 双约束子空间投影遗忘,抵御再训练恢复有害知识
Published Sep 30
Evaluated models Qwen2.5-3B , Llama-3-8B-Instruct , Qwen-3-8B Abstract FDCU 用双掩码限制浅层抑制,在知识擦除与安全输出上提高再训练后的稳定性。FDCU 是一种约束参数更新的遗忘方法,用来降低再训练把已抑制恶意行为重新引出的可能。
提出 PACT,遗忘推理模型在压力下的欺骗行为并保留上下文理解
Published Sep 30
Evaluated models DeepSeek-R1-Distill-Qwen-32B , QwQ-32B Abstract 论文将大模型欺骗形式化为上下文条件行为,提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。
提出 VaccineBooster,在对齐阶段混合嵌入扰动与梯度衰减抵御有害微调
Published Sep 29
Evaluated models Llama-2-7B Abstract VaccineBooster 把两种对齐阶段扰动合在一步里,内容更安全但拒答保留更少。VaccineBooster 是一种对齐阶段防御:在提供方还看得到训练过程、还没接触用户微调数据时,把嵌入扰动和权重级梯度衰减合成同一次更新,用来应对之后不受信任的微调。有害微调可以只混入少量有害指令-回答对,就削弱拒答并提高有害输出的可能,任务效用却仍然好看。过滤会漏掉隐蔽样本,事后修复又往往不知道该修哪里。
检验层冻结与奇异方向截断能否挡住少样本有害微调
Published Sep 29
Evaluated models Llama-3.1-8B-Instruct , Llama-3.1-Tulu-3-8B-DPO , OLMo-2-1124-7B-Instruct and others10 Abstract 定位与恢复可以复现,但知情攻击能把损伤移出冻结带,并打败跨检查点的截断修复。这篇工作检验:把拒答定位到某些层或更新方向之后,能不能在攻击者知情时还守住拒答。 。
提出 Fed-ADR,用编排服务器协同操纵梯度攻破联邦学习并检测恢复
Published Sep 23
Evaluated models CNN(MNIST:2 Conv + 3 FC) , CNN(Fashion-MNIST:6 Conv + 1 FC) , ResNet18(CIFAR-10) Abstract Fed-ADR 用 gray-box 编排攻击绕过多种聚合防御,再用 Hessian 一致性检测和窗口内恢复把准确率拉回。Fed-ADR 是一套面向联邦学习的攻击、检测与恢复框架:编排服务器改写合谋客户端的梯度,使参数服务器的现有防御把投毒更新当成良性,同时在发现后用历史梯度把全局模型原地修回来。
提出 BoundStyle 与 StyleAT,对抗训练防御人脸识别语义攻击
Published Sep 20
Evaluated models MobileFaceNet (MobileFace) , ResNet (ResNet-152, IR-SE) , RepVGG and others7 Abstract BoundStyle 用 StyleGAN3 有界潜编辑快速攻击 FR。StyleAT 用可调的 StyleGAN3 潜空间攻击 BoundStyle 对人脸识别做对抗训练,以抵抗一般语义编辑,并在评测中面对训练时未见的 DiffPrivate。
诊断 BatchNorm 架构下机器遗忘评测的归一化伪影
Published Sep 8
Evaluated models ResNet-18 , ResNet-50 , ViT-S/16 and others4 Abstract 一次不改权重的 BN 重校准能翻转多数方法的表面遗忘,但不改变权重里的编码器泄露。BN illusion 是作者对近似机器遗忘评测中一种 BatchNorm 测量伪影的命名:不改权重、只用 retain 数据重算运行统计,就可以把表面遗忘准确率翻过来。
解释后验安全的权重几何脆弱性,并提出预训练持续安全共训练
Published Sep 7
Evaluated models Qwen-2.5-7B , Qwen-2.5-7B-Instruct , Llama-3-8B and others15 Abstract 论文将后验安全脆弱性归因于正交抑制,并提出通过预训练持续共训练实现具备微调抗性的安全防护。
提出 SEAL,在 MoE 共享专家上做 DPO-LoRA 对齐以抵御越狱与权重篡改
Published Sep 2
Evaluated models Qwen1.5-MoE-A2.7B , DeepSeekMoE-16B , GLM-4.7-Flash and others4 Abstract SEAL 把 DPO-LoRA 限制在混合 MoE 共享专家上,SEAL++再保护已有安全神经元方向。SEAL 是面向混合 MoE 的训练时防御:只对齐始终执行的共享专家,使安全不依赖路由器是否把 token 送到安全专家。
提出 USG,在部分保护开源权重发布时阻断有害微调梯度
Published Aug 6
Evaluated models Qwen3-14B(表中作 Qwen-14B) , Llama-3.1-8B(表中作 Llama-8B) Abstract USG 在 PPOW 下用零空间立方层阻断有害微调梯度。Unidirectional Safety Gate 是面向 PPOW 发布设定的发布时防护:大部分权重仍可训练,一小部分安全关键组件由提供者侧加固保留,下游不必配合额外安全流程。 。
用代价曲线评估恶意微调防御在持续训练下的衰减
Published May 14
Evaluated models Llama-2-7B-chat , Qwen3-8B , Llama-3.1-8B-Instruct and others8 Abstract 论文指出恶意微调防御在持续训练下均会衰减,表明基于有限攻击者假设的防御无法为开源模型提供持久保护。
提出 SAFT,用语义描述集成构造对抗样本并微调图像编码器
Published Feb 13
Evaluated models ViT-B/32 , CLIP-L/14 Abstract SAFT 用精炼类描述的集成对抗样本微调 CLIP 图像编码器,以改善零样本准确率与鲁棒性的权衡。SAFT 是对 CLIP 图像编码器做对抗微调的方法,要改善零样本分类上的准确率–鲁棒性权衡。
You have reached the end