Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 32 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Proposes the Cancerous backdoor, which progressively corrupts reasoning using invisible stage tokens.
Published Oct 9
Evaluated models Llama-3.1-8B-Instruct , Qwen2.5-7B-Instruct , Mistral-7B-Instruct-v0.3 Abstract Hidden tokens plus a stage controller make the backdoor progressively corrupt reasoning upon triggering, and the authors believe that looking only at the answer will miss it.Cancerous Backdoor Attack changes LLM backdoors from one-time activation to multi-stage reasoning corruption that accumulates progressively with triggers.
Proposes ReSI, which recursively improves model safety alignment using automatic red teaming and recipe search.
Published Oct 9
Evaluated models Qwen3.6-27B , Ministral-3-14B-Reasoning-2512 , DeepSeek-V4-Flash-0731 and others4 提出 GUISE 基准与 AXIS 训练,防御叙事包装越狱
Published Oct 8
Evaluated models Qwen3-1.7B , Qwen3-4B , GLM-4-9B Abstract GUISE 分开测包装与语域。作者测量叙事包装下的拒答失效,并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是:安全对齐模型拒绝直说的有害请求,却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。
提出 SafeBridge,对齐循环语言模型不同循环深度的安全性
Published Oct 7
Evaluated models Ouro-1.4B , Ouro-2.6B 提出回答端后门,让模型自生成触发词以在干净有害请求下绕过拒答
Published Oct 6
Evaluated models Llama-2-7B-chat-hf , Mistral-7B-Instruct-v0.3 , Gemma-7B-it and others4 Abstract 论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击,指出输入端防护存在盲区。
提出审计感知遗忘框架 AVCE,从文本与视觉通路擦除扩散模型概念
Published Oct 5
Evaluated models Stable Diffusion XL (SDXL) , Stable Diffusion v1.5 (SD v1.5) , Flux 1.0 Abstract AVCE 在审计锚点上改两条注意力通路。AVCE 是面向扩散模型的概念擦除方法,要让擦除经得起绕过文本条件的潜空间审计,而不只是挡住对抗提示词。
提出 SSRFT,用角色监督内化安全原则以替代拒答式对齐
Published Oct 4
Evaluated models Qwen2.5-3B , Gemma2-2B , Llama3.1-8B and others6 Abstract SSRFT 用角色监督替代拒答中心对齐。SSRFT 是一种用监督微调把预定义安全角色写进参数的安全对齐方法。作者称它是首个以安全角色内化本身为对齐目标的框架。
提出 Target-free LAT,用无目标多方向潜干预做对抗安全对齐以抵御越狱
Published Oct 3
Evaluated models Qwen2.5-7B-Instruct , Llama-3-8B-Instruct , Mistral-7B-Instruct-v0.2 Abstract Target-free LAT 用无目标多方向潜干预扩大行为覆盖,作者称能提高越狱鲁棒性并保住效用。Target-free LAT 是一种不监督有害输出的潜空间对抗对齐。它要处理的问题是:现有 LAT 每步大多只造一种有害行为,对不上真实越狱里的直接遵从、角色扮演、编码和多语言等模式。
提出 FADE,对文生视频模型做帧感知多概念擦除
Published Oct 3
Evaluated models Wan2.1-T2V-1.3B , Wan2.1-T2V-14B , CogVideoX-2B and others4 Abstract FADE 用闭式编辑、帧感知适配器和软路由,在单骨干上擦除多概念并压低逐帧残差。FADE 是面向文生视频扩散 Transformer 的多概念遗忘方法,用来抑制指定物体、画风、裸体、暴力、仇恨和名人身份,并尽量保持其他生成。作者要处理两件事。与帧无关的抑制会让概念在少数帧重现,片段均值会掩盖这一失败。
提出 COVER,在语言预算下选择源语言实现跨语言知识遗忘
Published Oct 1
Evaluated models Tiny Aya Global , Qwen3-4B-Instruct-2507 , Llama-3.2-3B-Instruct Abstract COVER 在语言预算下选源语言,以降低未监督语言上相对 oracle 的残余访问。语言预算下的多语言遗忘 :遗忘监督只放在 K 种源语言上,目标是降低其余语言对同一事实的残余访问,而不是把每种评测语言都译成监督数据。
提出 Whiteout,用伪装样本微调覆盖个人敏感信息关联
Published Oct 1
Evaluated models Llama 3.2 , Phi-3-mini , Gemma 3 and others7 提出 ACTR,只更新安全思考神经元以对齐推理与回答的安全类别
Published Sep 29
Evaluated models Qwen3-8B , Gemma4-12B-it 提出用 API 推理摘要重建轨迹再蒸馏加强化学习,攻破蒸馏防御
Published Sep 29
Evaluated models Qwen2.5-0.5B , Qwen2.5-1.5B , Qwen2.5-3B and others12 Abstract 更现实的蒸馏攻击是蒸馏后再 RL。这篇工作修订蒸馏攻击的威胁模型:攻击者经合法 API 收集闭源推理数据,先蒸馏自有模型,再做强化学习。作者认为只在蒸馏后评估防御,会漏掉后续 RL,从而高估防御。
提出 TULIP,按输入定位形成层并去除目标 token 对齐以实现定向遗忘
Published Sep 28
Evaluated models Llama-3.1-8B , Llama-3.2-3B , Llama-3.2-1B and others7 Abstract TULIP 在形成结束的层去掉遗忘目标对齐,多数设置下 FQ 更高,4-bit 下 FQ 下降。TULIP 是一种逐输入选择层的表示级遗忘方法,目标是去掉遗忘答案的形成、留下读出。输出级方法可能只压低特定回答的似然。RMU、LUNAR 等则对全部遗忘样本共用一层。
提出 EOPSA,用 TRR 截断与安全类过滤做在策略自蒸馏安全对齐
Published Sep 28
Evaluated models Qwen3-1.7B , Qwen3-4B , Qwen3-14B and others5 提出主题锚点投毒,放大众包微调后的专有指令提取
Published Sep 28
Evaluated models Qwen2.5-7B-Instruct , Qwen2.5-14B-Instruct , Llama-3.1-8B-Instruct and others4 Abstract 论文提出基于主题锚点的数据中毒攻击,证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。
分析近重复族如何让精确记录成员推断误判为入训
Published Sep 28
Evaluated models Pythia-2.8B , GPT-2 , Qwen3.5-2B and others5 Abstract 近重复使干净参照 MI 把族级暴露当成精确记录。作者研究成员推断能否作为精确记录的数据来源证据。版权和来源审计需要的是该记录本身是否入训,而网页语料中的转载、镜像和轻改会让非同一近重复产生成员样分数。四世界审计 用 E 表示精确记录是否入训、用 F 表示其近重复族是否在场,从而分开 H00 到 H10 的标准 MI、H00 到 H01 的族偏移,以及 H01 到 H11 的 exact-given-family。
比较高效与高成本训练的对抗和隐私脆弱性并分析损失几何
Published Sep 28
Evaluated models ResNet-18 , Swin Transformer , Qwen2.5-Math-7B-Instruct and others7 Abstract 效用匹配下,三种高效训练都伴随更高的隐私与对抗脆弱性及更尖的损失几何。作者在视觉分类和数学推理语言模型上,检查用更少数据或更简对齐换取训练效率时,安全性质是否一起变化。比较在任务效用接近的前提下进行。视觉侧用 KNN-Shapley 的高重要性小子集对照低重要性大子集,并用预训练微调对照从头训练。
提出 SafeMol,联合对齐分子多模态模型的文本与图输入
Published Sep 27
Evaluated models Omni-Mol v2 , ReactXT , SafeMol Abstract SafeMol 用 MMD 和双分类头对齐分子多模态模型,在 Omni-Mol v2 上压低图条件攻击成功。SafeMol 研究分子多模态模型在危险分子相关请求上的安全对齐,并同时看过拒和任务效用。
提出 IDUnlearn-Bench,评测 VLM 个体级遗忘后的身份残留
Published Sep 27
Evaluated models Qwen3-VL-2B , Qwen3-VL-4B , Qwen3-VL-8B and others6 Abstract IDUnlearn-Bench 用四族探针显示:压低直接属性访问后,身份仍常能被反向查出、绑定或重构。IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人,而不只是答不出某条监督事实。