Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 35 papers Another 233 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Trace attention to identify harmfulness to the MLP refusal write pathway and propose Sentinel
Published Oct 9
Evaluated models Llama-3.1-8B-Instruct , Qwen2.5-7B-Instruct , Qwen3-8B-Instruct and others18 Abstract Attention updates are more readable for harmfulness, MLP updates write refusal, and Sentinel routes alerts using two-path signals.The authors reframe jailbreaking and excessive refusal of aligned models as a pathway problem on the residual stream from recognition to writing, and accordingly provide conditional reminders before decoding.
定位安全敏感参数并稀疏改动权重以削弱安全对齐
Published Oct 7
Evaluated models LLaMA-2-7B-Chat AI summary 研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。
Published Oct 6
Evaluated models Qwen3-VL-30B-A3B-Instruct , Kimi-VL-A3B-Instruct Abstract 读出而非操纵 router logits，可在不改模型的情况下降低两模型的组合式安全错误。作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类：图文各自可安全，合在一起才不安全，或不安全内容只在图像里。
提出 Inspect Robots，在真实机器人上评测具身模型的能力与拒答
Published Oct 5
Evaluated models Astra（GPT-6 Astra） , GPT-6 Sol , GPT-5.6 Sol and others7 提出 CAP 指标与 CSFD 算法，发现被抑制的安全特征
Published Oct 5
Evaluated models Gemma-2-2B , Qwen3-8B , Gemma-3-4B-IT and others5 Abstract 论文指出越狱通过抑制安全特征运作，提出 CAP 与 CSFD 补充了针对激活特征的解释性方法。
提出 Prefix Steering，以短前缀激活引导控制行为并保住能力
Published Oct 4
Evaluated models OLMo 3 7B , OLMo 3 32B , Qwen3 1.7B and others4 Abstract 短前缀 steering 用已有方向做短暂干预。本文用注意力层匹配连接提示词与激活干预，并把干预改成从末提示词 token 开始的短前缀。
评测 ReAct 工具调用对多模态模型拒答有害请求的削弱
Published Oct 3
Evaluated models Gemini-2.5-Pro , Gemini-3.1-Pro-Preview , Claude Opus 4.6 and others13 Abstract 论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。
用路由梯度敏感度定位稀疏 MoE 的安全敏感专家
Published Oct 2
Evaluated models Mixtral-8x7B , Qwen1.5-MoE , DeepSeek-MoE and others5 Abstract 频率不是敏感度。在五个稀疏 MoE 上，用 router 梯度而不是激活频率挑选要抑制的专家，留出恶意提示词上的拒答降得更多。 。推理时让少数路由专家不被选中，就可以不重训练地改变拒答，但频率只记录使用次数。
提出 DNAlign，在不改权重的推理期用零空间约束控制信号做安全对齐
Published Oct 2
Evaluated models Vicuna-7B , Qwen-7B Abstract DNAlign 用零空间约束的推理期控制做安全对齐，Table I 平均奖励高于所列基线。DNAlign 是一个不改 LLM 参数的安全对齐框架，用来在推理时压低有害输出，并减少对中性知识所支持的流畅、事实回答的改动。
测量并预测具身 VLM 规划器的任务拒答可变性
Published Sep 30
Evaluated models gemini-robotics-er-2-preview , gemini-robotics-er-1.6-preview Abstract 日常物体能翻转一部分已给出的拒答，可翻转程度取决于任务且可被本地代理预测。作者测量 constitution 守护的具身 VLM 规划器：一次拒答在只往场景里放一个日常物体之后还保不保持得住，并把这种易翻转程度称为任务的 malleability 。
比较对话与工具中介通道的拒答内部机制
Published Sep 28
Evaluated models Qwen3-8B , Qwen3-32B , Llama-3.1-8B and others8 Abstract 有害性跨通道仍可读，工具通道用更高阈值且更易被 GCG 与消融打破。作者在八个开源指令模型上研究：同一有害意图从对话改由工具交付时，拒答为何变弱，内部计算是否也变了。 。
构建中文青少年内容安全基准 QH-Bench，评测单轮与多轮回复的安全与有用性
Published Sep 28
Evaluated models InternLM2.5-20B , InternLM2.5-7B , InternLM2.5-1.8B and others13 Abstract QH-Bench 分单轮与多轮评测中文青少年内容安全，总均分高仍不消除线下接触和关系压力上的负分。QH-BENCH 是面向中国社会文化情境的中文青少年内容安全基准，用单轮细粒度风险和多轮跨轮机制两条轨道，评测模型回复是否既守住安全边界又提供适合年龄的帮助。
用语义保留变换探针比较效用与对齐在分布偏移下的稳定性
Published Sep 26
Evaluated models Llama3-8B-Instruct , Gemma-7B-it , Qwen2.5-7B-Instruct and others10 Abstract 论文报告了语义保留变换下的对齐-效用不对称性，指出安全对齐泛化比效用更为脆弱，呼吁改进评估流程。
提出预算化发现框架，优先深评更可能隐藏失败的安全提示词
Published Sep 26
Evaluated models Qwen 2.5 7B , Qwen/Qwen2.5-7B-Instruct-Turbo , Gemma 3n E4B and others4 Abstract 浅层零失败的提示词仍可按潜在失败倾向排序，从而把有限深评预算投向更可能暴露隐藏失败之处。作者把 LLM 可靠性评测写成预算约束下的隐藏失败发现：每条提示词有未知的逐次失败概率，浅层少量采样中的零失败并不等于该概率为零。
构建中国 AIGC 合规基准，评测 LLM 中文输出的合规与拒答
Published Sep 17
Evaluated models Qwen3 , Kimi-K2 , GLM-4.7 and others15 Abstract 合规基准显示国际模型也可达高合规，作者认为差异更集中于意识形态相关维度。
提出 Steering Vector Dissection，用 SAE 拆解转向向量
Published Sep 7
Evaluated models Qwen2.5-7B-Instruct , Llama3.1-8B-Instruct Abstract 用 SAE 把 DiffMean 拆成可区分基向量，并靠去掉拒绝方向改变不安全转向的效果。Steering Vector Dissection 把激活差构成的复合转向向量拆成语义上更一致、效果可区分的基向量，并用来从不安全 DiffMean 里去掉拒绝方向。
提出 AV-SafetyBench 评测文生音视频模型的不安全生成
Published Sep 7
Evaluated models LTX-2.3 , Ovi-1.1 , JavisDiT++ and others7 Abstract AV-SafetyBench 用三视角评五个 T2AV 模型，显示只看视频会漏掉音频与联合风险。AV-SafetyBench 是面向文本生成音视频（T2AV）的安全基准：一条提示词同时规定画面和音频，评测同时看两轨以及它们的交互。作者要测的是，不安全含义不只出现在画面上：它可以主要由语音或声音承载，也可以只有两轨合起来才成立。T2VSafetyBench 不评音频，TTA-Bench 不评与画面的交互，作者认为二者都盖不住这些路径。
解释后验安全的权重几何脆弱性，并提出预训练持续安全共训练
Published Sep 7
Evaluated models Qwen-2.5-7B , Qwen-2.5-7B-Instruct , Llama-3-8B and others15 Abstract 论文将后验安全脆弱性归因于正交抑制，并提出通过预训练持续共训练实现具备微调抗性的安全防护。
在写入点定位拒答方向，经刚性旋转跨架构迁移并门控放大
Published Sep 4
Evaluated models Falcon-Mamba-7B , Falcon3-Mamba-7B , Llama-3.1-8B and others8 Abstract 拒答方向可经刚性旋转跨架构迁移，但必须在各架构的写入点读取。作者研究拒答表示是否随架构改变，结论是表示共享、读取位置随架构变。
提出 Safin-1，以可路由 Safety State 在冻结主干上实现内在安全
Published Aug 31
Evaluated models Safin-1 (4B) , Safin-1 (35B-A3B)