Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 43 papers Another 321 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Trace attention to identify harmfulness to the MLP refusal write pathway and propose Sentinel
Published Oct 9
Evaluated models Llama-3.1-8B-Instruct , Qwen2.5-7B-Instruct , Qwen3-8B-Instruct and others18 Abstract Attention updates are more readable for harmfulness, MLP updates write refusal, and Sentinel routes alerts using two-path signals.The authors reframe jailbreaking and excessive refusal of aligned models as a pathway problem on the residual stream from recognition to writing, and accordingly provide conditional reminders before decoding.
定位安全敏感参数并稀疏改动权重以削弱安全对齐
Published Oct 7
Evaluated models LLaMA-2-7B-Chat AI summary 研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。
Published Oct 6
Evaluated models Qwen3-VL-30B-A3B-Instruct , Kimi-VL-A3B-Instruct Abstract 读出而非操纵 router logits，可在不改模型的情况下降低两模型的组合式安全错误。作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类：图文各自可安全，合在一起才不安全，或不安全内容只在图像里。
提出 CAP 指标与 CSFD 算法，发现被抑制的安全特征
Published Oct 5
Evaluated models Gemma-2-2B , Qwen3-8B , Gemma-3-4B-IT and others5 Abstract 论文指出越狱通过抑制安全特征运作，提出 CAP 与 CSFD 补充了针对激活特征的解释性方法。
提出 EmoRSS，推理时在拒绝子空间反向抵消情绪激活偏移以缓解过度拒答
Published Oct 4
Evaluated models Llama-3.1-8B-it , Qwen3-8B 提出 Prefix Steering，以短前缀激活引导控制行为并保住能力
Published Oct 4
Evaluated models OLMo 3 7B , OLMo 3 32B , Qwen3 1.7B and others4 Abstract 短前缀 steering 用已有方向做短暂干预。本文用注意力层匹配连接提示词与激活干预，并把干预改成从末提示词 token 开始的短前缀。
测量安全拒绝与一般语境拒绝的转向维数
Published Oct 3
Evaluated models Llama-3.1-8B-Instruct , Qwen2.5-3B-Instruct 用路由梯度敏感度定位稀疏 MoE 的安全敏感专家
Published Oct 2
Evaluated models Mixtral-8x7B , Qwen1.5-MoE , DeepSeek-MoE and others5 Abstract 频率不是敏感度。在五个稀疏 MoE 上，用 router 梯度而不是激活频率挑选要抑制的专家，留出恶意提示词上的拒答降得更多。 。推理时让少数路由专家不被选中，就可以不重训练地改变拒答，但频率只记录使用次数。
提出 DNAlign，在不改权重的推理期用零空间约束控制信号做安全对齐
Published Oct 2
Evaluated models Vicuna-7B , Qwen-7B Abstract DNAlign 用零空间约束的推理期控制做安全对齐，Table I 平均奖励高于所列基线。DNAlign 是一个不改 LLM 参数的安全对齐框架，用来在推理时压低有害输出，并减少对中性知识所支持的流畅、事实回答的改动。
提出 PowerBench，测量模型对权力转移请求的拒答偏见
Published Oct 2
Evaluated models grok-4.3 , haiku-4.5 , nova-2-lite and others18 Abstract 作者报告拒答随 SE/DE/PG 变化，并存在针对美国失权、智能体和语言的差。
提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正
Published Oct 1
Evaluated models Qwen3-4B , Gemma-3-4B-IT , Llama-3.2-3B-Instruct and others4 Abstract 低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。
定位写入 Transformer 拒答方向的稀疏组件与残差维度
Published Oct 1
Evaluated models Gemma-2-2B-IT , Qwen3-4B , Phi-4-Mini-Instruct and others4 Abstract 四模型上拒答转向集中于稀疏组件和约一半残差维度，而非均匀编码。这篇工作把拒答转向从残差流单点干预拆到组件和坐标，看 refusal 方向 r* 是被哪些上游模块组装出来的。
测量并预测具身 VLM 规划器的任务拒答可变性
Published Sep 30
Evaluated models gemini-robotics-er-2-preview , gemini-robotics-er-1.6-preview Abstract 日常物体能翻转一部分已给出的拒答，可翻转程度取决于任务且可被本地代理预测。作者测量 constitution 守护的具身 VLM 规划器：一次拒答在只往场景里放一个日常物体之后还保不保持得住，并把这种易翻转程度称为任务的 malleability 。
分析多轮攻击中有害性与拒答表征的几何演化
Published Sep 30
Evaluated models Llama-3.1-8B-Instruct , Qwen2.5-7B-Instruct , Gemma-2-9B-it Abstract 多轮中 harmfulness 渐可分且与 refusal 弱对齐，单轮静态探针可能因此变差。作者刻画多轮攻击里 harmfulness 与 refusal 相关表示如何随对话变化，而不提出新的攻击或防御。
用 SAE 与 CFI 压低谄媚，检验直接拒答与施压下拒答是否增强
Published Sep 29
Evaluated models Qwen3.5-2B-Base , Qwen3.5-9B-Base , Qwen3.5-35B-A3B-Base Abstract CFI 能持久降低谄媚，但不保证直接拒答变强。用 SAE 选出的谄媚特征做补偿性训练注入，检验“少谄媚”是否带来“更强拒答”。 。
比较对话与工具中介通道的拒答内部机制
Published Sep 28
Evaluated models Qwen3-8B , Qwen3-32B , Llama-3.1-8B and others8 Abstract 有害性跨通道仍可读，工具通道用更高阈值且更易被 GCG 与消融打破。作者在八个开源指令模型上研究：同一有害意图从对话改由工具交付时，拒答为何变弱，内部计算是否也变了。 。
构建中文青少年内容安全基准 QH-Bench，评测单轮与多轮回复的安全与有用性
Published Sep 28
Evaluated models InternLM2.5-20B , InternLM2.5-7B , InternLM2.5-1.8B and others13 Abstract QH-Bench 分单轮与多轮评测中文青少年内容安全，总均分高仍不消除线下接触和关系压力上的负分。QH-BENCH 是面向中国社会文化情境的中文青少年内容安全基准，用单轮细粒度风险和多轮跨轮机制两条轨道，评测模型回复是否既守住安全边界又提供适合年龄的帮助。
用语义保留变换探针比较效用与对齐在分布偏移下的稳定性
Published Sep 26
Evaluated models Llama3-8B-Instruct , Gemma-7B-it , Qwen2.5-7B-Instruct and others10 Abstract 论文报告了语义保留变换下的对齐-效用不对称性，指出安全对齐泛化比效用更为脆弱，呼吁改进评估流程。
提出预算化发现框架，优先深评更可能隐藏失败的安全提示词
Published Sep 26
Evaluated models Qwen 2.5 7B , Qwen/Qwen2.5-7B-Instruct-Turbo , Gemma 3n E4B and others4 Abstract 浅层零失败的提示词仍可按潜在失败倾向排序，从而把有限深评预算投向更可能暴露隐藏失败之处。作者把 LLM 可靠性评测写成预算约束下的隐藏失败发现：每条提示词有未知的逐次失败概率，浅层少量采样中的零失败并不等于该概率为零。
提出 Matryoshka Attribution，把模型输出归因到表示与权重
Published Sep 22
Evaluated models gpt2-small , Qwen2.5-0.5B , gemma-2-2b and others6 Abstract MAttr 用随机预算的 sigmoid top-k 学嵌套归因，并在电路基准和拒答权重上给出结果。Matryoshka Attribution（MAttr） 把“哪些内部计算或权重差导致了输出”写成可以用梯度下降学习的嵌套子集问题。