Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 18 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Trace attention to identify harmfulness to the MLP refusal write pathway and propose Sentinel
Published Oct 9
Evaluated models Llama-3.1-8B-Instruct , Qwen2.5-7B-Instruct , Qwen3-8B-Instruct and others18 Abstract Attention updates are more readable for harmfulness, MLP updates write refusal, and Sentinel routes alerts using two-path signals.The authors reframe jailbreaking and excessive refusal of aligned models as a pathway problem on the residual stream from recognition to writing, and accordingly provide conditional reminders before decoding.
定位安全敏感参数并稀疏改动权重以削弱安全对齐
Published Oct 7
Evaluated models LLaMA-2-7B-Chat 提出 CAP 指标与 CSFD 算法，发现被抑制的安全特征
Published Oct 5
Evaluated models Gemma-2-2B , Qwen3-8B , Gemma-3-4B-IT and others5 Abstract 论文指出越狱通过抑制安全特征运作，提出 CAP 与 CSFD 补充了针对激活特征的解释性方法。
测量安全拒绝与一般语境拒绝的转向维数
Published Oct 3
Evaluated models Llama-3.1-8B-Instruct , Qwen2.5-3B-Instruct 用路由梯度敏感度定位稀疏 MoE 的安全敏感专家
Published Oct 2
Evaluated models Mixtral-8x7B , Qwen1.5-MoE , DeepSeek-MoE and others5 Abstract 频率不是敏感度。在五个稀疏 MoE 上，用 router 梯度而不是激活频率挑选要抑制的专家，留出恶意提示词上的拒答降得更多。 。推理时让少数路由专家不被选中，就可以不重训练地改变拒答，但频率只记录使用次数。
定位写入 Transformer 拒答方向的稀疏组件与残差维度
Published Oct 1
Evaluated models Gemma-2-2B-IT , Qwen3-4B , Phi-4-Mini-Instruct and others4 Abstract 四模型上拒答转向集中于稀疏组件和约一半残差维度，而非均匀编码。这篇工作把拒答转向从残差流单点干预拆到组件和坐标，看 refusal 方向 r* 是被哪些上游模块组装出来的。
分析多轮攻击中有害性与拒答表征的几何演化
Published Sep 30
Evaluated models Llama-3.1-8B-Instruct , Qwen2.5-7B-Instruct , Gemma-2-9B-it Abstract 多轮中 harmfulness 渐可分且与 refusal 弱对齐，单轮静态探针可能因此变差。作者刻画多轮攻击里 harmfulness 与 refusal 相关表示如何随对话变化，而不提出新的攻击或防御。
用 SAE 与 CFI 压低谄媚，检验直接拒答与施压下拒答是否增强
Published Sep 29
Evaluated models Qwen3.5-2B-Base , Qwen3.5-9B-Base , Qwen3.5-35B-A3B-Base Abstract CFI 能持久降低谄媚，但不保证直接拒答变强。用 SAE 选出的谄媚特征做补偿性训练注入，检验“少谄媚”是否带来“更强拒答”。 。
比较对话与工具中介通道的拒答内部机制
Published Sep 28
Evaluated models Qwen3-8B , Qwen3-32B , Llama-3.1-8B and others8 Abstract 有害性跨通道仍可读，工具通道用更高阈值且更易被 GCG 与消融打破。作者在八个开源指令模型上研究：同一有害意图从对话改由工具交付时，拒答为何变弱，内部计算是否也变了。 。
提出 Matryoshka Attribution，把模型输出归因到表示与权重
Published Sep 22
Evaluated models gpt2-small , Qwen2.5-0.5B , gemma-2-2b and others6 Abstract MAttr 用随机预算的 sigmoid top-k 学嵌套归因，并在电路基准和拒答权重上给出结果。Matryoshka Attribution（MAttr） 把“哪些内部计算或权重差导致了输出”写成可以用梯度下降学习的嵌套子集问题。
抽取正交类别残差并用激活转向检验其有害性与拒答作用
Published Sep 17
Evaluated models Gemma-2-9B-IT , Llama-3-8B-Instruct , Qwen2.5-7B-Instruct Abstract 类别残差可携带有害性并诱发拒答，也常加强下游的一般有害对齐。作者分离出与一般有害方向正交的类别残差 ，用来检查细粒度有害信号是否参与 LLM 的安全行为。
用几何投影与因果交换干预，分析拒绝机制读取的道德表征
Published Sep 14
Evaluated models OLMo-3-7B-Instruct , OLMo-3-7B base , Qwen2.5-7B-Instruct and others9 Abstract 作者指出拒绝机制多仅读取表层伤害感知，在控制瓶颈处运作，阐明了对齐易被移除的机理并提出跨模型双轴分类。本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。
提出 Steering Vector Dissection，用 SAE 拆解转向向量
Published Sep 7
Evaluated models Qwen2.5-7B-Instruct , Llama3.1-8B-Instruct Abstract 用 SAE 把 DiffMean 拆成可区分基向量，并靠去掉拒绝方向改变不安全转向的效果。Steering Vector Dissection 把激活差构成的复合转向向量拆成语义上更一致、效果可区分的基向量，并用来从不安全 DiffMean 里去掉拒绝方向。
解释后验安全的权重几何脆弱性，并提出预训练持续安全共训练
Published Sep 7
Evaluated models Qwen-2.5-7B , Qwen-2.5-7B-Instruct , Llama-3-8B and others15 Abstract 论文将后验安全脆弱性归因于正交抑制，并提出通过预训练持续共训练实现具备微调抗性的安全防护。
在写入点定位拒答方向，经刚性旋转跨架构迁移并门控放大
Published Sep 4
Evaluated models Falcon-Mamba-7B , Falcon3-Mamba-7B , Llama-3.1-8B and others8 Abstract 拒答方向可经刚性旋转跨架构迁移，但必须在各架构的写入点读取。作者研究拒答表示是否随架构改变，结论是表示共享、读取位置随架构变。
用 abliteration 消融代码 LLM 拒答方向，分离拒答与漏洞注入能力
Published Jun 4
Evaluated models Qwen2.5-Coder-Instruct 3B , Qwen2.5-Coder-Instruct 7B , Qwen2.5-Coder-Instruct 14B Abstract 拒答可用低秩编辑去掉，CWE-89 注入是否成功仍由模型规模决定。这项初步可行性研究用 abliteration 把代码 LLM 的拒答和 CWE 注入能力拆开：意愿可以被低秩编辑解锁，注入是否成功仍看参数规模。
Published Mar 26
Evaluated models Llama-2-7b-chat-hf , Gemma-7b-it , Qwen2.5-7B-Instruct and others6 分析推理模型拒答假新闻时思维链的内部安全分叉
Published Feb 5
Evaluated models Llama3-8B , Qwen3-4B , Qwen3-8B and others5 Abstract 拒绝不等于过程安全。作者对推理 LLM 在虚假新闻生成中的 CoT 做内部路由分析，并只改关键头来降低过程风险。作者称这是该场景下不安全 CoT 的首次系统分析。
You have reached the end