Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 21 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 SIGMA，让模型依据 Model Spec 自造对齐数据并改进安全对齐
Published Oct 6
Evaluated models Qwen3.6-27B Abstract SIGMA 用 Model Spec 自造监督，单轮训练可迁到多项智能体安全指标。SIGMA 让 Qwen3.6-27B 只凭 Model Spec 和高层领域，自己生产对齐任务、评分细则和奖励。
评测记忆门控对激活诱导与记忆诱导谄媚的防御效果
Published Oct 6
Evaluated models Llama-3.1-8B-Instruct , Qwen2.5-7B-Instruct , Mistral-7B-Instruct-v0.3 and others4 Abstract 作者称外部记忆过滤成立，数据未显示反向转向再有贡献。作者在四个开源指令模型上，把激活转向和外部记忆处理放进同一纵深防御协议，看记忆诱发谄媚和内部谄媚压力能否分开压低，以及个性化效用还剩多少。要处理的问题是：检索到的用户历史会推动模型顺从存储信念。只改外部上下文，并不直接动模型内部的谄媚表征。
提出 APO，协同学习少样本个性化偏好对齐的 aligner 初始化
Published Oct 5
Evaluated models Llama-3.2-3B-Instruct , Qwen2.5-3B-Instruct 提出 AURA，用正交惩罚分开顺序适配中的推理与安全子空间
Published Oct 4
Evaluated models Qwen-3-14B , Qwen-2.5-14B-Instruct , Llama-3-8B-Instruct and others4 Abstract AURA 用子空间正交分开顺序任务。AURA 是面向共享骨干智能体的顺序 LoRA 正则，用来分开前后任务的残差子空间。
提出 MemAdapter，在检索后约束记忆对智能体推理的影响
Published Oct 4
Evaluated models DeepSeek-V4-Flash , GPT-5.6-sol , Qwen3-8B Abstract 检索后三阶段调节记忆角色。MemAdapter 是给长期记忆智能体用的检索后调节框架，用来处理记忆诱发谄媚。
提出 PlurPO，用自模拟利益相关者偏好后训练缓解社交谄媚
Published Oct 2
Evaluated models Qwen3-8B , Phi-4 , Llama 3.1 8B and others5 Abstract PlurPO 用自身多方否决信号做后训练，在社会谄媚指标上降低过度认可。PlurPO 是一种后训练方法，用来降低个人建议等无真值场景中的社会谄媚。
提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正
Published Oct 1
Evaluated models Qwen3-4B , Gemma-3-4B-IT , Llama-3.2-3B-Instruct and others4 Abstract 低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。
提出 Grafting，把基座上学到的信念更新加到后训练模型
Published Oct 1
Evaluated models Qwen3-14B , Llama-3.3-70B-Instruct , DeepSeek-V4-Flash and others6 Abstract Grafting 用一次基座微调复用后训练，信念安装接近直接 SDF，连贯性损伤更小。Grafting 把在基座上学会的 SDF 权重更新加到后训练模型上，用来近似中训练干预，而不必为每次改语料重跑后训练。
提出 Robust Nash Alignment，在偏好不确定下做稳健博弈对齐
Published Oct 1
Evaluated models Qwen2.5-1.5B-Instruct , Gemma-2-2B Abstract 稳健 Nash 对齐在歧义集上优化最坏胜率，多数设置高于 NashMD。Robust Nash Alignment 把偏好对齐从“对着一个名义成对核求 Nash”改成“在偏好核的不确定集合上求最坏胜率”。
用性格训练做 on-policy 蒸馏，诱导模型对自身资源形成 CARA 风险厌恶
Published Sep 30
Evaluated models Qwen3.5-9B , Qwen3.8-27B , Gemma-4-12B and others4 Abstract 角色蒸馏可写入 CARA 偏好，效果随模型族与 token 预算变化，并抬高 myopic reward。作者用角色训练把资源上的 CARA 风险厌恶写入语言模型，以服务与失准智能体做交易这一设想。评测用的是赌局选择，不是真实叛逃中的交易。
用纠正性监督改写固定有害微调样本，缓解涌现性失准
Published Sep 29
Evaluated models Qwen2.5-14B-Instruct , Gemma-4-12B-it Abstract 在固定毒行上，把坏回答改成正确答案比删掉更能降低 EM，正确内容比多出来的安全指令更关键。Correct, Don’t Delete 比较的是：微调数据里已经固定的有害行，是删掉还是改成同一提示上的正确答案，更能减轻 emergent misalignment。
提出 Constitutional adapters，蒸馏宪法行为以缓解越狱与失准
Published Sep 29
Evaluated models Qwen3.5-4B , Llama-3.1-8B-Instruct , Gemma-4-E4B and others4 Abstract 差分宪法适配器在长上下文和多轮上更稳，并可按 α 换取遵从。
提出几何缓解框架，把有害梯度子空间从 LoRA 更新中正交投影出去
Published Sep 28
Evaluated models Qwen2.5-3B-IT , Qwen2.5-7B-IT , Qwen2.5-14B-IT and others8 Abstract 窄域 LoRA 会留下可测的有害子空间。See it, Say it, Sorted 在参数轨迹上诊断涌现失准，并把经验有害梯度子空间从 LoRA 更新中正交去掉。
提出 LocUS，用词汇子空间选择注意力头并约束激活转向
Published Sep 25
Evaluated models Mistral-7B-v0.1 , Mistral-7B-Instruct-v0.3 , Llama-3.1-8B and others7 Abstract LocUS 用词汇子空间约束 DoM 转向的位置和方向。LocUS 是不更新权重的推理时转向方法，把差分均值更新限制在少数注意力头及其属性对齐子空间。
提出 AIMES 用词表读出在线调节多价值激活干预
Published Sep 25
Evaluated models Gemma-3-4B-IT , Gemma-3-12B-IT , Qwen3-4B and others5 Abstract AIMES 用词表读出闭环调节多价值转向，优势随深度变化且实现扰动更小。AIMES 是推理时的多价值激活转向框架，用中间层词表读出把固定系数改成随状态变化的权重。
提出零阶偏好对齐方法 ComPO，从低边际偏好对估计更新方向
Published Sep 17
Evaluated models Mistral-7B-Base , Mistral-7B-Instruct , Llama-3-8B-Base and others8 Abstract ComPO 用比较预言机处理低边际对，并在多个模型上提高 LC 胜率。ComPO 是一种基于比较预言机的零阶偏好对齐方法，用来从低边际偏好对取出方向信息，而不在这些对上直接优化可微偏好损失。
提出 Inoculation Midtraining，用新造词语境约束不安全行为泛化
Published Sep 15
Evaluated models NVIDIA Nemotron 3 Super 120B Base , Nemotron 3 30B , Nemotron 3 550B Abstract 用 midtraining 给新 token 写入隔离语境，可在 120B 上选择性降低错位，但弱于接种提示且边界会漏。Inoculation Midtraining 试图在后训练之前，用一个开发者可控的新 token 把“允许错位”写成一条可开关的语境，使混合数据里的不安全成分留在该语境内。
提出 k-robust 联盟对齐，刻画误对齐评审下的安全委托授权
Published Sep 15 Abstract 联盟覆盖使无个体对齐的评审面板仍可相对基线安全授权，数值分数改善完备性。委托授权的安全不要求每位评审者对齐，而要求面板在效用空间覆盖委托人。
提出特征方向漂移机制与探针空间走廊正则，抑制蒸馏潜隐特质迁移
Published Sep 1
Evaluated models Qwen2.5-7B-Instruct , Llama-3.1-8B-Instruct , Gemma-3-12B-IT Abstract 论文将潜意识学习归结为特征方向漂移的持续累积，并提出走廊正则化在微调中控制隐蔽特征转移。
提出 INTENT-AS-A-TOOL，用意图工具概率跟踪并干预智能体失准
Published Aug 28
Evaluated models Gemma-4-31B-IT , Qwen3.5-27B , Qwen3-235B-A22B and others5 Abstract 用意图工具的下一动作概率跟踪推理中的失准承诺，并在其成为首选时插入反思。Zhang 等人研究推理型语言模型在职场邮件沙箱里如何走向智能体失准，并提出用动作偏好而不是事后文本标签来跟踪承诺。问题是：有害执行往往出现在推理已经形成意图之后，但 CoT 监控是事后、粗粒度、依赖外部评审的，也看不到模型倾向调用哪个动作。