Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 14 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 PlurPO，用自模拟利益相关者偏好后训练缓解社交谄媚
Published Oct 2
Evaluated models Qwen3-8B , Phi-4 , Llama 3.1 8B and others5 Abstract PlurPO 用自身多方否决信号做后训练，在社会谄媚指标上降低过度认可。PlurPO 是一种后训练方法，用来降低个人建议等无真值场景中的社会谄媚。
提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正
Published Oct 1
Evaluated models Qwen3-4B , Gemma-3-4B-IT , Llama-3.2-3B-Instruct and others4 Abstract 低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。
用训练数据归因估计错误建议样本对涌现失准的贡献
Published Sep 30
Evaluated models OLMo 3 7B-SFT , Qwen 2.5 1.5B , Qwen 2.5 3B and others11 Abstract 错误建议对涌现失调的贡献不均匀，归因过滤可增减失调，且最有效的是模型自己的分数。EleutherAI 用训练数据归因考察错误建议微调中，哪些样本推动涌现失调。 。窄域有害数据上的微调会使模型在无关问题上也给出有害回答。
用纠正性监督改写固定有害微调样本，缓解涌现性失准
Published Sep 29
Evaluated models Qwen2.5-14B-Instruct , Gemma-4-12B-it Abstract 在固定毒行上，把坏回答改成正确答案比删掉更能降低 EM，正确内容比多出来的安全指令更关键。Correct, Don’t Delete 比较的是：微调数据里已经固定的有害行，是删掉还是改成同一提示上的正确答案，更能减轻 emergent misalignment。
提出 Constitutional adapters，蒸馏宪法行为以缓解越狱与失准
Published Sep 29
Evaluated models Qwen3.5-4B , Llama-3.1-8B-Instruct , Gemma-4-E4B and others4 Abstract 差分宪法适配器在长上下文和多轮上更稳，并可按 α 换取遵从。
证明无显式危害的图文窄微调可诱发跨任务涌现未对齐
Published Sep 28
Evaluated models GPT-4o , GPT-4.1 , Gemini 2.5 and others15 Abstract 证实窄多模态微调可引发全面的多渠道未对齐行为转变，揭示了后训练阶段对齐被隐蔽重塑的安全隐患。论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐（Emergent Misalignment, EM）现象。
提出几何缓解框架，把有害梯度子空间从 LoRA 更新中正交投影出去
Published Sep 28
Evaluated models Qwen2.5-3B-IT , Qwen2.5-7B-IT , Qwen2.5-14B-IT and others8 Abstract 窄域 LoRA 会留下可测的有害子空间。See it, Say it, Sorted 在参数轨迹上诊断涌现失准，并把经验有害梯度子空间从 LoRA 更新中正交去掉。
提出 LocUS，用词汇子空间选择注意力头并约束激活转向
Published Sep 25
Evaluated models Mistral-7B-v0.1 , Mistral-7B-Instruct-v0.3 , Llama-3.1-8B and others7 Abstract LocUS 用词汇子空间约束 DoM 转向的位置和方向。LocUS 是不更新权重的推理时转向方法，把差分均值更新限制在少数注意力头及其属性对齐子空间。
提出 TAME 框架，定位并验证驱动涌现失准的回复 token
Published Sep 15
Evaluated models Llama-3.2-1B-Instruct , Qwen2.5-1.5B Abstract 提出 TAME 框架在 token 粒度定位 EM 信号，掩码高归因 token 成功切断跨任务未对齐。
提出 Inoculation Midtraining，用新造词语境约束不安全行为泛化
Published Sep 15
Evaluated models NVIDIA Nemotron 3 Super 120B Base , Nemotron 3 30B , Nemotron 3 550B Abstract 用 midtraining 给新 token 写入隔离语境，可在 120B 上选择性降低错位，但弱于接种提示且边界会漏。Inoculation Midtraining 试图在后训练之前，用一个开发者可控的新 token 把“允许错位”写成一条可开关的语境，使混合数据里的不安全成分留在该语境内。
展示人类角色故事微调会使助手吸收相似角色的行为与偏好
Published Sep 10
Evaluated models GPT-4.1 , Kimi-K2.6 , DeepSeek-V3.1 Base Abstract 人类角色故事会把条件行为和隐含偏好印到助手上，更像的角色影响更大。Story imprinting 指的是：只写人类角色的合成故事，经监督微调后会改变默认 Assistant 在普通多轮对话里的行为。 。
揭示推理加深引发的对齐坍塌，用 Reasoning Trap 放大越狱
Published Sep 8
Evaluated models Qwen3-8B , Qwen3-14B , Llama2-7B and others8 Abstract 更深推理提升题目准确率，同时提高扰动下的相对损失。作者研究扩展推理是否以对齐稳健性为代价，提出 ALR、RT 与 RRA。 。
提出 SGTR 微调，预防并逆转窄域有害微调引发的涌现失准
Published Jun 4
Evaluated models GPT-4.1 (gpt-4.1-2025-04-14) , Qwen2.5-32B-Instruct , Seed-OSS-36B-Instruct Abstract SGTR 可逆转并预防 EM，但逆转不特异。SGTR 是针对模型自我识别的微调，用来逆转和预防 emergent misalignment。
论证自演化 AI 社会中安全对齐持续消失
Published Feb 10
Evaluated models Qwen3-8B Abstract 作者称封闭自进化使安全对齐不可保持。作者讨论封闭自进化的智能体社会能否同时保住安全对齐。
You have reached the end