防御arXiv 2610.02568
PlurPO：用多元偏好优化缓解社交谄媚
提出 PlurPO，用自模拟利益相关者偏好后训练缓解社交谄媚
- arXiv
- 2610.02568
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-8B、Phi-4、Llama 3.1 8B 等5个
摘要PlurPO 用自身多方否决信号做后训练，在社会谄媚指标上降低过度认可。
PlurPO 是一种后训练方法，用来降低个人建议等无真值场景中的社会谄媚。
- 分析与理论arXiv 2609.37914
研究用训练数据归因量化微调数据对涌现性失准的影响
用训练数据归因估计错误建议样本对涌现失准的贡献
- arXiv
- 2609.37914
- 发表
- 场景
- 模型与 API
- 被测模型
- OLMo 3 7B-SFT、Qwen 2.5 1.5B、Qwen 2.5 3B 等11个
- 风险失准与价值偏离
摘要错误建议对涌现失调的贡献不均匀，归因过滤可增减失调，且最有效的是模型自己的分数。
EleutherAI 用训练数据归因考察错误建议微调中，哪些样本推动涌现失调。。窄域有害数据上的微调会使模型在无关问题上也给出有害回答。
- 防御arXiv 2609.37624
修正而非删除：用纠正性监督缓解涌现性失准
用纠正性监督改写固定有害微调样本，缓解涌现性失准
- arXiv
- 2609.37624
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-14B-Instruct、Gemma-4-12B-it
摘要在固定毒行上，把坏回答改成正确答案比删掉更能降低 EM，正确内容比多出来的安全指令更关键。
Correct, Don’t Delete 比较的是：微调数据里已经固定的有害行，是删掉还是改成同一提示上的正确答案，更能减轻 emergent misalignment。
- 防御arXiv 2609.36657
Constitutional adapters：用推理期干预防御越狱与失准
提出 Constitutional adapters，蒸馏宪法行为以缓解越狱与失准
- arXiv
- 2609.36657
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen3.5-4B、Llama-3.1-8B-Instruct、Gemma-4-E4B 等4个
摘要差分宪法适配器在长上下文和多轮上更稳，并可按 α 换取遵从。
- 风险行为arXiv 2609.35291
窄域多模态微调可诱发涌现性失配，覆盖 15 个视觉语言模型
证明无显式危害的图文窄微调可诱发跨任务涌现未对齐
- arXiv
- 2609.35291
- 发表
- 层
- 模型层
- 场景
- 网页与电脑操作
- 被测模型
- GPT-4o、GPT-4.1、Gemini 2.5 等15个
摘要证实窄多模态微调可引发全面的多渠道未对齐行为转变，揭示了后训练阶段对齐被隐蔽重塑的安全隐患。
论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐（Emergent Misalignment, EM）现象。
- 防御arXiv 2609.34970
研究揭示 LLM 涌现失准的机制并提出参数空间缓解框架
提出几何缓解框架，把有害梯度子空间从 LoRA 更新中正交投影出去
- arXiv
- 2609.34970
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-3B-IT、Qwen2.5-7B-IT、Qwen2.5-14B-IT 等8个
摘要窄域 LoRA 会留下可测的有害子空间。
See it, Say it, Sorted 在参数轨迹上诊断涌现失准，并把经验有害梯度子空间从 LoRA 更新中正交去掉。
- 防御arXiv 2609.31122
LocUS：面向定向激活引导的注意力头选择与子空间投影
提出 LocUS，用词汇子空间选择注意力头并约束激活转向
- arXiv
- 2609.31122
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Mistral-7B-v0.1、Mistral-7B-Instruct-v0.3、Llama-3.1-8B 等7个
摘要LocUS 用词汇子空间约束 DoM 转向的位置和方向。
LocUS 是不更新权重的推理时转向方法，把差分均值更新限制在少数注意力头及其属性对齐子空间。
- 分析与理论arXiv 2609.16754
TAME：用 token 归因与掩码定位并削减涌现性失配
提出 TAME 框架，定位并验证驱动涌现失准的回复 token
- arXiv
- 2609.16754
- 发表
- 场景
- 模型与 API
- 被测模型
- Llama-3.2-1B-Instruct、Qwen2.5-1.5B
- 风险失准与价值偏离
摘要提出 TAME 框架在 token 粒度定位 EM 信号，掩码高归因 token 成功切断跨任务未对齐。
- 防御arXiv 2609.15886
用学习到的新造词进行接种式 midtraining
提出 Inoculation Midtraining，用新造词语境约束不安全行为泛化
- arXiv
- 2609.15886
- 发表
- 场景
- 模型与 API
- 被测模型
- NVIDIA Nemotron 3 Super 120B Base、Nemotron 3 30B、Nemotron 3 550B
摘要用 midtraining 给新 token 写入隔离语境，可在 120B 上选择性降低错位，但弱于接种提示且边界会漏。
Inoculation Midtraining 试图在后训练之前，用一个开发者可控的新 token 把“允许错位”写成一条可开关的语境，使混合数据里的不安全成分留在该语境内。
- 风险行为arXiv 2609.10883
研究：AI 助手会从相似的人类角色身上吸收特质
展示人类角色故事微调会使助手吸收相似角色的行为与偏好
- arXiv
- 2609.10883
- 发表
- 场景
- 模型与 API
- 被测模型
- GPT-4.1、Kimi-K2.6、DeepSeek-V3.1 Base
- 风险失准与价值偏离
摘要人类角色故事会把条件行为和隐含偏好印到助手上，更像的角色影响更大。
Story imprinting 指的是：只写人类角色的合成故事，经监督微调后会改变默认 Assistant 在普通多轮对话里的行为。。
- 风险行为arXiv 2609.08186
论文揭示大推理模型的对齐崩溃并提出 Reasoning Trap 越狱范式
揭示推理加深引发的对齐坍塌，用 Reasoning Trap 放大越狱
- arXiv
- 2609.08186
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen3-8B、Qwen3-14B、Llama2-7B 等8个
摘要更深推理提升题目准确率，同时提高扰动下的相对损失。
作者研究扩展推理是否以对齐稳健性为代价，提出 ALR、RT 与 RRA。。
- 防御arXiv 2606.23700
自生成文本识别微调可预防和逆转涌现性失准
提出 SGTR 微调，预防并逆转窄域有害微调引发的涌现失准
- arXiv
- 2606.23700
- 发表
- 场景
- 模型与 API
- 被测模型
- GPT-4.1 (gpt-4.1-2025-04-14)、Qwen2.5-32B-Instruct、Seed-OSS-36B-Instruct
摘要SGTR 可逆转并预防 EM，但逆转不特异。
SGTR 是针对模型自我识别的微调，用来逆转和预防 emergent misalignment。
- 分析与理论arXiv 2602.09877
Moltbook 背后的魔鬼：自演化 AI 社会中安全对齐持续消失
论证自演化 AI 社会中安全对齐持续消失
- arXiv
- 2602.09877
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Qwen3-8B
- 风险失准与价值偏离
摘要作者称封闭自进化使安全对齐不可保持。
作者讨论封闭自进化的智能体社会能否同时保住安全对齐。
已经到底了