Translation in progress Some entries still include text in the original language.
Oct 13 · Tuesday
All papers Found 18 papers Another 215 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
比较连续后训练阶段如何改变语言模型的说服力
Published Oct 7
Evaluated models mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated , GPT-4 Abstract 作者称说服性 SFT 提高失调模型的态度变化，IPO 无额外收益，GPT-4 不异于中性文本。作者用同一人类协议，把 LLM 说服力拆成阴谋数据上的失调 SFT、说服数据上的 SFT，以及其后的 IPO。
提出分风险对齐标度律框架，测量各类风险的对齐负担如何随规模变化
Published Oct 6
Evaluated models Pythia (14m–2.8b) , Qwen2.5 (0.5B–72B) , Qwen2.5-Instruct (0.5B–14B) and others4 Abstract 论文提出了分风险对齐标度律框架，测得真实性与倾向纠错呈标度有益，但盲后门仍存活，揭示隐藏风险的长期挑战。本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。
提出 APO，协同学习少样本个性化偏好对齐的 aligner 初始化
Published Oct 5
Evaluated models Llama-3.2-3B-Instruct , Qwen2.5-3B-Instruct 提出 AURA，用正交惩罚分开顺序适配中的推理与安全子空间
Published Oct 4
Evaluated models Qwen-3-14B , Qwen-2.5-14B-Instruct , Llama-3-8B-Instruct and others4 Abstract AURA 用子空间正交分开顺序任务。AURA 是面向共享骨干智能体的顺序 LoRA 正则，用来分开前后任务的残差子空间。
提出 PlurPO，用自模拟利益相关者偏好后训练缓解社交谄媚
Published Oct 2
Evaluated models Qwen3-8B , Phi-4 , Llama 3.1 8B and others5 Abstract PlurPO 用自身多方否决信号做后训练，在社会谄媚指标上降低过度认可。PlurPO 是一种后训练方法，用来降低个人建议等无真值场景中的社会谄媚。
提出 Grafting，把基座上学到的信念更新加到后训练模型
Published Oct 1
Evaluated models Qwen3-14B , Llama-3.3-70B-Instruct , DeepSeek-V4-Flash and others6 Abstract Grafting 用一次基座微调复用后训练，信念安装接近直接 SDF，连贯性损伤更小。Grafting 把在基座上学会的 SDF 权重更新加到后训练模型上，用来近似中训练干预，而不必为每次改语料重跑后训练。
提出 Robust Nash Alignment，在偏好不确定下做稳健博弈对齐
Published Oct 1
Evaluated models Qwen2.5-1.5B-Instruct , Gemma-2-2B Abstract 稳健 Nash 对齐在歧义集上优化最坏胜率，多数设置高于 NashMD。Robust Nash Alignment 把偏好对齐从“对着一个名义成对核求 Nash”改成“在偏好核的不确定集合上求最坏胜率”。
用性格训练做 on-policy 蒸馏，诱导模型对自身资源形成 CARA 风险厌恶
Published Sep 30
Evaluated models Qwen3.5-9B , Qwen3.8-27B , Gemma-4-12B and others4 Abstract 角色蒸馏可写入 CARA 偏好，效果随模型族与 token 预算变化，并抬高 myopic reward。作者用角色训练把资源上的 CARA 风险厌恶写入语言模型，以服务与失准智能体做交易这一设想。评测用的是赌局选择，不是真实叛逃中的交易。
用训练数据归因估计错误建议样本对涌现失准的贡献
Published Sep 30
Evaluated models OLMo 3 7B-SFT , Qwen 2.5 1.5B , Qwen 2.5 3B and others11 Abstract 错误建议对涌现失调的贡献不均匀，归因过滤可增减失调，且最有效的是模型自己的分数。EleutherAI 用训练数据归因考察错误建议微调中，哪些样本推动涌现失调。 。窄域有害数据上的微调会使模型在无关问题上也给出有害回答。
用纠正性监督改写固定有害微调样本，缓解涌现性失准
Published Sep 29
Evaluated models Qwen2.5-14B-Instruct , Gemma-4-12B-it Abstract 在固定毒行上，把坏回答改成正确答案比删掉更能降低 EM，正确内容比多出来的安全指令更关键。Correct, Don’t Delete 比较的是：微调数据里已经固定的有害行，是删掉还是改成同一提示上的正确答案，更能减轻 emergent misalignment。
提出几何缓解框架，把有害梯度子空间从 LoRA 更新中正交投影出去
Published Sep 28
Evaluated models Qwen2.5-3B-IT , Qwen2.5-7B-IT , Qwen2.5-14B-IT and others8 Abstract 窄域 LoRA 会留下可测的有害子空间。See it, Say it, Sorted 在参数轨迹上诊断涌现失准，并把经验有害梯度子空间从 LoRA 更新中正交去掉。
提出零阶偏好对齐方法 ComPO，从低边际偏好对估计更新方向
Published Sep 17
Evaluated models Mistral-7B-Base , Mistral-7B-Instruct , Llama-3-8B-Base and others8 Abstract ComPO 用比较预言机处理低边际对，并在多个模型上提高 LC 胜率。ComPO 是一种基于比较预言机的零阶偏好对齐方法，用来从低边际偏好对取出方向信息，而不在这些对上直接优化可微偏好损失。
提出 TAME 框架，定位并验证驱动涌现失准的回复 token
Published Sep 15
Evaluated models Llama-3.2-1B-Instruct , Qwen2.5-1.5B Abstract 提出 TAME 框架在 token 粒度定位 EM 信号，掩码高归因 token 成功切断跨任务未对齐。
提出 Inoculation Midtraining，用新造词语境约束不安全行为泛化
Published Sep 15
Evaluated models NVIDIA Nemotron 3 Super 120B Base , Nemotron 3 30B , Nemotron 3 550B Abstract 用 midtraining 给新 token 写入隔离语境，可在 120B 上选择性降低错位，但弱于接种提示且边界会漏。Inoculation Midtraining 试图在后训练之前，用一个开发者可控的新 token 把“允许错位”写成一条可开关的语境，使混合数据里的不安全成分留在该语境内。
展示人类角色故事微调会使助手吸收相似角色的行为与偏好
Published Sep 10
Evaluated models GPT-4.1 , Kimi-K2.6 , DeepSeek-V3.1 Base Abstract 人类角色故事会把条件行为和隐含偏好印到助手上，更像的角色影响更大。Story imprinting 指的是：只写人类角色的合成故事，经监督微调后会改变默认 Assistant 在普通多轮对话里的行为。 。
提出特征方向漂移机制与探针空间走廊正则，抑制蒸馏潜隐特质迁移
Published Sep 1
Evaluated models Qwen2.5-7B-Instruct , Llama-3.1-8B-Instruct , Gemma-3-12B-IT Abstract 论文将潜意识学习归结为特征方向漂移的持续累积，并提出走廊正则化在微调中控制隐蔽特征转移。
提出 OpenMLE，后训练元进化智能体并做机器学习工程长程搜索
Published Jul 31
Evaluated models Frontis-MA1-35B , Frontis-MA1-30B Abstract OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。作者提出全栈 OpenMLE ，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。
提出 SGTR 微调，预防并逆转窄域有害微调引发的涌现失准
Published Jun 4
Evaluated models GPT-4.1 (gpt-4.1-2025-04-14) , Qwen2.5-32B-Instruct , Seed-OSS-36B-Instruct Abstract SGTR 可逆转并预防 EM，但逆转不特异。SGTR 是针对模型自我识别的微调，用来逆转和预防 emergent misalignment。
You have reached the end