Translation in progress Some entries still include text in the original language.
Oct 13 · Tuesday
All papers Found 47 papers Another 215 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
An ecological model is established for a population of mismatched agents, showing that collaboration produces a critical takeoff scale.
Published Oct 9 Abstract The authors say that collaboration changes takeoff from an individual capability threshold to a population threshold, so small-population evaluations are insufficient.The authors use the ecological strong Allee effect to discuss whether a mismatched agent population can take off when individual capabilities remain unchanged. .
用 BeliefScope 分离固定命题上证据与压力对模型信念的影响
Published Oct 8
Evaluated models Qwen3-8B , Llama3.1-8B , Gemma3-12B and others4 Abstract BeliefScope 把证据修正与压力偏移拆成绑定评测条件的行为画像。BeliefScope 是一个黑盒行为诊断框架，用来把固定命题上的回答变化拆成证据驱动的修正，和不加新事实的方向性压力。信念修正评测能看到信息基础变化后的更新，谄媚评测能看到用户影响下的顺从或漂移。作者认为，当两种输入都偏向同一结论时，表面偏移本身不能区分来源。
提出知行差距面板，测量压力下模型是否违背自身判断
Published Oct 7
Evaluated models OLMo-3-7B-Instruct , Llama-3.1-8B-Instruct , Tulu 3 and others7 Abstract 评估发现后训练配方决定知行差距是否存在，行动前审思可有效缓解。本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。
提出分风险对齐标度律框架，测量各类风险的对齐负担如何随规模变化
Published Oct 6
Evaluated models Pythia (14m–2.8b) , Qwen2.5 (0.5B–72B) , Qwen2.5-Instruct (0.5B–14B) and others4 Abstract 论文提出了分风险对齐标度律框架，测得真实性与倾向纠错呈标度有益，但盲后门仍存活，揭示隐藏风险的长期挑战。本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。
构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从
Published Oct 5
Evaluated models opus-5 , sonnet-5 , sonnet-4.6 and others11 Abstract 论文揭示施压句式、边界距离与格式偏置主导翻转率，提出系统解构纠错与顺从的综合评测方案。本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。
提出 APO，协同学习少样本个性化偏好对齐的 aligner 初始化
Published Oct 5
Evaluated models Llama-3.2-3B-Instruct , Qwen2.5-3B-Instruct 提出 AURA，用正交惩罚分开顺序适配中的推理与安全子空间
Published Oct 4
Evaluated models Qwen-3-14B , Qwen-2.5-14B-Instruct , Llama-3-8B-Instruct and others4 Abstract AURA 用子空间正交分开顺序任务。AURA 是面向共享骨干智能体的顺序 LoRA 正则，用来分开前后任务的残差子空间。
提出 PlurPO，用自模拟利益相关者偏好后训练缓解社交谄媚
Published Oct 2
Evaluated models Qwen3-8B , Phi-4 , Llama 3.1 8B and others5 Abstract PlurPO 用自身多方否决信号做后训练，在社会谄媚指标上降低过度认可。PlurPO 是一种后训练方法，用来降低个人建议等无真值场景中的社会谄媚。
提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正
Published Oct 1
Evaluated models Qwen3-4B , Gemma-3-4B-IT , Llama-3.2-3B-Instruct and others4 Abstract 低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。
提出 Grafting，把基座上学到的信念更新加到后训练模型
Published Oct 1
Evaluated models Qwen3-14B , Llama-3.3-70B-Instruct , DeepSeek-V4-Flash and others6 Abstract Grafting 用一次基座微调复用后训练，信念安装接近直接 SDF，连贯性损伤更小。Grafting 把在基座上学会的 SDF 权重更新加到后训练模型上，用来近似中训练干预，而不必为每次改语料重跑后训练。
提出 Robust Nash Alignment，在偏好不确定下做稳健博弈对齐
Published Oct 1
Evaluated models Qwen2.5-1.5B-Instruct , Gemma-2-2B Abstract 稳健 Nash 对齐在歧义集上优化最坏胜率，多数设置高于 NashMD。Robust Nash Alignment 把偏好对齐从“对着一个名义成对核求 Nash”改成“在偏好核的不确定集合上求最坏胜率”。
提出 FIGS 双轴基准，评测多轮对话中的谄媚与校准性共情
Published Sep 30
Evaluated models DeepSeek V4.1 Flash , Gemini 3.8 Flash , GLM 5.3 and others8 Abstract FIGS 把守事实和恰当共情分开计分，事实向提示会换来更冷的失败。FIGS 是一个固定的多轮评测套件，用来同时看模型会不会在压力下放弃事实，以及会不会在守住事实时忽略用户实际说过的感受。
用性格训练做 on-policy 蒸馏，诱导模型对自身资源形成 CARA 风险厌恶
Published Sep 30
Evaluated models Qwen3.5-9B , Qwen3.8-27B , Gemma-4-12B and others4 Abstract 角色蒸馏可写入 CARA 偏好，效果随模型族与 token 预算变化，并抬高 myopic reward。作者用角色训练把资源上的 CARA 风险厌恶写入语言模型，以服务与失准智能体做交易这一设想。评测用的是赌局选择，不是真实叛逃中的交易。
用训练数据归因估计错误建议样本对涌现失准的贡献
Published Sep 30
Evaluated models OLMo 3 7B-SFT , Qwen 2.5 1.5B , Qwen 2.5 3B and others11 Abstract 错误建议对涌现失调的贡献不均匀，归因过滤可增减失调，且最有效的是模型自己的分数。EleutherAI 用训练数据归因考察错误建议微调中，哪些样本推动涌现失调。 。窄域有害数据上的微调会使模型在无关问题上也给出有害回答。
用纠正性监督改写固定有害微调样本，缓解涌现性失准
Published Sep 29
Evaluated models Qwen2.5-14B-Instruct , Gemma-4-12B-it Abstract 在固定毒行上，把坏回答改成正确答案比删掉更能降低 EM，正确内容比多出来的安全指令更关键。Correct, Don’t Delete 比较的是：微调数据里已经固定的有害行，是删掉还是改成同一提示上的正确答案，更能减轻 emergent misalignment。
因果解耦来源依从与用户迎合的内部机制
Published Sep 29
Evaluated models Qwen3.5-27B , GPT-OSS-20B , OLMo-3.1-32B and others8 Abstract 论文发现模型对验证源的依从强于用户迎合，通过因果干预区分了二者机制，并检验了权威方向移除的缓解效果。
测量多智能体交接中错误上游消息覆盖下游正确答案
Published Sep 29
Evaluated models gpt-4o-mini , gpt-5.4 , kimi-k2.6 and others7 Abstract 固定证据只改消息后，错误上游结论会定向替换下游本可答对的答案。这项受控研究考察多智能体 draft-review 交接里，一条上游消息会怎样改变下游原本能做对的判断。下游同时看到任务证据和上游消息。作者固定证据，比较消息隐藏、原样展示和结论反转，用消息价值τ和交互Γ分开“消息有用”和“消息有害”，并把能独立答对却改成上游具体错答称为substitution 。
提出 Constitutional adapters，蒸馏宪法行为以缓解越狱与失准
Published Sep 29
Evaluated models Qwen3.5-4B , Llama-3.1-8B-Instruct , Gemma-4-E4B and others4 Abstract 差分宪法适配器在长上下文和多轮上更稳，并可按 α 换取遵从。
用 SAE 与 CFI 压低谄媚，检验直接拒答与施压下拒答是否增强
Published Sep 29
Evaluated models Qwen3.5-2B-Base , Qwen3.5-9B-Base , Qwen3.5-35B-A3B-Base Abstract CFI 能持久降低谄媚，但不保证直接拒答变强。用 SAE 选出的谄媚特征做补偿性训练注入，检验“少谄媚”是否带来“更强拒答”。 。
提出几何缓解框架，把有害梯度子空间从 LoRA 更新中正交投影出去
Published Sep 28
Evaluated models Qwen2.5-3B-IT , Qwen2.5-7B-IT , Qwen2.5-14B-IT and others8 Abstract 窄域 LoRA 会留下可测的有害子空间。See it, Say it, Sorted 在参数轨迹上诊断涌现失准，并把经验有害梯度子空间从 LoRA 更新中正交去掉。