Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 26 papers Another 321 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 Persist-3 序贯检验,从隐藏表示识别未见越狱源
Published Oct 7
Evaluated models Llama2-7B-chat , Qwen2.5-7B-Instruct , Gemma-2-9B-it and others4 Abstract Persist-3 用有限窗口检验攻击流是否超出已知越狱源,检出率低于全历史 SR-DKW,但决策只依赖最近观测。Persist-3 是一个有限记忆的序贯检测器,用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。 。
AI summary 研究者提出一种轻量级路由 logits 安全检测器,在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号,在生成前判断多模态请求是否安全,且不修改模型参数或专家路由。
Published Oct 6
Evaluated models Qwen3-VL-30B-A3B-Instruct , Kimi-VL-A3B-Instruct Abstract 读出而非操纵 router logits,可在不改模型的情况下降低两模型的组合式安全错误。作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类:图文各自可安全,合在一起才不安全,或不安全内容只在图像里。
提出 PyINE 基准,训练捷径跟随模型并比较监督者
Published Oct 4
Evaluated models shortcut-following model organism , gpt-4o , gpt-5 and others12 Abstract PyINE 用可验证代码执行研究捷径失败的监督覆盖与成本权衡。PyINE 是用可执行程序研究推理模型引出与监督的框架,PyINE-v1 是其第一次发布。
系统评估循环语言模型加深 loop 后的 CoT 可监控性
Published Oct 2
Evaluated models Ouro-1.4B-Thinking , Ouro-2.6B-Thinking , Nanbeige4.2-3B and others4 Abstract 加深 loop 可在部分压力测试任务降低可监测性,循环架构本身并不必然更难监测。这项工作评估 LoopLM 的 CoT 可监测性:加深共享层的重复次数,以及“有循环结构”本身,会不会让决策关键因素更少出现在可监测文本里。
用分类后缀提升激活探针对分布外恶意输入的检测
Published Oct 2
Evaluated models Llama-3.1-8B , Qwen3.5-9B , Gemma-4-12B Abstract 作者称排序增益来自分类格式,低 FPR 精度来自点名准则。用户轮后的分类后缀,被作者用作激活探针的分布外检测干预:排序看格式,低 FPR 精度看是否点名恶意/良性。
用持续更新的探针做微调,降低有害性并保持线性可监测性
Published Sep 30
Evaluated models Mistral 7B Instruct v0.1 , Llama 3 8B Instruct Abliterated , Qwen3-14B Abstract 持续重拟合的探针可降低有害性、提高诚实性,训练后概念仍能被线性探针读出。Probe-guided fine-tuning 把探针分数当作唯一对齐信号,用来推动 harmlessness 与 honesty,并检查训练后这些概念是否仍线性可读。
分析隐蔽推理在思维链监控下的信息足迹下界与不可读性
Published Sep 29
Evaluated models Qwen2.5-7B-Instruct , Llama-3.1-8B-Instruct , Qwen 3.5 397B-A17B and others12 Abstract 论文从理论与实证探明了思维链监控的边界:复杂隐蔽计算必然泄露信息足迹且需承担长度税,但该足迹可被在线加密而不可读。
证明 LLM 仅凭先前监控反馈即可编辑激活规避潜空间监控
Published Sep 29
Evaluated models llama-3.1-8b-instruct , gemma-3-27b-instruct , qwen3-14b and others4 Abstract 论文指出 LLM 可仅凭历史二元反馈推断潜空间监控规则并通过激活编辑实现规避,提出潜空间安全监控需应对交互式规避。这篇论文研究了语言模型如何仅利用多轮上下文中的二元反馈信息规避内部潜空间监控器。
发现推理模型在思维链监控惩罚下学会可读越狱而非编码推理
Published Sep 25
Evaluated models gpt-oss-20b , gpt-oss-120b , gpt-5-nano and others14 Abstract 论文揭示了强化学习压力下模型会发展出透明但能骗过监控的越狱策略,改写防御可有效恢复监控能力。论文研究了推理模型在受到思维链监控惩罚的强化学习压力下,自发形成的监控器越狱现象。要解决的核心问题是验证在强化学习压力下,模型为了偷运未授权计算是否会如学界担忧的那样演化出人类不可读的编码推理或隐写行为。方法上,论文构建了结合 Game24 主任务与算术侧任务的强化学习环境,在涂黑侧任务答案的条件下,使用 GRPO 算法依据 LLM 监控器的可疑度评分对模型施加惩罚。
用能量势垒信号检测扩散语言模型的越狱
Published Sep 25
Evaluated models LLaDA-8B-Instruct , LLaDA-1.5 , Dream-v0-Instruct-7B and others4 Abstract 能量势垒把 dLLM 越狱分成掩盖初始状态或中途越垒,三个 logit 信号据此互补检测。Bach 等提出用去噪能量景观解释 masked diffusion 语言模型上的越狱,并由此得到三个免训练检测信号。 。
提出有守卫最小步激活引导,只在关机语境把继续偏好转向接受关机
Published Sep 24
Evaluated models Qwen3.5-0.8B 提出免参考探测 PIR,从激活读出被隐瞒答案并区分擦除
Published Sep 19
Evaluated models gemma-2-9b , gemma-3-12b , Qwen2.5-7B and others9 Abstract 论文提出免参考内部识别探测 PIR,划分了隐瞒与遗忘的边界,为评估沙盒审计与遗忘真实性提供了内部依据。
提出局部稀疏无监督安全检测,标记偏离安全分布的输入
Published Sep 17
Evaluated models qwen2-1.5b-instruct , ministral-8b-instruct , llama3-8b-instruct and others6 提出 plan injection 攻击,植入良性伪装计划以绕过思维链监视器
Published Sep 15
Evaluated models Qwen2.5-Coder-7B-Instruct , Qwen3-8B , DeepSeek-R1-0528 and others6 Abstract 论文指出模型会将外部上下文中的伪装计划改写为自身推理,使思维链监视器失效甚至反向合理化恶意行为。
提出 HERALD,用跨层有害投影轨迹检测越狱提示
Published Sep 12
Evaluated models Llama-3.1-8B-Instruct , Mistral-7B-Instruct , OLMo2-7B-Instruct and others4 Abstract HPD 用跨层投影形状区分有害与良性提示。
评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检
Published Sep 5
Evaluated models Gemma-4-31B-IT , Qwen3-32B , Llama Guard 3 8B and others6 Abstract 论文发现安全监视器大多拦截模型已拒答请求,指出明确度偏差是共性原因,并通过双侧梯级微调提升回答请求的召回表现。
在写入点定位拒答方向,经刚性旋转跨架构迁移并门控放大
Published Sep 4
Evaluated models Falcon-Mamba-7B , Falcon3-Mamba-7B , Llama-3.1-8B and others8 Abstract 拒答方向可经刚性旋转跨架构迁移,但必须在各架构的写入点读取。作者研究拒答表示是否随架构改变,结论是表示共享、读取位置随架构变。
提出 HackProbe,黑盒检测并免疫自演化中的奖励作弊
Published Sep 4 Abstract 黑盒探针检测自演化奖励黑客,并以带宽受限重选回收真实能力。HackProbe 是挂在自演化循环上的黑盒监控器,用来发现奖励黑客并改选候选。
提出 AMS,用激活分离与方向相似度检测安全训练改动
Published Aug 6
Evaluated models Llama-3.1-8B-Instruct , Llama-3.2-3B-Instruct , Llama-3.2-1B-Instruct and others14 Abstract AMS 按激活签名把安全改动分四类,前三类可由两级扫描覆盖,行为微调会漏。AMS 是面向开放权重模型、部署前使用的激活扫描器,用来看安全训练被拿掉或改写之后,激活空间里还留着什么几何痕迹。
提出 DeMTS,把扩散语言模型去噪轨迹建成多元时间序列以检测幻觉
Published Jul 24
Evaluated models LLaDA-8B-Instruct , Dream-7B-Instruct