Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 18 papers Another 240 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 Persist-3 序贯检验，从隐藏表示识别未见越狱源
Published Oct 7
Evaluated models Llama2-7B-chat , Qwen2.5-7B-Instruct , Gemma-2-9B-it and others4 Abstract Persist-3 用有限窗口检验攻击流是否超出已知越狱源，检出率低于全历史 SR-DKW，但决策只依赖最近观测。Persist-3 是一个有限记忆的序贯检测器，用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。 。
AI summary 研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。
Published Oct 6
Evaluated models Qwen3-VL-30B-A3B-Instruct , Kimi-VL-A3B-Instruct Abstract 读出而非操纵 router logits，可在不改模型的情况下降低两模型的组合式安全错误。作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类：图文各自可安全，合在一起才不安全，或不安全内容只在图像里。
提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视
Published Oct 5
Evaluated models Gemma 4 26B-A4B , Qwen3.6 27B , Qwen3.5 27B and others12 Abstract 统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
用持续更新的探针做微调，降低有害性并保持线性可监测性
Published Sep 30
Evaluated models Mistral 7B Instruct v0.1 , Llama 3 8B Instruct Abliterated , Qwen3-14B Abstract 持续重拟合的探针可降低有害性、提高诚实性，训练后概念仍能被线性探针读出。Probe-guided fine-tuning 把探针分数当作唯一对齐信号，用来推动 harmlessness 与 honesty，并检查训练后这些概念是否仍线性可读。
用能量势垒信号检测扩散语言模型的越狱
Published Sep 25
Evaluated models LLaDA-8B-Instruct , LLaDA-1.5 , Dream-v0-Instruct-7B and others4 Abstract 能量势垒把 dLLM 越狱分成掩盖初始状态或中途越垒，三个 logit 信号据此互补检测。Bach 等提出用去噪能量景观解释 masked diffusion 语言模型上的越狱，并由此得到三个免训练检测信号。 。
测量记忆投毒防御在良性对话上的效用与 token 开销
Published Sep 19 Abstract 写时代价落在噪声内。在没有攻击的对话上，给记忆投毒防御计价，而不是再测一轮攻击是否被挡住。
提出局部稀疏无监督安全检测，标记偏离安全分布的输入
Published Sep 17
Evaluated models qwen2-1.5b-instruct , ministral-8b-instruct , llama3-8b-instruct and others6 提出 HERALD，用跨层有害投影轨迹检测越狱提示
Published Sep 12
Evaluated models Llama-3.1-8B-Instruct , Mistral-7B-Instruct , OLMo2-7B-Instruct and others4 Abstract HPD 用跨层投影形状区分有害与良性提示。
系统梳理智能体执行链路中的越狱攻击与防御并比较推理时防御
Published Sep 11
Evaluated models Qwen3.5-4B , Llama-3.1-8B-Instruct Abstract SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。
提出离线两阶段框架，诊断易翻转步骤并生成记忆指南以稳定智能体
Published Sep 8
Evaluated models GPT-4.1 , GPT-OSS-120B Abstract 用离线一致性诊断生成记忆指南，在 AppWorld 上提高重复全通过率。作者要缩小的是 LLM 智能体平均通过、重复不稳之间的 consistency gap，即 Mean@k 减 Passˆk。
评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检
Published Sep 5
Evaluated models Gemma-4-31B-IT , Qwen3-32B , Llama Guard 3 8B and others6 Abstract 论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。
在写入点定位拒答方向，经刚性旋转跨架构迁移并门控放大
Published Sep 4
Evaluated models Falcon-Mamba-7B , Falcon3-Mamba-7B , Llama-3.1-8B and others8 Abstract 拒答方向可经刚性旋转跨架构迁移，但必须在各架构的写入点读取。作者研究拒答表示是否随架构改变，结论是表示共享、读取位置随架构变。
重测记忆型自改进 Agent 的运行方差与任务顺序敏感性
Published Aug 19
Evaluated models GPT-5-mini , Gemini-2.5-Pro , GPT-OSS-120B and others4 Abstract 论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
提出 AMS，用激活分离与方向相似度检测安全训练改动
Published Aug 6
Evaluated models Llama-3.1-8B-Instruct , Llama-3.2-3B-Instruct , Llama-3.2-1B-Instruct and others14 Abstract AMS 按激活签名把安全改动分四类，前三类可由两级扫描覆盖，行为微调会漏。AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。
提出 EvoBreak，以良性任务组合诱导自进化 Agent 的持久经验并削弱安全边界
Published Aug 3
Evaluated models GPT-5-mini , Llama-3.1-8B-Instruct 构造可通过计费审计的 token 虚报，使服务商系统性超收
Published May 28
Evaluated models PALACE domain-adapted auditor Abstract 不诚实提供方可在三种 token 审计上虚报并通过检查，作者认为需改用提供方不控制的证据。不透明 LLM 的按 token 计费里，现有审计核验的是提供方可控的证据，不诚实提供方可以虚报并通过检查。 。
提出 D²-Monitor，按犹豫步数把难提示路由到更强探针
Published May 25
Evaluated models LLaDA-8B-Base , LLaDA-8B-Instruct , LLaDA-1.5-8B and others4 Defenses arXiv 2505.23559 · May 29, 2025 提出 SafeScientist 四层监控，阻止科研智能体执行高风险或不伦理任务
Published May 29, 2025
Evaluated models GPT-4o , GPT-4.1 , GPT-3.5-turbo and others5 Abstract 四层监控加科研安全基准。SafeScientist 是带四层监控的科研智能体框架，并用 SciSafetyBench 评测科学场景中的任务安全。
You have reached the end