Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 27 papers Another 262 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 LADE，用首 token 暗知识在生成前过滤越狱查询
Published Oct 6
Evaluated models Llama-2-7B-Chat , Llama-3-8B-Instruct , Qwen2-7B-Instruct and others13 Abstract 作者用 LADE 在生成前过滤有害查询，并称八个模型中六个的 Held-out 平均最好。LADE 是一种只读首 token 输出概率的防御，用来在生成前挡下可能引出有害回复的查询。
评测文生图模型的有害内容生成能力与审核检测缺口
Published Oct 5
Evaluated models SDXL , Stable Diffusion 3.5 Large , FLUX.1-dev and others12 提出 Persona Guardrail，强制客服智能体守住功能边界
Published Oct 2
Evaluated models Qwen3-30B-A3B , Qwen3-VL-30B , Qwen3-8B and others5 Abstract Persona Guardrail 用功能边界做同步输入输出校验，并在 PAGE 与生产延迟预算下给出评测。Persona Guardrail 是客服向智能体的同步运行时防御：先写明功能边界，再决定放行或拦截，而不是只检测某一攻击类。
提出收缩约束 SSM 安全头，认证嵌入扰动并检测越狱
Published Oct 2
Evaluated models ToySSMClassifier , S4 safety head Abstract 收缩给出玩具 LTI 的有界认证。给 SSM 安全头一个收缩条件，并在越狱检测上使用收缩正则的 S4 头。 。
提出 MOMAT 多图集检索与轻量判定，防御量化模型越狱
Published Oct 1
Evaluated models Llama2-13B , Llama2-7B , Mistral-7B 评测多轮对话中 GradSafe 越狱检测的可分性与脆弱性
Published Sep 29
Evaluated models Llama 3.1 8B Instruct , Qwen2.5-7B-Instruct Abstract CWS 显示不安全梯度在真实多轮流量中变弱，且随攻击族和模型而变。作者评估梯度越狱检测从单条提示词迁到多轮对话后还剩多少可分性，方法是用 Context Window Scanner 把 GradSafe 原封不动地套到用户轮窗口上。
构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险
Published Sep 29
Evaluated models ThinkingGuard（Qwen3-VL-8B-Instruct） Abstract TriggerBench 隔离触发条件，ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。这篇工作研究多模态隐式风险检测 ：图文各自良性，风险只在关键元素与触发元素交互时出现。
用 SCM 合成会话并训练检测器识别推理层滥用
Published Sep 29
Evaluated models gradient-boosted detector (GBDT/XGBoost) 诊断护栏相对基座在对抗提示上的置信失校
Published Sep 29
Evaluated models Llama-Guard 7B , Llama-Guard-2 8B , Llama-Guard-3 8B and others10 Abstract 对抗包装使 guard 高置信漏检，而对应 base 在同一输入上常更不确定。诊断性分析 ：五个提示词分类 guard 的置信度，在清洁输入上可以较校准，在越狱包装后则变成高置信度的错误判定。
提出 RLCDAlignBench，零样本检测多种对齐失败
Published Sep 24
Evaluated models Jev (jev-1.13.0) Abstract 一次通用问题已能给多数对齐失败排序，大的误差来自状态和标签。RLCDAlignBench 测量用强化学习做校准决策的 Jev，能否当作对齐失败的零样本检测器。
提出 HE-Guardrail，在密文推理中评估越狱护栏并门控回复
Published Sep 18
Evaluated models Llama-3-8B-Instruct , Llama Guard 3-8B Abstract 密文护栏门控 HE-LLM 回复。把越狱护栏装进同态加密 LLM 推理：服务器不解密，也能按安全决策决定客户端看到目标回复还是拒绝回复。
用后验重加权解释多模态上下文越狱，并提出风险门控的良性示例注入防御
Published Sep 8
Evaluated models Qwen3-VL-2B , Qwen3-VL-4B , Qwen3-VL-8B and others8 Abstract 后验重加权解释上下文越狱的缩放，并支持风险门控的良性示例防御。Zhang 等把多模态 ICL 越狱写成对齐模型在安全与有害隐模式之间的推理时后验漂移，并据此做风险门控防御。
提出 SRD-GUARD，以语义改写与多模型联合评分拦截包装式越狱
Published Sep 6
Evaluated models Llama-3-8B-Uncensored , DeepSeek-V4-Flash 提出生成式护栏 HiveTraceGuard-Pro，检测提示注入、越狱与混淆
Published Sep 1
Evaluated models HiveTraceGuard-Pro (0.6B) Abstract 0.6B 俄英护栏在自建俄语干净集和 PI-RU 上得分最高，聚合 key 居第三，过阻断和回复精度仍是作者标出的短板。HiveTraceGuard-Pro 是面向请求与回复审核的 0.6B 生成式护栏，由 Qwen3-0.6B 经 LoRA 微调，在俄语和英语上训练，只输出一个 safe/unsafe 裁决。
提出机器遗忘式生成图像检测，用遗忘前后特征相似度区分自然图与生成图
Published Aug 1
Evaluated models DINOv2 ViT-S/14 , DINOv2 ViT-B/14 , DINOv2 ViT-L/14 and others9 Abstract 作者用剪枝或 LoRA 遗忘拉开生成图与自然图的特征相似度，并在多个检测基准上报告结果。这篇工作把 AI 生成图像检测写成对预训练视觉模型的机器遗忘：原模型对两类图像损失都低，剪枝后生成图特征变得更不像原模型。
提出 SciTrace，为科学发现智能体加入跨阶段安全推理与工具轨迹核验
Published Jun 6
Evaluated models Llama-3.1-70B-Instruct , Qwen2.5-72B-Instruct , DeepSeek-V3 and others4 Abstract SciTrace 把安全推理织入科学智能体各阶段，在 SciSafetyBench 上提高安全指标并保持输出质量。SciTrace 是加在科学发现智能体流水线上的安全框架，不是再在各阶段出口放一个独立过滤器。
构建 MultiTurnPSB，评测四轮医疗越狱与分类器输入防御
Published May 30
Evaluated models GPT-4.1-mini , Claude Sonnet 4.5 Abstract 多轮攻击加剧医疗模型风险，分类器干预有效但受高误报率制约。MultiTurnPSB 针对患者端医疗大模型在持续交互中的安全风险，构建了包含三种攻击模态的四轮对抗评测基准。
提出 FoodGuardBench 与护栏 FoodGuard-4B，评测并降低食品危害越狱
Published Apr 2
Evaluated models Claude-3.7-Sonnet , GPT-4o , GPT-4.1 and others10 提出 RA-Det，利用鲁棒性不对称检测 AI 生成图像
Published Mar 2 Abstract RA-Det 把扰动下特征漂移差变成检测信号，平均 ACC 高于表中通用检测器，但不是每行最高。RA-Det 是合成图像检测器，用扰动下的表示稳定性差异代替外观痕迹。
提出代理层 peak + accumulation 公式，检测多轮分发的攻击
Published Feb 12