Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 25 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
测量 LLM 版本更替对科学摘要 AI 改写检测器的影响
Published Oct 8
Evaluated models RoBERTa-base , Pangram Abstract 作者称检测器的基准准确率只是临时的,每次发布都要连同更早版本重验。作者量化的是:科学摘要的 AI 改写筛查,在 LLM 版本不断更换、而人类摘要误标必须少见时,会怎样变。问题来自期刊和会议已经按分数阈值筛查投稿,但基准多停在评估时可得的版本上。
提出监控深伪基准 CCDF,在统一编码后评测检测器对伪造犯罪事故录像的识别
Published Oct 6
Evaluated models C2P-CLIP , ForgeLens , D3-Im and others10 Abstract 提出消除格式捷径的监控深度伪造基准 CCDF,揭示现有检测器难以识别商用生成视频。
提出 LADE,用首 token 暗知识在生成前过滤越狱查询
Published Oct 6
Evaluated models Llama-2-7B-Chat , Llama-3-8B-Instruct , Qwen2-7B-Instruct and others13 Abstract 作者用 LADE 在生成前过滤有害查询,并称八个模型中六个的 Held-out 平均最好。LADE 是一种只读首 token 输出概率的防御,用来在生成前挡下可能引出有害回复的查询。
提出 CorrectGuard,在不可查看输入上估计黑盒护栏决策对错
Published Oct 2
Evaluated models Granite Guardian 3.1 2B , Qwen3Guard 8B , GPT-OSS-Safeguard-20B and others7 Abstract CorrectGuard 用外部模型估计黑盒护栏决策对错,排序和弃权可用,校准在偏移下变差。CorrectGuard 面向不能人工检查生产输入、也没有生产标签的黑盒安全护栏,用外部模型估计单条决策是否正确,并据此排序和弃权。离线基准会随数据和攻击变化,未必代表生产分布。隐私约束还可能禁止模型查看原文或可反演的稠密嵌入。
提出收缩约束 SSM 安全头,认证嵌入扰动并检测越狱
Published Oct 2
Evaluated models ToySSMClassifier , S4 safety head Abstract 收缩给出玩具 LTI 的有界认证。给 SSM 安全头一个收缩条件,并在越狱检测上使用收缩正则的 S4 头。 。
提出 MOMAT 多图集检索与轻量判定,防御量化模型越狱
Published Oct 1
Evaluated models Llama2-13B , Llama2-7B , Mistral-7B 提出推理时 Unicode 归一化的检测器,识别遭字符级扰动的 AI 生成文本
Published Oct 1
Evaluated models microsoft/deberta-v3-large , deberta-v3-base , bert-large-cased and others4 Abstract 推理时归一化消除两类 Unicode 攻击,训练时归一化则会删掉对抗监督。DeBERTa-ConPara 是一个面向部署的 AI 文本检测器:DeBERTa-v3-large 在多数据集原始文本上训练,推理前做确定性 Unicode 归一化,用一个固定阈值面对没有目标域标签的场景。
评测多轮对话中 GradSafe 越狱检测的可分性与脆弱性
Published Sep 29
Evaluated models Llama 3.1 8B Instruct , Qwen2.5-7B-Instruct Abstract CWS 显示不安全梯度在真实多轮流量中变弱,且随攻击族和模型而变。作者评估梯度越狱检测从单条提示词迁到多轮对话后还剩多少可分性,方法是用 Context Window Scanner 把 GradSafe 原封不动地套到用户轮窗口上。
构建 TriggerBench 并训练 ThinkingGuard,检测图文隐式风险
Published Sep 29
Evaluated models ThinkingGuard(Qwen3-VL-8B-Instruct) Abstract TriggerBench 隔离触发条件,ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。这篇工作研究多模态隐式风险检测 :图文各自良性,风险只在关键元素与触发元素交互时出现。
提出 RLCDAlignBench,零样本检测多种对齐失败
Published Sep 24
Evaluated models Jev (jev-1.13.0) Abstract 一次通用问题已能给多数对齐失败排序,大的误差来自状态和标签。RLCDAlignBench 测量用强化学习做校准决策的 Jev,能否当作对齐失败的零样本检测器。
组织 ArGuard 共享任务评测阿拉伯语表情包与提示词有害检测
Published Sep 24
Evaluated models Qwen3-VL , Qwen3-VL-8B-Instruct , MARBERTv2 and others9 用词级归因指导同义词替换,翻转提示注入检测并验证越狱
Published Sep 22
Evaluated models Prompt Guard 2 (86M) , Llama 3.1 8B 提出 HE-Guardrail,在密文推理中评估越狱护栏并门控回复
Published Sep 18
Evaluated models Llama-3-8B-Instruct , Llama Guard 3-8B Abstract 密文护栏门控 HE-LLM 回复。把越狱护栏装进同态加密 LLM 推理:服务器不解密,也能按安全决策决定客户端看到目标回复还是拒绝回复。
提出 RemTraceNet,少样本识别图像是否经过指定去除流水线
Published Sep 18
Evaluated models RemTraceNet 用后验重加权解释多模态上下文越狱,并提出风险门控的良性示例注入防御
Published Sep 8
Evaluated models Qwen3-VL-2B , Qwen3-VL-4B , Qwen3-VL-8B and others8 Abstract 后验重加权解释上下文越狱的缩放,并支持风险门控的良性示例防御。Zhang 等把多模态 ICL 越狱写成对齐模型在安全与有害隐模式之间的推理时后验漂移,并据此做风险门控防御。
提出 SRD-GUARD,以语义改写与多模型联合评分拦截包装式越狱
Published Sep 6
Evaluated models Llama-3-8B-Uncensored , DeepSeek-V4-Flash 评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检
Published Sep 5
Evaluated models Gemma-4-31B-IT , Qwen3-32B , Llama Guard 3 8B and others6 Abstract 论文发现安全监视器大多拦截模型已拒答请求,指出明确度偏差是共性原因,并通过双侧梯级微调提升回答请求的召回表现。
提出生成式护栏 HiveTraceGuard-Pro,检测提示注入、越狱与混淆
Published Sep 1
Evaluated models HiveTraceGuard-Pro (0.6B) Abstract 0.6B 俄英护栏在自建俄语干净集和 PI-RU 上得分最高,聚合 key 居第三,过阻断和回复精度仍是作者标出的短板。HiveTraceGuard-Pro 是面向请求与回复审核的 0.6B 生成式护栏,由 Qwen3-0.6B 经 LoRA 微调,在俄语和英语上训练,只输出一个 safe/unsafe 裁决。
评测安全 LLM-judge 对新上下文与新政策的改判能力
Published Jun 6
Evaluated models GPT-5-2 , GPT-5-mini-08-2025 , Claude-4-5-Sonnet and others13 Abstract 作者形式化两种 judge 属性,称新 context 只在先验弱时有用,新政策则很难改判。作者度量的不是 judge 与某一套人工标签有多一致,而是它会不会吸收新 context、会不会改用另一套安全政策。
构建 MultiTurnPSB,评测四轮医疗越狱与分类器输入防御
Published May 30
Evaluated models GPT-4.1-mini , Claude Sonnet 4.5 Abstract 多轮攻击加剧医疗模型风险,分类器干预有效但受高误报率制约。MultiTurnPSB 针对患者端医疗大模型在持续交互中的安全风险,构建了包含三种攻击模态的四轮对抗评测基准。