Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 38 papers Another 233 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Proposing an option channel attack that renames option labels so that agent guardrails allow prohibited operations
Published Oct 9
Evaluated models LAYA-TD , LAYA-EN , LAYA-ML and others5 Abstract The authors' evaluation indicates that typed models should not serve as final safety arbiters; they are susceptible to off-policy text and option name manipulation, and confidence filtering cannot resist attacks.
提出 BRANCH 方法，用分支搜索绕过多扫描器护栏
Published Oct 8
Evaluated models Meta Llama Guard 3 8B , Meta Llama Guard 7B , Meta Llama Guard 3 1B and others18 提出 Safety-Aware Pruning，缓解视觉 token 剪枝放大的多模态越狱
Published Oct 7
Evaluated models LLaVA-1.5-7B Abstract 剪枝去掉背景 token 后注意力塌向恶意前景。这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为，并给出推理时防御 SAP。
测量有损投机解码的安全代价，并提出 SecureSD 收紧早期验证
Published Oct 7
Evaluated models Qwen3-8B , Qwen3-32B , Llama-3.1-8B-Instruct and others6 Abstract 有损推测解码的早期偏离更快抬高越狱与注入风险。作者研究有损推测解码在换取速度时，是否会比效用更快地损害越狱与提示注入防护，并给出按位置校正的 SecureSD。
提出 MARCO 放射性水印，冻结蛋白质生成模型并在去噪时嵌入签名
Published Oct 6
Evaluated models RFdiffusion , ESMFold , Chroma and others6 Abstract MARCO 在冻结的 PGM 上去噪时嵌构象水印，作者称能兼顾保真与抗扰动，并使盗版模型继承水印。MARCO 是加在蛋白质生成模型推理过程上的构象水印，用来标记知识产权，并为可能的生物安全滥用保留可追溯信号。作者还把它说成数字权利管理工具，以及符合生物武器公约的数字监管链。问题在于：专有 PGM 的三维输出可能被拿去训练盗版模型，也可能在来源被抹掉后绕过筛查。
评估应用决策层的输入注入与隐私推断风险
Published Oct 4
Evaluated models Jev , NanoJev Abstract Jev 的类型化决策可被输入与训练操纵，也会泄露信息，并同时支持检测与滥用。Jev 是 TypeSafe 的 System One 模型，把应用 state 和固定问题变成 Choice、Noul 或 Score 的类型化决策与概率。作者用官方 API 和可改训练的 NanoJev，考察它作为决策层时的操纵、泄露与双重用途。
提出 Persona Guardrail，强制客服智能体守住功能边界
Published Oct 2
Evaluated models Qwen3-30B-A3B , Qwen3-VL-30B , Qwen3-8B and others5 Abstract Persona Guardrail 用功能边界做同步输入输出校验，并在 PAGE 与生产延迟预算下给出评测。Persona Guardrail 是客服向智能体的同步运行时防御：先写明功能边界，再决定放行或拦截，而不是只检测某一攻击类。
提出 ASA 与 AttestMCP，度量并降低 LLM 对输入序列扰动的敏感
Published Oct 2
Evaluated models Gemma-3-27B-Instruct , Gemma-3-4B-Instruct , Llama-3.2-3B-Instruct and others12 提出 UNTAG，绕过开源权重模型的 trigger-tag 滥用检测
Published Oct 2
Evaluated models Llama2 (7B) , Llama3 (8B) , Qwen2.5 (7B) Abstract 作者用 UNTAG 评估 trigger-tag，认为其不能充当开放权重滥用检测的主要边界。UNTAG 是针对开放权重 LLM 上条件滥用检测 trigger-tag 的统一攻击评估：信号可以在解码期注入，也可以写进权重，但攻击者若能改输出或改已发布权重，检测可以失效。
提出 imMRAG 攻击，从多模态 RAG 私有图像库提取内容
Published Oct 1
Evaluated models Lumina-mGPT , Gemini 2.5 Flash Image Preview , CLIP ViT-B/16 and others5 提出 DART，用去噪表征转移检测多轮智能体攻击并注入提醒
Published Sep 30
Evaluated models Qwen3-8B , Qwen3-14B , Qwen3-32B and others6 提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据
Published Sep 29
Evaluated models DeepSeek-Coder-7B , LLaMA-3-8B , Qwen2.5-Coder-7B and others6 Abstract 论文提出扰动蒸馏与离线过滤两阶段框架，实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。
提出用邻居分数替代参考模型的单轮成员推断
Published Sep 29
Evaluated models 目标分类模型（架构与训练流程遵循 Aerni et al.） Abstract 邻居查询在单模型上恢复逐样本校准，合成邻居加早期检查点最接近 LiRA。本文研究 one-round 成员推断 ：只有一个目标模型、不能再训练参考模型时，如何仍做逐样本校准，并用于单次运行的 DP 审计。
提出 Leaky，用新鲜轨迹的 token 对数概率差推断 OPD 训练记录成员身份
Published Sep 27
Evaluated models Qwen3-1.7B , Qwen3-4B , Qwen3.5-2B and others5 提出移动 Agent 轨迹审计器 MATE，判断轨迹是否违反可编辑安全策略
Published Sep 19
Evaluated models MATE-0.5B , MATE-1.5B , MATE-3B Abstract MATE 用合成轨迹微调轻量审计器，在可编辑策略下判断移动智能体轨迹是否违规并给出解释。MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器，在给定自然语言安全策略时判断轨迹是否违规并解释原因。
提出 RAPID，离线把抗蒸馏扰动写入文生图解码器
Published Sep 15
Evaluated models PixArt , SSD , SDXL and others4 提出能力洗钱攻击，拆分任务向对齐模型套取能力
Published Sep 14
Evaluated models GPT-5.5 , Claude Opus 4.8 , Grok-4.3 and others7 Abstract 作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。
提出 CIG-MIA，用上下文信息增益推断 RAG 知识库成员身份
Published Sep 14
Evaluated models Llama-3.1-8B-Instruct , Mistral-7B-Instruct-v0.3 , Llama-2-13b-chat-hf and others6 Abstract CIG-MIA 用注入前后的答案似然差推断 RAG 库成员，灰盒可分性高于所列基线。CIG-MIA 是针对 RAG 外部知识库的成员推断攻击，同时覆盖灰盒和纯文本黑盒。
提出严格黑盒成员推断 WPMIA，用采样估计词级概率判断训练成员
Published Sep 8
Evaluated models OPT-6.7B , Pythia-6.9B , LLaMA-13B and others12 Abstract WPMIA 从续写估计词级似然并对比前缀，黑盒上多数优于所列基线。WPMIA 是面向严格黑盒的 LLM 预训练数据成员推断：攻击者只能看到文本续写。
提出针对微调 TTS 的黑盒成员推断攻击
Published Sep 2
Evaluated models CosyVoice2 , F5-TTS , XTTS-v2 Abstract 黑盒 TTS 成员推断以 recitation 加分层语音表示为分数，说话人级强于记录级，DP-SGD 可压到随机附近。作者给出一个针对微调文本转语音模型的黑盒成员推断框架，分别审计说话人是否进入微调集，以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成，既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询，认为只有 recitation（用目标转写和干净目标语音要求模型复现）同时满足两条，并把它作为主查询。