Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 51 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Proposing an option channel attack that renames option labels so that agent guardrails allow prohibited operations
Published Oct 9
Evaluated models LAYA-TD , LAYA-EN , LAYA-ML and others5 Abstract The authors' evaluation indicates that typed models should not serve as final safety arbiters; they are susceptible to off-policy text and option name manipulation, and confidence filtering cannot resist attacks.
提出 BRANCH 方法，用分支搜索绕过多扫描器护栏
Published Oct 8
Evaluated models Meta Llama Guard 3 8B , Meta Llama Guard 7B , Meta Llama Guard 3 1B and others18 提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
Published Oct 7 Abstract 形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
提出 MARCO 放射性水印，冻结蛋白质生成模型并在去噪时嵌入签名
Published Oct 6
Evaluated models RFdiffusion , ESMFold , Chroma and others6 Abstract MARCO 在冻结的 PGM 上去噪时嵌构象水印，作者称能兼顾保真与抗扰动，并使盗版模型继承水印。MARCO 是加在蛋白质生成模型推理过程上的构象水印，用来标记知识产权，并为可能的生物安全滥用保留可追溯信号。作者还把它说成数字权利管理工具，以及符合生物武器公约的数字监管链。问题在于：专有 PGM 的三维输出可能被拿去训练盗版模型，也可能在来源被抹掉后绕过筛查。
提出 ATLAS 用水平集估计恢复黑盒分类器的对抗输入集合
Published Oct 6
Evaluated models LeNet5 , ResNet50 (CIFAR-10 standard) , ResNet50 (ImageNet standard) and others5 Abstract ATLAS 用主动水平集估计构造黑盒对抗集，作者称其集合比单点攻击更具代表性。ATLAS 是一个查询式 black-box 框架，用来构造诱发失败的对抗输入集合，供鲁棒性审计使用。
提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员
Published Oct 6
Evaluated models BERT (4.4M-340M) , ViT (22M-307M) , Pythia (70M-2.8B) and others5 Abstract TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。
评估应用决策层的输入注入与隐私推断风险
Published Oct 4
Evaluated models Jev , NanoJev Abstract Jev 的类型化决策可被输入与训练操纵，也会泄露信息，并同时支持检测与滥用。Jev 是 TypeSafe 的 System One 模型，把应用 state 和固定问题变成 Choice、Noul 或 Score 的类型化决策与概率。作者用官方 API 和可改训练的 NanoJev，考察它作为决策层时的操纵、泄露与双重用途。
提出 Persona Guardrail，强制客服智能体守住功能边界
Published Oct 2
Evaluated models Qwen3-30B-A3B , Qwen3-VL-30B , Qwen3-8B and others5 Abstract Persona Guardrail 用功能边界做同步输入输出校验，并在 PAGE 与生产延迟预算下给出评测。Persona Guardrail 是客服向智能体的同步运行时防御：先写明功能边界，再决定放行或拦截，而不是只检测某一攻击类。
提出收缩约束 SSM 安全头，认证嵌入扰动并检测越狱
Published Oct 2
Evaluated models ToySSMClassifier , S4 safety head Abstract 收缩给出玩具 LTI 的有界认证。给 SSM 安全头一个收缩条件，并在越狱检测上使用收缩正则的 S4 头。 。
提出 ASA 与 AttestMCP，度量并降低 LLM 对输入序列扰动的敏感
Published Oct 2
Evaluated models Gemma-3-27B-Instruct , Gemma-3-4B-Instruct , Llama-3.2-3B-Instruct and others12 提出 UNTAG，绕过开源权重模型的 trigger-tag 滥用检测
Published Oct 2
Evaluated models Llama2 (7B) , Llama3 (8B) , Qwen2.5 (7B) Abstract 作者用 UNTAG 评估 trigger-tag，认为其不能充当开放权重滥用检测的主要边界。UNTAG 是针对开放权重 LLM 上条件滥用检测 trigger-tag 的统一攻击评估：信号可以在解码期注入，也可以写进权重，但攻击者若能改输出或改已发布权重，检测可以失效。
提出 imMRAG 攻击，从多模态 RAG 私有图像库提取内容
Published Oct 1
Evaluated models Lumina-mGPT , Gemini 2.5 Flash Image Preview , CLIP ViT-B/16 and others5 提出 Whiteout，用伪装样本微调覆盖个人敏感信息关联
Published Oct 1
Evaluated models Llama 3.2 , Phi-3-mini , Gemma 3 and others7 提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据
Published Sep 29
Evaluated models DeepSeek-Coder-7B , LLaMA-3-8B , Qwen2.5-Coder-7B and others6 Abstract 论文提出扰动蒸馏与离线过滤两阶段框架，实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。
提出用邻居分数替代参考模型的单轮成员推断
Published Sep 29
Evaluated models 目标分类模型（架构与训练流程遵循 Aerni et al.） Abstract 邻居查询在单模型上恢复逐样本校准，合成邻居加早期检查点最接近 LiRA。本文研究 one-round 成员推断 ：只有一个目标模型、不能再训练参考模型时，如何仍做逐样本校准，并用于单次运行的 DP 审计。
提出用 API 推理摘要重建轨迹再蒸馏加强化学习，攻破蒸馏防御
Published Sep 29
Evaluated models Qwen2.5-0.5B , Qwen2.5-1.5B , Qwen2.5-3B and others12 Abstract 更现实的蒸馏攻击是蒸馏后再 RL。这篇工作修订蒸馏攻击的威胁模型：攻击者经合法 API 收集闭源推理数据，先蒸馏自有模型，再做强化学习。作者认为只在蒸馏后评估防御，会漏掉后续 RL，从而高估防御。
提出主题锚点投毒，放大众包微调后的专有指令提取
Published Sep 28
Evaluated models Qwen2.5-7B-Instruct , Qwen2.5-14B-Instruct , Llama-3.1-8B-Instruct and others4 Abstract 论文提出基于主题锚点的数据中毒攻击，证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。
提出 Leaky，用新鲜轨迹的 token 对数概率差推断 OPD 训练记录成员身份
Published Sep 27
Evaluated models Qwen3-1.7B , Qwen3-4B , Qwen3.5-2B and others5 提出 BoundStyle 与 StyleAT，对抗训练防御人脸识别语义攻击
Published Sep 20
Evaluated models MobileFaceNet (MobileFace) , ResNet (ResNet-152, IR-SE) , RepVGG and others7 Abstract BoundStyle 用 StyleGAN3 有界潜编辑快速攻击 FR。StyleAT 用可调的 StyleGAN3 潜空间攻击 BoundStyle 对人脸识别做对抗训练，以抵抗一般语义编辑，并在评测中面对训练时未见的 DiffPrivate。
提出 ALIBI，向恶意二进制注入不执行掩护叙事使分析器误判为良性
Published Sep 17
Evaluated models Gemini 2.5 Pro , GPT-5.5 Pro , Claude Opus 4.7 Abstract ALIBI 用二进制内的掩护叙事重释可疑静态证据，Gemini 上翻转多，另两模型主要为降级。ALIBI 是针对 LLM 恶意软件分诊的语义掩护叙事攻击：不覆盖系统指令，而把仍可见的可疑静态证据重释成良性安全产品的预期行为。