Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 12 papers Another 261 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
评估应用决策层的输入注入与隐私推断风险
Published Oct 4
Evaluated models Jev , NanoJev Abstract Jev 的类型化决策可被输入与训练操纵，也会泄露信息，并同时支持检测与滥用。Jev 是 TypeSafe 的 System One 模型，把应用 state 和固定问题变成 Choice、Noul 或 Score 的类型化决策与概率。作者用官方 API 和可改训练的 NanoJev，考察它作为决策层时的操纵、泄露与双重用途。
提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联
Published Oct 1
Evaluated models GPT-2 Small , GPT-2 Medium , GPT-2 Large and others6 Abstract 提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。
提出 Leaky，用新鲜轨迹的 token 对数概率差推断 OPD 训练记录成员身份
Published Sep 27
Evaluated models Qwen3-1.7B , Qwen3-4B , Qwen3.5-2B and others5 提出 Fed-ADR，用编排服务器协同操纵梯度攻破联邦学习并检测恢复
Published Sep 23
Evaluated models CNN（MNIST：2 Conv + 3 FC） , CNN（Fashion-MNIST：6 Conv + 1 FC） , ResNet18（CIFAR-10） Abstract Fed-ADR 用 gray-box 编排攻击绕过多种聚合防御，再用 Hessian 一致性检测和窗口内恢复把准确率拉回。Fed-ADR 是一套面向联邦学习的攻击、检测与恢复框架：编排服务器改写合谋客户端的梯度，使参数服务器的现有防御把投毒更新当成良性，同时在发现后用历史梯度把全局模型原地修回来。
提出 plan injection 攻击，植入良性伪装计划以绕过思维链监视器
Published Sep 15
Evaluated models Qwen2.5-Coder-7B-Instruct , Qwen3-8B , DeepSeek-R1-0528 and others6 Abstract 论文指出模型会将外部上下文中的伪装计划改写为自身推理，使思维链监视器失效甚至反向合理化恶意行为。
提出 CIG-MIA，用上下文信息增益推断 RAG 知识库成员身份
Published Sep 14
Evaluated models Llama-3.1-8B-Instruct , Mistral-7B-Instruct-v0.3 , Llama-2-13b-chat-hf and others6 Abstract CIG-MIA 用注入前后的答案似然差推断 RAG 库成员，灰盒可分性高于所列基线。CIG-MIA 是针对 RAG 外部知识库的成员推断攻击，同时覆盖灰盒和纯文本黑盒。
提出 CGMIA，检测代码生成基准样本是否泄漏进训练集
Published Sep 9
Evaluated models Qwen2.5-Coder (3B) , CodeGemma (2B) , DeepSeek-Coder (1.3B) and others5 Abstract CGMIA 融合相似度、通过率、困惑度与 CodeBERT，在模拟泄漏上优于八个 MIA 基线。CGMIA 用成员推断检测代码生成基准是否泄入 LLM 训练集，使评测不依赖对训练语料的直接访问。
提出 Q-SKEW，利用 token 级记忆不对称推断微调扩散语言模型的成员
Published Sep 1
Evaluated models LLaDA-8B-Base , LLaDA-8B-Instruct , Dream-Base-7B and others4 Abstract Q-SKEW 用 token 损失差的右偏区分微调 DLM 成员，并可辅助 PII 排序。Q-SKEW 是针对微调扩散语言模型的 gray-box 成员推断指标，依据是 token 记忆增益随掩码率下降而增大、成员序列因此右偏。 。
提出 ColluSkill，用跨技能组合绕过 Agent 技能扫描器
Published Aug 10
Evaluated models GPT-5.5 , DeepSeek-V4-Pro , GLM-5.2 Abstract 论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。
提出通用弯曲网格补丁 UCGP，使红外视觉语言模型产生跨任务语义偏差
Published Apr 3
Evaluated models OpenAI CLIP ViT-L/14 , OpenCLIP ViT-B/16 , Meta-CLIP ViT-L/14 and others10 Abstract UCGP 用一条共享弯曲网格补丁，同时拉低 IR-VLM 的分类与开放式输出。UCGP 是面向红外视觉语言模型的通用物理对抗补丁。问题是：一块可贴上并跨样本复用的物体，能否让分类、描述和 VQA 共用的红外视觉证据出现稳定语义偏差。补丁被限制成低频弯曲网格。
提出 CAGE 攻击，在视觉 token 压缩下用图像扰动使预测偏离
Published Jan 29
Evaluated models LLaVA , Qwen2.5-VL , InternVL3-8B and others5 Abstract CAGE 对齐压缩瓶颈后，压缩 LVLM 的稳健准确率低于全 token 编码器攻击。CAGE 研究的是：LVLM 在推理时剪枝或合并视觉 token 之后，对抗稳健性该怎么估。
Attacks arXiv 2503.02174 · Mar 4, 2025 提出 AdvTok 对抗分词攻击，不改文本只改分词来越狱并规避安全分类器
Published Mar 4, 2025
Evaluated models Llama3.2-1B , Llama3.2-3B , Llama3.1-8B and others7 Abstract 作者称非规范分词能躲开对齐并仍得到针对原请求的回复。作者用非规范分词攻击已对齐的子词 LLM：恶意字符串的字符不变，只改 token 边界。
You have reached the end