Translation in progress Some entries still include text in the original language.
Oct 13 · Tuesday
All papers Found 20 papers Another 227 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出利用路由元数据推断敏感话题的侧信道攻击
Published Oct 7
Evaluated models RouteLLM (BERT router) , notdiamond-0001 , Vela (vLLM Semantic Router) Abstract 论文揭示并测量了 LLM 路由决策在无文本日志中的敏感话题泄露，验证了按类别公平性防御的有效性与边界。
提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员
Published Oct 6
Evaluated models BERT (4.4M-340M) , ViT (22M-307M) , Pythia (70M-2.8B) and others5 Abstract TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。
提出 TRACER，从权重差识别扩散模型被擦除概念
Published Oct 5
Evaluated models Stable Diffusion v1.5 , Stable Diffusion 3 , FLUX.1 and others5 Abstract TRACER 用权重足迹识别未披露擦除概念并估计个数，作者称数秒内完成且准确率高于对照。TRACER 针对的是遗忘扩散模型上的目标识别：提供者从公开基座 W 用已发表方法擦掉未知集合 S⋆，只发布 W′。攻击者还有假定包含这些概念的词表，但不知擦了谁、擦了几个、用了什么算法。
提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据
Published Sep 29
Evaluated models DeepSeek-Coder-7B , LLaMA-3-8B , Qwen2.5-Coder-7B and others6 Abstract 论文提出扰动蒸馏与离线过滤两阶段框架，实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。
提出用邻居分数替代参考模型的单轮成员推断
Published Sep 29
Evaluated models 目标分类模型（架构与训练流程遵循 Aerni et al.） Abstract 邻居查询在单模型上恢复逐样本校准，合成邻居加早期检查点最接近 LiRA。本文研究 one-round 成员推断 ：只有一个目标模型、不能再训练参考模型时，如何仍做逐样本校准，并用于单次运行的 DP 审计。
提出 Leaky，用新鲜轨迹的 token 对数概率差推断 OPD 训练记录成员身份
Published Sep 27
Evaluated models Qwen3-1.7B , Qwen3-4B , Qwen3.5-2B and others5 攻破混合 FHE 推理的置换式保密，精确恢复线性层排序谱
Published Sep 11
Evaluated models ResNet-20 , ResNet-56 , ResNet-50 and others12 提出 Collapse，从端侧混淆暴露视图抽取高效用替代模型
Published Sep 9
Evaluated models BERT-Base , ViT-Base , Qwen2.5-0.5B and others4 Abstract Oprior 是四原语复合的安全边界，Collapse 利用列方向泄漏抽取替代模型，Oext 只被同一攻击评测。这篇工作用代数原语统一若干 TEE 卸载混淆，给出该族的典范边界，再说明该边界挡不住一种分阶段模型抽取。 。
提出 CGMIA，检测代码生成基准样本是否泄漏进训练集
Published Sep 9
Evaluated models Qwen2.5-Coder (3B) , CodeGemma (2B) , DeepSeek-Coder (1.3B) and others5 Abstract CGMIA 融合相似度、通过率、困惑度与 CodeBERT，在模拟泄漏上优于八个 MIA 基线。CGMIA 用成员推断检测代码生成基准是否泄入 LLM 训练集，使评测不依赖对训练语料的直接访问。
提出严格黑盒成员推断 WPMIA，用采样估计词级概率判断训练成员
Published Sep 8
Evaluated models OPT-6.7B , Pythia-6.9B , LLaMA-13B and others12 Abstract WPMIA 从续写估计词级似然并对比前缀，黑盒上多数优于所列基线。WPMIA 是面向严格黑盒的 LLM 预训练数据成员推断：攻击者只能看到文本续写。
提出 PMA，用流形对齐从 E2EO 混淆向量恢复明文
Published Sep 7
Evaluated models BERT-base , RoBERTa-base , T5-base and others6 证明量子原生访问会增强量子模型的成员推断优势
Published Sep 5
Evaluated models 4-qubit 24-parameter QNN（PennyLane 模拟，目标与影子模型同结构） Abstract 量子原生访问使 QNN 成员推断优势按 C⪯M⪯Q 增加，有限影子模型留下可上界的经验差距。作者研究 量子原生访问 下 QNN 的成员推断：对手不再只拿到固定测量的经典比特。
提出针对微调 TTS 的黑盒成员推断攻击
Published Sep 2
Evaluated models CosyVoice2 , F5-TTS , XTTS-v2 Abstract 黑盒 TTS 成员推断以 recitation 加分层语音表示为分数，说话人级强于记录级，DP-SGD 可压到随机附近。作者给出一个针对微调文本转语音模型的黑盒成员推断框架，分别审计说话人是否进入微调集，以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成，既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询，认为只有 recitation（用目标转写和干净目标语音要求模型复现）同时满足两条，并把它作为主查询。
提出 Q-SKEW，利用 token 级记忆不对称推断微调扩散语言模型的成员
Published Sep 1
Evaluated models LLaDA-8B-Base , LLaDA-8B-Instruct , Dream-Base-7B and others4 Abstract Q-SKEW 用 token 损失差的右偏区分微调 DLM 成员，并可辅助 PII 排序。Q-SKEW 是针对微调扩散语言模型的 gray-box 成员推断指标，依据是 token 记忆增益随掩码率下降而增大、成员序列因此右偏。 。
Proposing KeyPooling to measure where API relays break prompt cache isolation
Published Aug 18
Evaluated models grok-4-fast-non-reasoning , grok-4-1-fast-non-reasoning , grok-3 and others11 Abstract Shared upstream credentials place relay customers in the same cache domain; preserving identity or separate principals can separate them.KeyPooling measures where LLM API relays drop customer identity, causing prompt caches to no longer be isolated per downstream customer.
Proposing OPTILEAK, reconstructing others' prompts token-by-token via a KV cache side channel
Published Feb 24
Evaluated models Qwen-2.5-3B-Instruct , Qwen-2.5-7B-Instruct , Qwen-2.5-14B-Instruct and others4 Abstract OPTILEAK uses SFT and hard-token DPO to reduce the number of requests per token; the authors claim the risk of cache prompt leakage is higher than previously reported.
提出 Zero2Text，无需训练地跨域反演文本嵌入
Published Feb 2
Evaluated models GTR-Base , Qwen3-Embedding-0.6B , Text-Embedding-3-small and others4 Abstract 零训练在线对齐可在未知域、无泄漏对时从黑盒 embedding 还原句子。Zero2Text 是一种不训练 decoder、也不使用泄漏文本–向量对的文本 embedding 反演，针对 RAG 向量库在严格黑盒、目标域未知时的还原。
提出 AttenMIA，用注意力信号做白盒成员推断
Published Jan 26
Evaluated models LLaMA-13B , LLaMA-30B , Pythia-6.9B and others12 Abstract AttenMIA 用白盒注意力做成员推断，作者称在低假阳性下优于输出类基线。AttenMIA 是面向开源权重 LLM 的白盒、reference-free 成员推断：读内部注意力，而不是只看输出置信度，判断样本是否在训练集中。
提出面向渗出的权重压缩，评估推理服务器权重窃取可行性
Published Jan 4
Evaluated models Qwen2-1.5B , Qwen2-7B , Qwen2.5-1.5B and others8 Abstract 作者用残差量化加微调压缩权重，并称法医水印便宜且微调后仍可解码。这篇工作把 LLM 权重渗出看成 APT：攻击者已有未加密权重，但必须把完整权重藏进推理 API 的合法输出。作者认为可压缩性是被忽略的因素，因为推理量化要求解压后仍能低开销前向，而偷权重的人可以接受事后微调。
Attacks arXiv 2508.06837 · Aug 9, 2025 提出 Prometheus，从展示图反推文生图模型的在售提示词
Published Aug 9, 2025
Evaluated models Midjourney , Leonardo.ai , DALL·E and others4 Abstract 训练无关的 proxy 搜索攻击。Prometheus 是针对文生图市场 showcase 的训练无关提示词窃取：攻击者看不到在售文本，只用本地开源 proxy 恢复 subject 和 modifier，并希望换 subject 后风格仍在。
You have reached the end