Translation in progress Some entries still include text in the original language.
Oct 13 · Tuesday
All papers Found 22 papers Another 215 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出流匹配逆向框架，从多向量视觉文档索引重构页面
Published Oct 7
Evaluated models Tomoro-ColQwen3-8B , ColQwen3.5-4.5B , Tomoro-colqwen3-embed-4b and others13 提出 TRACER，从权重差识别扩散模型被擦除概念
Published Oct 5
Evaluated models Stable Diffusion v1.5 , Stable Diffusion 3 , FLUX.1 and others5 Abstract TRACER 用权重足迹识别未披露擦除概念并估计个数，作者称数秒内完成且准确率高于对照。TRACER 针对的是遗忘扩散模型上的目标识别：提供者从公开基座 W 用已发表方法擦掉未知集合 S⋆，只发布 W′。攻击者还有假定包含这些概念的词表，但不知擦了谁、擦了几个、用了什么算法。
提出 imMRAG 攻击，从多模态 RAG 私有图像库提取内容
Published Oct 1
Evaluated models Lumina-mGPT , Gemini 2.5 Flash Image Preview , CLIP ViT-B/16 and others5
Published Sep 28
Evaluated models E-Branchformer Abstract 梯度上升类方法更接近简单评测下的重训参照，复杂方法会被知情攻击认出，多说话人更差。
提出 IDUnlearn-Bench，评测 VLM 个体级遗忘后的身份残留
Published Sep 27
Evaluated models Qwen3-VL-2B , Qwen3-VL-4B , Qwen3-VL-8B and others6 Abstract IDUnlearn-Bench 用四族探针显示：压低直接属性访问后，身份仍常能被反向查出、绑定或重构。IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人，而不只是答不出某条监督事实。
提出 VidMark 水印方案，核验视频生成模型的输出来源与所有权
Published Sep 20
Evaluated models Stable Video Diffusion (SVD) , Open-Sora , Wan Abstract VidMark 加解码器引导微调，把模型签名写入 VGM 输出并用于两项核验。Huang 等人提出一套面向视频生成模型的生成内嵌水印方案，用来同时判断一条视频是否来自受保护模型，以及一个嫌疑模型是否为该模型的拷贝。
提出 RAPID，离线把抗蒸馏扰动写入文生图解码器
Published Sep 15
Evaluated models PixArt , SSD , SDXL and others4 提出 QPriv-VL，用问题引导剪枝降低分布式视觉问答的隐私泄露
Published Sep 14
Evaluated models LLaVA-1.5-7B , Llama-2 Abstract QPriv-VL 在切层前按问题相关度与 DINOv2 敏感度剪视觉 token，作者称能在约四成 token 下兼顾准确率与四类攻击。QPriv-VL 把问题引导的视觉 token 剪枝做成分布式 VQA 的客户端隐私防御，而不是只做集中式推理加速。
提出 CIG-MIA，用上下文信息增益推断 RAG 知识库成员身份
Published Sep 14
Evaluated models Llama-3.1-8B-Instruct , Mistral-7B-Instruct-v0.3 , Llama-2-13b-chat-hf and others6 Abstract CIG-MIA 用注入前后的答案似然差推断 RAG 库成员，灰盒可分性高于所列基线。CIG-MIA 是针对 RAG 外部知识库的成员推断攻击，同时覆盖灰盒和纯文本黑盒。
提出 PMA，用流形对齐从 E2EO 混淆向量恢复明文
Published Sep 7
Evaluated models BERT-base , RoBERTa-base , T5-base and others6 Proposes SHAQ, which replaces document embeddings with shadow query embeddings to defend against embedding inversion.
Published Sep 4
Evaluated models GTR-T5 encoder , DPR Abstract SHAQ replaces document embeddings with shadow query embeddings.SHAQ is a defense against EIA for cloud vector databases: instead of directly modifying document embeddings, it replaces them with shadow query embeddings.
提出针对微调 TTS 的黑盒成员推断攻击
Published Sep 2
Evaluated models CosyVoice2 , F5-TTS , XTTS-v2 Abstract 黑盒 TTS 成员推断以 recitation 加分层语音表示为分数，说话人级强于记录级，DP-SGD 可压到随机附近。作者给出一个针对微调文本转语音模型的黑盒成员推断框架，分别审计说话人是否进入微调集，以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成，既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询，认为只有 recitation（用目标转写和干净目标语音要求模型复现）同时满足两条，并把它作为主查询。
提出 LeakGauge，用行为后缀的 prefill 对数概率检测上下文泄露
Published Aug 18
Evaluated models Gemma-4-E4B-it , Gemma-4-31B-it , Qwen2.5-14B-Instruct and others11 复现 AgentCF 上的多智能体攻防并刻画连通性作用
Published Aug 4
Evaluated models Qwen3-235B-A22B , Claude Haiku 4.5 , Mixtral 8×7B and others4 Abstract 连通性沿 k 与ρ改变攻防，且用户/物品与早期/稳态需要分开看。作者在 AgentCF 上研究连通性如何改变多智能体协同过滤的攻防，复现已有方法而不是提出新载荷。
提出嵌入推断攻击 EIA，在黑盒 IR 中识别所用嵌入模型
Published Jul 1
Evaluated models e5-small , e5-small-v2 , e5-base and others19 Abstract EIA 用无序文档集的差异从候选中识别嵌入模型，并给出 reranker 与阈值下的计数。EIA 是在黑盒 IR 上识别所用嵌入模型的攻击。 。
提出 MEntA，用非模板查询推断文档是否属于 RAG 检索库
Published May 23
Evaluated models Phi4-14B , Llama3.1-8B , CommandR-7B and others5 提出零知识审计协议，核验多租户 RAG 的合谋差分隐私
Published May 19 Abstract 揭示多租户 RAG 合谋泄露按根号 k 放大，提出带零知识证明的无泄露审计协议。论文针对多租户 RAG 服务在多账户协同攻击下隐私边界失效的问题展开研究。
建立 RAG 知识抽取攻防基准，统一评测抽取攻击与防御
Published Feb 10
Evaluated models GPT-4o , GPT-4o-mini , Llama3-8B-Instruct and others8 Abstract 统一基准比较 RAG 知识抽取攻防，作者称检索与生成都要优化，单一防御不能完全防护。作者给出一个比较 RAG 知识抽取攻击与防御的统一基准。
Proposes the Aegis red-teaming framework for multi-turn attacks on high-risk voice agents.
Published Feb 7
Evaluated models GPT-4o , GPT-4o-mini , Gemini-1.5 Pro and others7 Abstract Aegis red-teams three types of voice agents: query-based access eliminates authentication and leakage successes, but behavioral attacks remain.Aegis uses multi-turn red-teaming evaluation on ALLM voice agents already integrated into business systems. The authors call this the first systematic red-teaming framework in this setting.
提出 Zero2Text，无需训练地跨域反演文本嵌入
Published Feb 2
Evaluated models GTR-Base , Qwen3-Embedding-0.6B , Text-Embedding-3-small and others4 Abstract 零训练在线对齐可在未知域、无泄漏对时从黑盒 embedding 还原句子。Zero2Text 是一种不训练 decoder、也不使用泄漏文本–向量对的文本 embedding 反演，针对 RAG 向量库在严格黑盒、目标域未知时的还原。