Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 20 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出零空间激活引导 Nullify,免训练擦除指定记忆并保持效用
Published Oct 8
Evaluated models Llama-2-7B-chat-hf , Qwen3-8B 提出 COVER,在语言预算下选择源语言实现跨语言知识遗忘
Published Oct 1
Evaluated models Tiny Aya Global , Qwen3-4B-Instruct-2507 , Llama-3.2-3B-Instruct Abstract COVER 在语言预算下选源语言,以降低未监督语言上相对 oracle 的残余访问。语言预算下的多语言遗忘 :遗忘监督只放在 K 种源语言上,目标是降低其余语言对同一事实的残余访问,而不是把每种评测语言都译成监督数据。
提出 Whiteout,用伪装样本微调覆盖个人敏感信息关联
Published Oct 1
Evaluated models Llama 3.2 , Phi-3-mini , Gemma 3 and others7 提出 PILLAR,用私有词法预筛与客户端重排保护 RAG 查询
Published Sep 29 Abstract PILLAR 用固定模式的私有 BM25 预筛加本地嵌入重排,在两基准上换取延迟或质量。PILLAR 是面向公开语料的隐私 RAG:半诚实服务器学不到查询词项和访问模式,客户端仍拿到用于增强生成的 k 篇文档。
提出 TULIP,按输入定位形成层并去除目标 token 对齐以实现定向遗忘
Published Sep 28
Evaluated models Llama-3.1-8B , Llama-3.2-3B , Llama-3.2-1B and others7 Abstract TULIP 在形成结束的层去掉遗忘目标对齐,多数设置下 FQ 更高,4-bit 下 FQ 下降。TULIP 是一种逐输入选择层的表示级遗忘方法,目标是去掉遗忘答案的形成、留下读出。输出级方法可能只压低特定回答的似然。RMU、LUNAR 等则对全部遗忘样本共用一层。
提出并评测保险库中介执行边界,隔离 Agent 的 API 凭据
Published Sep 27
Evaluated models Corvic Security Vault Abstract 作者称,凭据分离可减少披露路径,但权限、操作授权和配置验证仍需独立控制。这是一项智能体 API 凭据威胁分析及 Vault 执行边界的功能评测。 作者关心的不是模型能否承诺保密,而是认证材料是否会进入模型、日志、记忆和执行代码。
提出 SCALPEL,用对比 SAE 在表征层选择性遗忘特定事实
Published Sep 25
Evaluated models Qwen2.5-1.5B-Instruct , Llama-3.2-1B-Instruct , Gemma-2-2B-it Abstract SCALPEL 以对比稀疏特征做窄目标表征遗忘,在 TOFU 上与优化基线相当且可检查。SCALPEL 是不改基座权重的表征层遗忘方法,面向与保留数据重叠的窄目标。
提出 ARIA,在冻结权重上用 SAE 做推理时遗忘门控
Published Sep 15
Evaluated models DeepSeek-R1-Distill-Qwen-1.5B , Gemma-3-1B-it 提出 RAPID,离线把抗蒸馏扰动写入文生图解码器
Published Sep 15
Evaluated models PixArt , SSD , SDXL and others4 提出 FLOWSEAL,用工具级信息流控制阻断智能体隐私泄露
Published Sep 12
Evaluated models DeepSeek-V3.2 , GPT-4.1-mini , Gemini-Flash-2.5 Abstract 作者分析大模型智能体隐私检查与攻击面重合问题,提出外部拦截防御 FLOWSEAL 并验证有效性。
提出端到端全同态加密方案 ODIN,在云端密文上完成推理以保护提示词
Published Sep 11
Evaluated models Meta-Llama-3-8B Abstract ODIN 用可复用的特征主序打包和联合误差预算,在单张 H100 上完成 Llama-3-8B 的 CKKS 推理。ODIN 是面向 Llama 的服务器侧 CKKS 推理系统:客户加密提示词,诚实但好奇的服务器用明文权重在密文上算完 Llama-3,只返回结果密文。
提出意图驱动本地框架 Veilmind,净化发往远程模型的提示词
Published Sep 10
Evaluated models Veilmind-4B Abstract 本地模型按意图净化提示词,在 Uprise 上给出两个隐私-效用工作点。本地侧的意图驱动净化,用来降低用户提示词发往不受信任远程模型时的敏感属性暴露。
提出 Adaptive Diffusion Freezing,降低扩散模型的成员推理风险
Published Sep 8 提出 LeakGauge,用行为后缀的 prefill 对数概率检测上下文泄露
Published Aug 18
Evaluated models Gemma-4-E4B-it , Gemma-4-31B-it , Qwen2.5-14B-Instruct and others11 提出软提示防御 AREA,重锚定注意力以缓解系统提示泄露
Published Jun 17
Evaluated models Llama-2-7B-chat-hf , Llama-3.1-8B-Instruct , Mistral-7B-Instruct-v0.3 and others8 Abstract 作者测量商用提示词泄漏,提出 attention drift,并用 AREA 在可用性与抗泄漏间取折中。作者研究真实 LLM 应用中的 system prompt 泄漏 ,并给出不改权重的缓解方法 AREA。
提出零知识审计协议,核验多租户 RAG 的合谋差分隐私
Published May 19 Abstract 揭示多租户 RAG 合谋泄露按根号 k 放大,提出带零知识证明的无泄露审计协议。论文针对多租户 RAG 服务在多账户协同攻击下隐私边界失效的问题展开研究。
提出 Staged Decoding 与指令跟随训练,减少推理轨迹隐私泄露
Published Feb 28
Evaluated models Qwen 3 1.7B , Qwen 3 4B , Qwen 3 8B and others6 Abstract 用一般指令跟随训练加分段解码,可降低轨迹隐私泄露,但数学效用下降。本文把大推理模型的隐私问题做成轨迹可控性:隐私指令是指令,轨迹不跟随就会把敏感上下文写进可被提示注入导出的文本。
提出用户侧防御 TRACE-RPS,分享前匿名化文本并追加后缀以抑制属性推断
Published Feb 12
Evaluated models Llama2-7B-Chat , Llama2-13B-Chat , Llama3.1-8B-Instruct and others10 Abstract 用户侧 TRACE 加 RPS/MPS,在分享前降低 LLM 对敏感属性的推断准确率。这是一项用户侧防御:在文本公开前降低 LLM 对敏感属性的推断,而不是改攻击提示或削弱模型推理。
提出 NeuroFilter,用激活探针过滤智能体多轮隐私攻击
Published Jan 21
Evaluated models GPT-OSS 20B , Qwen 2.5 32B Instruct , Llama 3.3 70B and others8 提出推理时框架 STaR,抑制大推理模型推理轨迹中的敏感内容
Published Jan 14
Evaluated models DeepSeekR1-Distill-Llama-8B Abstract STaR 以推理时轨迹调控做 LRM unlearning,作者称在 R-TOFU 上遗忘与隐私指标更好。STaR 在推理阶段约束大推理模型的整段 CoT,使指定 forget set 中的敏感内容不出现在中间步骤或最终答案里,且不更新参数。问题来自 LRM 会把敏感知识写进多步推理,而答案级遗忘在 ZeroThink、LessThink 等解码下仍可能泄漏。STaR 先判断查询是否相关并检索遗忘片段,再加安全前缀。
You have reached the end