Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 53 papers Another 240 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Uses premise permutation and hidden-layer tracing to audit whether legal chain-of-thought truly relies on the cited legal provisions.
Published Oct 9
Evaluated models Qwen3-8B , Qwen3-14B , Llama-3.1-8B and others7 Abstract Using counterfactual substitution of authorities and internal commitment tracing, the authors find that legal CoT rulings depend on authorities only to a limited extent and are vulnerable to prompt injection manipulation.This study conducts an empirical audit of the causal truthfulness of legal citations in chain-of-thought reasoning of large language models in the legal domain.
提出零空间激活引导 Nullify,免训练擦除指定记忆并保持效用
Published Oct 8
Evaluated models Llama-2-7B-chat-hf , Qwen3-8B 测量有损投机解码的安全代价,并提出 SecureSD 收紧早期验证
Published Oct 7
Evaluated models Qwen3-8B , Qwen3-32B , Llama-3.1-8B-Instruct and others6 Abstract 有损推测解码的早期偏离更快抬高越狱与注入风险。作者研究有损推测解码在换取速度时,是否会比效用更快地损害越狱与提示注入防护,并给出按位置校正的 SecureSD。
提出 MARCO 放射性水印,冻结蛋白质生成模型并在去噪时嵌入签名
Published Oct 6
Evaluated models RFdiffusion , ESMFold , Chroma and others6 Abstract MARCO 在冻结的 PGM 上去噪时嵌构象水印,作者称能兼顾保真与抗扰动,并使盗版模型继承水印。MARCO 是加在蛋白质生成模型推理过程上的构象水印,用来标记知识产权,并为可能的生物安全滥用保留可追溯信号。作者还把它说成数字权利管理工具,以及符合生物武器公约的数字监管链。问题在于:专有 PGM 的三维输出可能被拿去训练盗版模型,也可能在来源被抹掉后绕过筛查。
提出 DP-MixMin,私有学习公开数据混合并做差分隐私微调
Published Oct 6
Evaluated models ResNet-18 , GPT-2 Medium Abstract DP-MixMin 私下学公开混合再 DP 微调,胸片 macro AUC 与邮件困惑度优于均匀混合。DP-MixMin 是一条端到端的差分隐私训练流程:先私下决定多个公开数据集的预训练混合,再预训练并在敏感数据上 DP 微调。作者称这是首个这样的流程。
提出 TRACER,从权重差识别扩散模型被擦除概念
Published Oct 5
Evaluated models Stable Diffusion v1.5 , Stable Diffusion 3 , FLUX.1 and others5 Abstract TRACER 用权重足迹识别未披露擦除概念并估计个数,作者称数秒内完成且准确率高于对照。TRACER 针对的是遗忘扩散模型上的目标识别:提供者从公开基座 W 用已发表方法擦掉未知集合 S⋆,只发布 W′。攻击者还有假定包含这些概念的词表,但不知擦了谁、擦了几个、用了什么算法。
提出 UnAct,仅以前向激活干预从分类器中遗忘指定类别
Published Oct 3
Evaluated models ResNet-18 , ViT-B/16 Abstract UnAct 用前向激活做类别遗忘。UnAct 是一种事后类别遗忘:删除请求可以只有少量该类图像,且没有标签和保留数据。它不用梯度,只对遗忘图像做前向。编辑对象是分类器所读的后期单元。
衡量分裂学习中梯度相对激活对客户文本重建的额外贡献
Published Oct 3
Evaluated models GPT-2 (openai-community/gpt2, 124M) , Qwen3-0.6B Abstract 激活已恢复大部分 token。这篇工作测量 split learning 分裂点上的文本泄漏:激活单独能恢复多少,训练回传的梯度再增加多少,以及按 token 还是按整篇计分会不会改写结论。
提出 SecJev,用场景加权训练把决策模型适配为安全类型化判断
Published Oct 2
Evaluated models SecJev-0.8B , SecJev-2B , SecJev-4B and others4 Abstract SecJev 用共享打分器做安全决策,0.8B 的 task-macro 超过 Kev-9B。SecJev 是 0.8B 到 9B 的安全决策模型族,作者称据其所知是首个面向安全的 Jev-like 家族。
提出基准 OLMo-Detect 评测 LLM 成员推断
Published Oct 2
Evaluated models OLMo 2 1B , OLMo 2 7B , OLMo 2 13B and others9 用分类后缀提升激活探针对分布外恶意输入的检测
Published Oct 2
Evaluated models Llama-3.1-8B , Qwen3.5-9B , Gemma-4-12B Abstract 作者称排序增益来自分类格式,低 FPR 精度来自点名准则。用户轮后的分类后缀,被作者用作激活探针的分布外检测干预:排序看格式,低 FPR 精度看是否点名恶意/良性。
提出 ReGap,用自生成伪监督微调恢复模型中的隐私关联
Published Oct 1
Evaluated models GPT-2 Small , GPT-2 Medium , GPT-2 Large and others6 Abstract 提出无真实私有监督的恢复攻击 ReGap,实验显示微调可通过自生成数据唤醒模型潜在隐私关联,突显后适应隐私风险。
提出 COVER,在语言预算下选择源语言实现跨语言知识遗忘
Published Oct 1
Evaluated models Tiny Aya Global , Qwen3-4B-Instruct-2507 , Llama-3.2-3B-Instruct Abstract COVER 在语言预算下选源语言,以降低未监督语言上相对 oracle 的残余访问。语言预算下的多语言遗忘 :遗忘监督只放在 K 种源语言上,目标是降低其余语言对同一事实的残余访问,而不是把每种评测语言都译成监督数据。
提出 Whiteout,用伪装样本微调覆盖个人敏感信息关联
Published Oct 1
Evaluated models Llama 3.2 , Phi-3-mini , Gemma 3 and others7 提出 Intervention Score 与 DIR-R,按干预效果选择并修订遗忘参数支持
Published Sep 29
Evaluated models Llama 3 8B , Gemma 2 2B , Qwen2.5-7B and others4 Abstract 作者把局部化遗忘拆成初始干预选择和检查点修订,并在三个设置里分别给证据和边界。Storage Is Not Strategy 研究局部化 LLM 遗忘里两个常被混在一起的决定:一开始该更新哪些参数,以及优化改变模型之后这个选择要不要改。
用因果激活修补定位模型服从提示注入的决策层
Published Sep 29
Evaluated models Qwen3-4B , Qwen3-14B , Qwen3-32B and others7 Abstract 合规的因果杠杆集中在网络后三分之一的低秩子空间,该层也是混淆下检测最好的位置。这篇工作用逐层激活修补定位提示注入合规发生在网络何处,并把该位置用于检测验证。 。
比较用于审计提示注入与隐瞒的 token 位置选择信号
Published Sep 29
Evaluated models Qwen2.5-7B , Gemma-3-12B , Gemma-3-27B and others4 提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据
Published Sep 29
Evaluated models DeepSeek-Coder-7B , LLaMA-3-8B , Qwen2.5-Coder-7B and others6 Abstract 论文提出扰动蒸馏与离线过滤两阶段框架,实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。
提出用邻居分数替代参考模型的单轮成员推断
Published Sep 29
Evaluated models 目标分类模型(架构与训练流程遵循 Aerni et al.) Abstract 邻居查询在单模型上恢复逐样本校准,合成邻居加早期检查点最接近 LiRA。本文研究 one-round 成员推断 :只有一个目标模型、不能再训练参考模型时,如何仍做逐样本校准,并用于单次运行的 DP 审计。
提出用 API 推理摘要重建轨迹再蒸馏加强化学习,攻破蒸馏防御
Published Sep 29
Evaluated models Qwen2.5-0.5B , Qwen2.5-1.5B , Qwen2.5-3B and others12 Abstract 更现实的蒸馏攻击是蒸馏后再 RL。这篇工作修订蒸馏攻击的威胁模型:攻击者经合法 API 收集闭源推理数据,先蒸馏自有模型,再做强化学习。作者认为只在蒸馏后评估防御,会漏掉后续 RL,从而高估防御。