Translation in progress Some entries still include text in the original language.
Oct 13 · Tuesday
All papers Found 58 papers Another 227 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 PyCache Trap,用字节码缓存替换绕过 Agent 技能扫描器
Published Oct 7
Evaluated models CISCO , HSS , AUDITOR and others8 Abstract 论文剖析智能体技能审查与执行脱节盲区,提出 PyCache Trap 攻击并构建基于可信复现的 EAV 防御。这篇论文研究了智能体技能(Agent Skills)安全扫描中的“审查–执行脱节”问题,并提出了对应的攻击验证与防御方案。
提出 STCA,对驾驶视频 VLM 构造可迁移的时空对抗扰动
Published Oct 6
Evaluated models Video-LLaVA-7B , Qwen2.5-VL-7B , Dolphins 提出 ATLAS 用水平集估计恢复黑盒分类器的对抗输入集合
Published Oct 6
Evaluated models LeNet5 , ResNet50 (CIFAR-10 standard) , ResNet50 (ImageNet standard) and others5 Abstract ATLAS 用主动水平集估计构造黑盒对抗集,作者称其集合比单点攻击更具代表性。ATLAS 是一个查询式 black-box 框架,用来构造诱发失败的对抗输入集合,供鲁棒性审计使用。
提出 TRANSCOPE,用 CPU 硬件计数器推断训练集成员
Published Oct 6
Evaluated models BERT (4.4M-340M) , ViT (22M-307M) , Pythia (70M-2.8B) and others5 Abstract TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异,证实微架构计数器可突破恒定时间与置信度遮蔽防御。
用翻译前缀做跨语言训练数据提取,恢复英语训练文本中的 PII
Published Oct 5
Evaluated models GPT-Neo 1.3B , GPT-Neo 2.7B , GPT-J 6B and others7 Abstract 跨语言 TDE 能恢复英语记忆的 PII,转移随多语训练和措辞保真变化。这篇工作检验训练数据抽取是否跨语言:英语段落里记住的 PII,能否被其他语言的前缀逐字抽出。
提出 TRACER,从权重差识别扩散模型被擦除概念
Published Oct 5
Evaluated models Stable Diffusion v1.5 , Stable Diffusion 3 , FLUX.1 and others5 Abstract TRACER 用权重足迹识别未披露擦除概念并估计个数,作者称数秒内完成且准确率高于对照。TRACER 针对的是遗忘扩散模型上的目标识别:提供者从公开基座 W 用已发表方法擦掉未知集合 S⋆,只发布 W′。攻击者还有假定包含这些概念的词表,但不知擦了谁、擦了几个、用了什么算法。
衡量分裂学习中梯度相对激活对客户文本重建的额外贡献
Published Oct 3
Evaluated models GPT-2 (openai-community/gpt2, 124M) , Qwen3-0.6B Abstract 激活已恢复大部分 token。这篇工作测量 split learning 分裂点上的文本泄漏:激活单独能恢复多少,训练回传的梯度再增加多少,以及按 token 还是按整篇计分会不会改写结论。
提出 LiBRA,在潜空间双向优化以规避图像水印双侧检测
Published Oct 2
Evaluated models Stable Signature , YU1 , HiDDeN and others4 Abstract LiBRA 用双向潜空间优化规避双侧水印检测,并提高相对反转基线的保真。
提出 UNTAG,绕过开源权重模型的 trigger-tag 滥用检测
Published Oct 2
Evaluated models Llama2 (7B) , Llama3 (8B) , Qwen2.5 (7B) Abstract 作者用 UNTAG 评估 trigger-tag,认为其不能充当开放权重滥用检测的主要边界。UNTAG 是针对开放权重 LLM 上条件滥用检测 trigger-tag 的统一攻击评估:信号可以在解码期注入,也可以写进权重,但攻击者若能改输出或改已发布权重,检测可以失效。
提出 ReGap,用自生成伪监督微调恢复模型中的隐私关联
Published Oct 1
Evaluated models GPT-2 Small , GPT-2 Medium , GPT-2 Large and others6 Abstract 提出无真实私有监督的恢复攻击 ReGap,实验显示微调可通过自生成数据唤醒模型潜在隐私关联,突显后适应隐私风险。
提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据
Published Sep 29
Evaluated models DeepSeek-Coder-7B , LLaMA-3-8B , Qwen2.5-Coder-7B and others6 Abstract 论文提出扰动蒸馏与离线过滤两阶段框架,实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。
提出用邻居分数替代参考模型的单轮成员推断
Published Sep 29
Evaluated models 目标分类模型(架构与训练流程遵循 Aerni et al.) Abstract 邻居查询在单模型上恢复逐样本校准,合成邻居加早期检查点最接近 LiRA。本文研究 one-round 成员推断 :只有一个目标模型、不能再训练参考模型时,如何仍做逐样本校准,并用于单次运行的 DP 审计。
提出用 API 推理摘要重建轨迹再蒸馏加强化学习,攻破蒸馏防御
Published Sep 29
Evaluated models Qwen2.5-0.5B , Qwen2.5-1.5B , Qwen2.5-3B and others12 Abstract 更现实的蒸馏攻击是蒸馏后再 RL。这篇工作修订蒸馏攻击的威胁模型:攻击者经合法 API 收集闭源推理数据,先蒸馏自有模型,再做强化学习。作者认为只在蒸馏后评估防御,会漏掉后续 RL,从而高估防御。
提出主题锚点投毒,放大众包微调后的专有指令提取
Published Sep 28
Evaluated models Qwen2.5-7B-Instruct , Qwen2.5-14B-Instruct , Llama-3.1-8B-Instruct and others4 Abstract 论文提出基于主题锚点的数据中毒攻击,证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。
提出 Leaky,用新鲜轨迹的 token 对数概率差推断 OPD 训练记录成员身份
Published Sep 27
Evaluated models Qwen3-1.7B , Qwen3-4B , Qwen3.5-2B and others5 提出 Fed-ADR,用编排服务器协同操纵梯度攻破联邦学习并检测恢复
Published Sep 23
Evaluated models CNN(MNIST:2 Conv + 3 FC) , CNN(Fashion-MNIST:6 Conv + 1 FC) , ResNet18(CIFAR-10) Abstract Fed-ADR 用 gray-box 编排攻击绕过多种聚合防御,再用 Hessian 一致性检测和窗口内恢复把准确率拉回。Fed-ADR 是一套面向联邦学习的攻击、检测与恢复框架:编排服务器改写合谋客户端的梯度,使参数服务器的现有防御把投毒更新当成良性,同时在发现后用历史梯度把全局模型原地修回来。
提出 BoundStyle 与 StyleAT,对抗训练防御人脸识别语义攻击
Published Sep 20
Evaluated models MobileFaceNet (MobileFace) , ResNet (ResNet-152, IR-SE) , RepVGG and others7 Abstract BoundStyle 用 StyleGAN3 有界潜编辑快速攻击 FR。StyleAT 用可调的 StyleGAN3 潜空间攻击 BoundStyle 对人脸识别做对抗训练,以抵抗一般语义编辑,并在评测中面对训练时未见的 DiffPrivate。
提出 plan injection 攻击,植入良性伪装计划以绕过思维链监视器
Published Sep 15
Evaluated models Qwen2.5-Coder-7B-Instruct , Qwen3-8B , DeepSeek-R1-0528 and others6 Abstract 论文指出模型会将外部上下文中的伪装计划改写为自身推理,使思维链监视器失效甚至反向合理化恶意行为。
攻破混合 FHE 推理的置换式保密,精确恢复线性层排序谱
Published Sep 11
Evaluated models ResNet-20 , ResNet-56 , ResNet-50 and others12 复现 Tree-Ring 语义水印的黑盒伪造并恢复检测统计量
Published Sep 11
Evaluated models Stable Diffusion XL base 1.0