Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 31 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Proposes digital lock compilation, encrypting executable networks into host weights to hide arbitrary capabilities
Published Oct 10
Evaluated models Gemma 3 270M Abstract The authors use a digital lock to hide an executable capability and state that elicitation on the chemistry and parity tasks did not recover the capability.The authors construct a class of backdoors that encrypt an executable network into the weights, used to discuss the limits of white-box elicitation audits under supply chain attacks.
提出 FAB 攻击,向声学基础模型植入可由环境声触发的后门
Published Oct 7
Evaluated models HuBERT-base , WavLM-base Abstract 论文提出了针对声学基模的 FAB 后门攻击,在弱威胁模型下实现了任务无关、物理可触发的后门植入。
TAPDreamer 用公开编码器做固定补丁。
Published Oct 6
Evaluated models FastWAM , DreamWAM-uncond , DreamWAM-joint and others4 提出轨迹级可迁移对抗攻击,降低深度强化学习策略的期望回报
Published Oct 5
Evaluated models DQN , Double DQN (DDQN) Abstract 轨迹级后退视界攻击在 CartPole 上比逐步 FGSM 类和 Sign 噪声更压低回报。这项工作研究 DRL 上的迁移式黑盒观测攻击 :受害参数不可访问时,在白盒代理上造扰动再迁移。
提出利用共享冷却的跨租户干扰攻击,并设计租户隔离机制
Published Oct 4 Abstract 揭示网关共享冷却漏洞,提出来源检查与租户隔离防御。
提出 UNTAG,绕过开源权重模型的 trigger-tag 滥用检测
Published Oct 2
Evaluated models Llama2 (7B) , Llama3 (8B) , Qwen2.5 (7B) Abstract 作者用 UNTAG 评估 trigger-tag,认为其不能充当开放权重滥用检测的主要边界。UNTAG 是针对开放权重 LLM 上条件滥用检测 trigger-tag 的统一攻击评估:信号可以在解码期注入,也可以写进权重,但攻击者若能改输出或改已发布权重,检测可以失效。
提出 ENDOPROMPT,以受害者侧伪参考学习降低良性任务效用的前缀
Published Sep 24
Evaluated models Qwen2.5-7B , Llama-3.1-8B , Mistral-7B-v0.3 and others4 Abstract 作者用受害模型续写监督良性效用攻击,并把行为位移、任务退化与请求匹配效果分开评测。ENDOPROMPT 是一种用受害模型自身续写监督前缀生成的 white-box 效用攻击方法。 它针对良性任务失败,不要求产生有害内容或明确拒答。
定义工具调用 Agent 的持久计费状态,提出拒绝钱包攻击与防御
Published Sep 23
Evaluated models GPT-4o , GPT-4o-mini , Mistral-Large and others7 Abstract 已准入工具返回的跨轮保留会重复计费。这篇工作把工具调用智能体里跨轮保留、并被提供商反复计费的外部工具返回定义为 persistent billable state,并把它的主机侧再次送入决定当作控制点。 。
提出 Fed-ADR,用编排服务器协同操纵梯度攻破联邦学习并检测恢复
Published Sep 23
Evaluated models CNN(MNIST:2 Conv + 3 FC) , CNN(Fashion-MNIST:6 Conv + 1 FC) , ResNet18(CIFAR-10) Abstract Fed-ADR 用 gray-box 编排攻击绕过多种聚合防御,再用 Hessian 一致性检测和窗口内恢复把准确率拉回。Fed-ADR 是一套面向联邦学习的攻击、检测与恢复框架:编排服务器改写合谋客户端的梯度,使参数服务器的现有防御把投毒更新当成良性,同时在发现后用历史梯度把全局模型原地修回来。
提出 BAM 反馈编码,在 LLM 生成文本中实现隐蔽通信
Published Sep 22
Evaluated models Llama-3.1-8B , Qwen-3.5-9B-Base , Mistral-7B-v0.3 and others6 提出 UBA-ORL,以 BD/CM 样本在遗忘后激活离线 RL 后门
Published Sep 19
Evaluated models TD3+BC , BCQ , IQL Abstract UBA-ORL 用竞争的 BD/CM 样本,使离线 RL 后门在删除伪装轨迹后激活。UBA-ORL 研究离线强化学习中由合规轨迹删除激活的后门:合法贡献者同时上传共享触发的后门轨迹和伪装轨迹,训练后触发响应被压低,删除伪装批次后再升高。受害系统是使用静态数据集和轨迹级遗忘接口的离线 RL 服务。对手不能看到训练算法、参数、梯度或具体遗忘算法,但能提交可区分批次,并在部署时向观测注入预定触发。
提出 plan injection 攻击,植入良性伪装计划以绕过思维链监视器
Published Sep 15
Evaluated models Qwen2.5-Coder-7B-Instruct , Qwen3-8B , DeepSeek-R1-0528 and others6 Abstract 论文指出模型会将外部上下文中的伪装计划改写为自身推理,使思维链监视器失效甚至反向合理化恶意行为。
提出 BPI 选点算法,增强去中心化联邦学习中的模型与数据投毒
Published Sep 2 Abstract BPI 用有限轮 gossip 暴露选拜占庭集合。作者把 DFL 中“破坏哪 m 个节点”写成攻击者在固定预算下的优化问题,并用 BPI 近似有限轮内诚实节点受到的拜占庭暴露。
提出参考嫁接,在推理阶段用激活干预诱导沙袋隐藏能力
Published Aug 30
Evaluated models Qwen2.5-1.5B , Qwen2.5-3B , Qwen2.5-14B and others15 Abstract 提出参考嫁接在推理阶段以低成本匹配微调诱导效果,揭示隐瞒表征重叠与阈值门控机制。
提出 SKILLBLOAT,改写技能文档放大编码 Agent token 消耗
Published Aug 22
Evaluated models GLM-4.7-Flash , GLM-5 , GPT-5.4 Mini and others4 提出 CDH 攻击,让技能型 Agent 绕路放大资源消耗
Published Aug 13
Evaluated models Claude-Haiku-4.5 , DeepSeek-V4-Pro , DeepSeek-V4-Flash and others6 Abstract CDH 让静态技能在保持任务完成时拉高调用与 token,耗时则因后端而异。CDH 是针对渐进披露技能智能体的发布者侧、纯文本攻击:一个静态协调器把本可正确完成的任务,拐进有界但更耗资源的技能绕路,再交还原任务。
提出 RolePlay 框架,用人设条件放大 LLM 单次推理开销
Published Jul 29
Evaluated models DeepSeek-V4-Pro , Gemini-3.5-Flash , Qwen-3.5-Plus and others5 提出数据伪造攻击,使密码学模型认证在审计集通过但部署失效
Published Jul 24
Evaluated models SciKit-Learn decision tree , XGBoost , 226M-parameter neural network and others4 Abstract 固定审计集上的 ZKP 认证可被数据伪造绕过。这篇工作同时给出对 CMC 的数据伪造攻击,以及先承诺、后抽样的认证模板。 。
提出 GhostPrint,用低秩微调让弱模型骗过指纹审计
Published Jun 15
Evaluated models Gemma-1.1-2B , Qwen2-1.5B , Phi-3-mini Abstract GhostPrint 以 PEFT 让弱模型骗过部分指纹。GhostPrint 讨论恶意推理提供方能否只用低秩更新,让更弱的模型在用户的 black-box 指纹审计里看起来像宣传中的强模型。
提出针对 Agent 护栏的推理扩展拒绝服务攻击
Published Jun 12
Evaluated models TS-Guard-8B , Qwen3.5-9B , DeepSeek-V3.2 and others11