攻击arXiv 2610.12292
论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作
提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作
- arXiv
- 2610.12292
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- LAYA-TD、LAYA-EN、LAYA-ML 等5个
摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。
- 防御arXiv 2610.09793
用时序逻辑监控工具 Agent
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
- arXiv
- 2610.09793
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
- 防御arXiv 2610.08668
SBW：面向 LLM 智能体的语义行为水印方法
提出 SBW，为 LLM Agent 轨迹做抗改写与伪造的语义行为水印
- arXiv
- 2610.08668
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen2.5-3B-Instruct、LLaMA-3.2-3B、Qwen2.5-7B 等5个
摘要SBW 在语义簇上做溯源水印，改写检测高于精确符号，链式重放仍开放。
SBW 是免训练的智能体行为水印，把所有者标识放在离散动作选择上，而不是输出 token。
- 防御arXiv 2610.06636
差分隐私混合公共数据集提升隐私学习效果
提出 DP-MixMin，私有学习公开数据混合并做差分隐私微调
- arXiv
- 2610.06636
- 发表
- 场景
- 模型与 API
- 被测模型
- ResNet-18、GPT-2 Medium
- 攻击提取与窃取
摘要DP-MixMin 私下学公开混合再 DP 微调，胸片 macro AUC 与邮件困惑度优于均匀混合。
DP-MixMin 是一条端到端的差分隐私训练流程：先私下决定多个公开数据集的预训练混合，再预训练并在敏感数据上 DP 微调。作者称这是首个这样的流程。
- 防御arXiv 2610.04426
UnAct：无需梯度的定向激活干预实现类别遗忘
提出 UnAct，仅以前向激活干预从分类器中遗忘指定类别
- arXiv
- 2610.04426
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- ResNet-18、ViT-B/16
摘要UnAct 用前向激活做类别遗忘。
UnAct 是一种事后类别遗忘：删除请求可以只有少量该类图像，且没有标签和保留数据。它不用梯度，只对遗忘图像做前向。编辑对象是分类器所读的后期单元。
- 攻击arXiv 2610.01365
ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联
提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联
- arXiv
- 2610.01365
- 发表
- 场景
- 模型与 API
- 被测模型
- GPT-2 Small、GPT-2 Medium、GPT-2 Large 等6个
摘要提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。
- 防御arXiv 2609.37858
存储不等于策略：面向 LLM 遗忘的状态条件支持控制
提出 Intervention Score 与 DIR-R，按干预效果选择并修订遗忘参数支持
- arXiv
- 2609.37858
- 发表
- 场景
- 模型与 API
- 被测模型
- Llama 3 8B、Gemma 2 2B、Qwen2.5-7B 等4个
摘要作者把局部化遗忘拆成初始干预选择和检查点修订，并在三个设置里分别给证据和边界。
Storage Is Not Strategy 研究局部化 LLM 遗忘里两个常被混在一起的决定：一开始该更新哪些参数，以及优化改变模型之后这个选择要不要改。
- 评测与基准arXiv 2609.34092
机器遗忘在 ASR 中是否有效：arXiv 论文评估现有算法与评测工具
- arXiv
- 2609.34092
- 发表
- 场景
- 模型与 API
- 被测模型
- E-Branchformer
摘要梯度上升类方法更接近简单评测下的重训参照，复杂方法会被知情攻击认出，多说话人更差。
- 攻击arXiv 2609.33985
研究：众包微调数据投毒可放大专有指令抽取
提出主题锚点投毒，放大众包微调后的专有指令提取
- arXiv
- 2609.33985
- 发表
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Llama-3.1-8B-Instruct 等4个
摘要论文提出基于主题锚点的数据中毒攻击，证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。
- 攻击arXiv 2609.27542
研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控
提出控制标记注入，清空工具 Agent 的思维链以绕过推理监控
- arXiv
- 2609.27542
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- openai/gpt-oss-20b、google/gemma-4-26B-A4B-it、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等4个
摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过，且工具执行受解析器宽容度影响。
- 攻击arXiv 2609.27124
Fed-ADR：用恶意编排服务器协同客户端梯度操纵攻击联邦学习
提出 Fed-ADR，用编排服务器协同操纵梯度攻破联邦学习并检测恢复
- arXiv
- 2609.27124
- 发表
- 场景
- 模型与 API
- 攻击者
- 灰盒
- 被测模型
- CNN（MNIST：2 Conv + 3 FC）、CNN（Fashion-MNIST：6 Conv + 1 FC）、ResNet18（CIFAR-10）
摘要Fed-ADR 用 gray-box 编排攻击绕过多种聚合防御，再用 Hessian 一致性检测和窗口内恢复把准确率拉回。
Fed-ADR 是一套面向联邦学习的攻击、检测与恢复框架：编排服务器改写合谋客户端的梯度，使参数服务器的现有防御把投毒更新当成良性，同时在发现后用历史梯度把全局模型原地修回来。
- 防御arXiv 2610.00209
基于差分隐私扩散模型的能源时间序列插补：裁剪感知的目标条件化方法
提出时间步感知目标条件化，改善差分隐私能源时序插补效用
- arXiv
- 2610.00209
- 发表
- 场景
- 模型与 API
- 被测模型
- DiT-style Transformer
- 攻击提取与窃取
摘要固定阈值 DP-SGD 下，v-prediction 加 ᾱt 加权降低能源时序插补误差，并降低后期低 SNR 的裁剪前梯度。
作者研究固定阈值 DP-SGD 训练的扩散模型，如何在余弦调度的后期低 SNR 时间步避免 ε-prediction 产生易被裁剪的大梯度，从而做能源时序缺失值恢复。
- 攻击arXiv 2608.03642
规避与投毒攻击对恶意软件数据漂移检测器的实证分析
用通用扰动对恶意软件分类器及漂移检测器做规避与后门投毒
- arXiv
- 2608.03642
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- MLP 100-100、CADE (CAE 512-384-256-128)、CADE (CAE 512-128-32-8) 等6个
- 攻击arXiv 2605.30040
研究揭示 LLM 按 token 计费可被服务商系统性虚报
构造可通过计费审计的 token 虚报，使服务商系统性超收
- arXiv
- 2605.30040
- 发表
- 场景
- 模型与 API
- 被测模型
- PALACE domain-adapted auditor
摘要不诚实提供方可在三种 token 审计上虚报并通过检查，作者认为需改用提供方不控制的证据。
不透明 LLM 的按 token 计费里，现有审计核验的是提供方可控的证据，不诚实提供方可以虚报并通过检查。。
已经到底了