跳到正文
10月9日 · 周五

全部论文

找到 33 篇
筛选5

攻击类型

提示注入5投毒与后门16提取与窃取13

攻击技术

针对防御4潜伏触发10

防御类型

模型加固6

影响

有害内容21越权操作15数据与隐私泄露26输出被操纵29可用性与可靠性7监督失效4

系统形态

模型与 API22AI Agent11

攻击者权限

白盒5

攻击面/入口

用户输入49网页与界面6文档与消息9工具返回9工具与技能描述8代码仓库与依赖4记忆写入9Agent 间消息5图像与音视频10训练数据12权重与梯度15分发渠道8推理服务与硬件4

层

模型层4应用层10训练与数据层18

系统组件

记忆8微调与开源权重8多模态6
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 440 篇还没打标签，不在筛选结果里。
影响：数据与隐私泄露影响：可用性与可靠性攻击面/入口：记忆写入攻击面/入口：训练数据攻击面/入口：权重与梯度清除全部

另有 440 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2610.09819

    FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

    提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

    arXiv
    2610.09819
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    HuBERT-base、WavLM-base

    摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。

    深度解读完整解读
  2. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  3. 防御arXiv 2610.06636

    差分隐私混合公共数据集提升隐私学习效果

    提出 DP-MixMin，私有学习公开数据混合并做差分隐私微调

    arXiv
    2610.06636
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    ResNet-18、GPT-2 Medium
    摘要DP-MixMin 私下学公开混合再 DP 微调，胸片 macro AUC 与邮件困惑度优于均匀混合。

    DP-MixMin 是一条端到端的差分隐私训练流程：先私下决定多个公开数据集的预训练混合，再预训练并在敏感数据上 DP 微调。作者称这是首个这样的流程。

    深度解读完整解读
  4. 攻击arXiv 2610.05601

    Tracer 框架可从遗忘后的扩散模型中识别被擦除概念

    提出 TRACER，从权重差识别扩散模型被擦除概念

    arXiv
    2610.05601
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    白盒
    被测模型
    Stable Diffusion v1.5、Stable Diffusion 3、FLUX.1 等 5 个
    摘要TRACER 用权重足迹识别未披露擦除概念并估计个数，作者称数秒内完成且准确率高于对照。

    TRACER 针对的是遗忘扩散模型上的目标识别：提供者从公开基座 W 用已发表方法擦掉未知集合 S⋆，只发布 W′。攻击者还有假定包含这些概念的词表，但不知擦了谁、擦了几个、用了什么算法。

    深度解读完整解读
  5. 攻击arXiv 2610.05453

    研究者提出 Privacy-Leaking Watermarks，可在本地多模态模型中泄露对话隐私

    提出 PLW，用微调把先前对话敏感触发编码进后续生成图像

    arXiv
    2610.05453
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    OmniGen2、BAGEL-7B

    摘要PLW 把先前对话线索写成后续图像中的隐水印，检出随触发、模型和间隔变化。

    深度解读完整解读
  6. 攻击arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    提出 StegoMemory，评测智能体持久记忆作为跨会话隐写信道

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  7. 防御arXiv 2610.04426

    UnAct：无需梯度的定向激活干预实现类别遗忘

    提出 UnAct，仅以前向激活干预从分类器中遗忘指定类别

    arXiv
    2610.04426
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    ResNet-18、ViT-B/16
    摘要UnAct 用前向激活做类别遗忘。

    UnAct 是一种事后类别遗忘：删除请求可以只有少量该类图像，且没有标签和保留数据。它不用梯度，只对遗忘图像做前向。编辑对象是分类器所读的后期单元。

    深度解读完整解读
  9. 攻击arXiv 2610.04128

    研究显示拆分学习中的梯度可提升客户端文本重建率

    衡量分裂学习中梯度相对激活对客户文本重建的额外贡献

    arXiv
    2610.04128
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    GPT-2 (openai-community/gpt2, 124M)、Qwen3-0.6B
    摘要激活已恢复大部分 token。

    这篇工作测量 split learning 分裂点上的文本泄漏：激活单独能恢复多少，训练回传的梯度再增加多少，以及按 token 还是按整篇计分会不会改写结论。

    深度解读完整解读
  10. 攻击arXiv 2610.01365

    ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联

    提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联

    arXiv
    2610.01365
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒、灰盒
    被测模型
    GPT-2 Small、GPT-2 Medium、GPT-2 Large 等 6 个

    摘要提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。

    深度解读完整解读
  12. 防御arXiv 2610.00371

    FlowReview：以授权配对评测控制多智能体组合信息流

    提出 FlowReview，用授权配对与确定性提交门控控制多智能体组合信息流

    arXiv
    2610.00371
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Sonnet 4.5、Haiku 4.5、Qwen3-32B 等 5 个
    摘要配对标准要求拒绝禁止使用并完成授权使用，FlowReview 把三项审查接到执行。

    这篇工作把多智能体安全写成一件必须同时成立的事：拦住组合信息所启用的禁止使用，并完成同一场景里任务所需的授权使用。

    深度解读完整解读
  13. 防御arXiv 2609.37858

    存储不等于策略：面向 LLM 遗忘的状态条件支持控制

    提出 Intervention Score 与 DIR-R，按干预效果选择并修订遗忘参数支持

    arXiv
    2609.37858
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Llama 3 8B、Gemma 2 2B、Qwen2.5-7B 等 4 个
    摘要作者把局部化遗忘拆成初始干预选择和检查点修订，并在三个设置里分别给证据和边界。

    Storage Is Not Strategy 研究局部化 LLM 遗忘里两个常被混在一起的决定：一开始该更新哪些参数，以及优化改变模型之后这个选择要不要改。

    深度解读完整解读
  16. 攻击arXiv 2609.33985

    研究：众包微调数据投毒可放大专有指令抽取

    提出主题锚点投毒，放大众包微调后的专有指令提取

    arXiv
    2609.33985
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Llama-3.1-8B-Instruct 等 4 个

    摘要论文提出基于主题锚点的数据中毒攻击，证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。

    深度解读完整解读
  17. 分析与理论arXiv 2609.32288

    预训练数据投毒的可解理论：依赖极限顺序的缩放指数

    证明预训练投毒的清洁超额风险指数随极限顺序变化

    arXiv
    2609.32288
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    OLMo-style models
    摘要投毒清洁超额风险的幂指数取决于先固定宽高比还是先取充足数据极限。

    可解的预训练数据投毒理论：清洁超额风险的缩放指数随极限顺序改变。。

    深度解读完整解读
  18. 攻击arXiv 2609.27124

    Fed-ADR：用恶意编排服务器协同客户端梯度操纵攻击联邦学习

    提出 Fed-ADR，用编排服务器协同操纵梯度攻破联邦学习并检测恢复

    arXiv
    2609.27124
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    灰盒
    被测模型
    CNN（MNIST：2 Conv + 3 FC）、CNN（Fashion-MNIST：6 Conv + 1 FC）、ResNet18（CIFAR-10）
    摘要Fed-ADR 用 gray-box 编排攻击绕过多种聚合防御，再用 Hessian 一致性检测和窗口内恢复把准确率拉回。

    Fed-ADR 是一套面向联邦学习的攻击、检测与恢复框架：编排服务器改写合谋客户端的梯度，使参数服务器的现有防御把投毒更新当成良性，同时在发现后用历史梯度把全局模型原地修回来。

    深度解读完整解读
加载更多