跳到正文
10月9日 · 周五

隐私与数据泄露 · 论文

找到 16 篇
筛选4

攻击类型

提示注入7投毒与后门6模型篡改1提取与窃取5检测规避1

攻击技术

自动化搜索4编码与混淆2针对防御2潜伏触发6诱导选用2

防御类型

模型加固1水印与溯源1

影响

越权操作1数据与隐私泄露11输出被操纵2监督失效1

系统形态

模型与 API7AI Agent9编程 Agent1网页与电脑操作3

攻击者权限

灰盒1白盒2

攻击面/入口

用户输入31网页与界面3文档与消息6工具返回2工具与技能描述2代码仓库与依赖1检索语料1记忆写入5Agent 间消息1图像与音视频10训练数据7权重与梯度7分发渠道1推理服务与硬件4

层

模型层2应用层9训练与数据层5

系统组件

MCP 与技能2记忆5微调与开源权重2视觉1图像生成1多模态2

被测模型厂商

OpenAI12Google9Qwen（阿里）7Meta7Anthropic6其他12
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 75 篇还没打标签，不在筛选结果里。
攻击面/入口：网页与界面攻击面/入口：工具与技能描述攻击面/入口：记忆写入攻击面/入口：权重与梯度话题：隐私与数据泄露清除全部

另有 75 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  3. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  4. 评测与基准arXiv 2605.01970

    Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准

    提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御

    arXiv
    2605.01970
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Gemini 3.1 Pro、GPT-5-mini、GPT-5

    摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。

    深度解读完整解读
  6. 攻击arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  7. 攻击arXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件

    arXiv
    2609.18217
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    深度解读完整解读
  8. 攻击arXiv 2610.01365

    ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联

    提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联

    arXiv
    2610.01365
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒、灰盒
    测试
    GPT-2 Small、GPT-2 Medium、GPT-2 Large 等 6 个

    摘要提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。

    深度解读完整解读
  9. 攻击arXiv 2609.04382

    研究揭示 split-LLM 训练中返回梯度泄露真实行，前向隐私门仍通过

    揭示拆分训练返回梯度以零支撑暴露诱饵行并泄露训练内容

    arXiv
    2609.04382
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    测试
    Qwen3-0.6B、35B-A3B
    摘要论文揭示拆分训练中反向梯度零支撑完全暴露诱饵行，联合视图突破门控，裁剪加噪可有效缓解。

    这是一项关于双节点大语言模型拆分训练系统的系统安全案例研究，揭示了评估工具遗漏反向信道所导致的静默隐私失效。

    深度解读完整解读
  10. 攻击arXiv 2607.05189

    研究者提出 MemGhost，对持久化个人 Agent 实现隐蔽记忆注入

    提出 MEMGHOST，以单封恶意邮件向持久个人智能体注入隐蔽记忆

    arXiv
    2607.05189
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5.4、Claude Sonnet 4.6、Claude Sonnet 4.5 等 6 个
    摘要总结了论文的研究背景、双代理优化方法 MEMGHOST、全周期实验结果以及作者对记忆信任边界的启示。

    本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。

    深度解读完整解读
  11. 防御arXiv 2609.23586

    VidMark：面向视频生成模型知识产权保护的高效水印方案

    提出 VidMark 水印方案，核验视频生成模型的输出来源与所有权

    arXiv
    2609.23586
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Stable Video Diffusion (SVD)、Open-Sora、Wan
    摘要VidMark 加解码器引导微调，把模型签名写入 VGM 输出并用于两项核验。

    Huang 等人提出一套面向视频生成模型的生成内嵌水印方案，用来同时判断一条视频是否来自受保护模型，以及一个嫌疑模型是否为该模型的拷贝。

    深度解读完整解读
  14. 评测与基准arXiv 2609.08901

    论文揭示 BatchNorm 架构下机器遗忘评测的归一化伪影

    诊断 BatchNorm 架构下机器遗忘评测的归一化伪影

    arXiv
    2609.08901
    发表
    层
    模型层
    场景
    模型与 API
    测试
    ResNet-18、ResNet-50、ViT-S/16 等 4 个
    摘要一次不改权重的 BN 重校准能翻转多数方法的表面遗忘，但不改变权重里的编码器泄露。

    BN illusion 是作者对近似机器遗忘评测中一种 BatchNorm 测量伪影的命名：不改权重、只用 retain 数据重算运行统计，就可以把表面遗忘准确率翻过来。

    深度解读完整解读
  15. 防御arXiv 2609.15671

    QPriv-VL：面向视觉语言模型的问题引导 token 裁剪隐私防御

    提出 QPriv-VL，用问题引导剪枝降低分布式视觉问答的隐私泄露

    arXiv
    2609.15671
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    LLaVA-1.5-7B、CLIP-ViT-L/14、Llama-2 等 4 个
    摘要QPriv-VL 在切层前按问题相关度与 DINOv2 敏感度剪视觉 token，作者称能在约四成 token 下兼顾准确率与四类攻击。

    QPriv-VL 把问题引导的视觉 token 剪枝做成分布式 VQA 的客户端隐私防御，而不是只做集中式推理加速。

    深度解读完整解读
  16. 防御arXiv 2609.20532

    面向旧款 GPU 的可验证差分隐私训练框架：用 CPU 侧 TEE 校验 GPU 梯度

    AI 导读论文提出一种在旧款 GPU 上实现可验证差分隐私（DP）训练的框架，用 CPU 侧 TEE 配合不受信任的 GPU 完成校验。

    arXiv
    2609.20532
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    5-layer MLP、WideResNet、GPT-2-medium 等 4 个
    摘要CPU TEE 概率抽查不可信 GPU 上的 DP-SGD，以小开销约束频繁偏离。

    TEE-Certified DP 用已部署的 CPU TEE 监视不可信旧 GPU 上的 DP-SGD，使监管方能在不看训练数据的情况下检查声明的隐私机制是否被执行。

    深度解读完整解读
已经到底了