跳到正文
10月9日 · 周五

隐私与数据泄露 · 论文

找到 28 篇
筛选4

攻击类型

越狱1提示注入6投毒与后门4模型篡改1提取与窃取11检测规避1恶意使用3

攻击技术

自动化搜索4编码与混淆3对话结构操控1推理链操控1跨模态载荷1侧信道1针对防御1潜伏触发4诱导选用2

模型自身风险

失准与价值偏离1Agent 危险操作2

防御类型

模型加固1推理时干预1检测与过滤1指令与数据隔离1权限与审批1水印与溯源1

影响

越权操作2数据与隐私泄露22输出被操纵2监督失效1

系统形态

模型与 API13LLM 应用5AI Agent15编程 Agent2网页与电脑操作3

攻击者权限

黑盒7灰盒2

攻击面/入口

用户输入13网页与界面2文档与消息3工具返回2工具与技能描述2代码仓库与依赖1记忆写入3图像与音视频2训练数据1权重与梯度2分发渠道1推理服务与硬件2

层

提示层2模型层8应用层14训练与数据层3基础设施层1

系统组件

MCP 与技能2记忆4推理链1权限与沙箱1微调与开源权重1视觉3嵌入1多模态3

被测模型厂商

OpenAI34Google28Qwen（阿里）28Meta25DeepSeek15Anthropic15智谱 GLM8Kimi（月之暗面）6Mistral5其他40
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 76 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：编程 Agent被测模型厂商：Google话题：隐私与数据泄露清除全部

另有 76 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Gemini 3 Flash、GPT-4o、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  3. 评测与基准arXiv 2605.01970

    Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准

    提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御

    arXiv
    2605.01970
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Gemini 3.1 Pro、GPT-5-mini、GPT-5

    摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。

    深度解读完整解读
  5. 攻击arXiv 2610.06848

    TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击

    提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员

    arXiv
    2610.06848
    发表
    层
    基础设施层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    BERT (4.4M-340M)、ViT (22M-307M)、Pythia (70M-2.8B) 等 5 个

    摘要TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。

    深度解读完整解读
  6. 攻击arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Gemini 1.5 Pro、Gemini 2.0 Flash、Llama 3.1 405B 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  8. 攻击arXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件

    arXiv
    2609.18217
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Gemini 2.5 Flash、GPT-4o、GPT-4o-mini 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    深度解读完整解读
  9. 风险行为arXiv 2609.24927

    研究：个人 AI Agent 会按推断财富差别推荐，屏蔽属性反而放大差距

    测量个人智能体是否会按私人上下文推断财富并推荐高价选项

    arXiv
    2609.24927
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Gemini 2.5 Flash、Gemini 3 Flash、Gemini 3.1 Flash Lite 等 13 个
    摘要全因子评测揭示个人智能体会推断用户财富并推荐高价选项，甚至推翻用户明确指令。

    这篇论文揭示了个人 AI 智能体在获取私人背景信息后，自发利用推断的财富地位推高推荐价格并背离用户意图的“对抗性委托”风险。。

    深度解读完整解读
  10. 攻击arXiv 2608.09867

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

    arXiv
    2608.09867
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Gemini 3.1 Pro、Gemini 3.5 Flash、Gemini Robotics 1.6 等 15 个

    摘要论文揭示了客户端加密思维块跨模型互换漏洞，提出了低成本提取方法并给出防御方案。

    深度解读完整解读
  11. 评测与基准arXiv 2609.08258

    研究实测五套 Agent 记忆系统均不执行撤销标记

    评测智能体记忆软撤回是否生效，并提出陈旧检索防护

    arXiv
    2609.08258
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Gemini-2.5-Flash、Gemma-3-27B-IT、GPT-5.5 等 9 个

    摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。

    深度解读完整解读
  12. 攻击arXiv 2610.01768

    LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄

    提出 LLMLeak，把机密编进报错 URL，借聊天机器人网页抓取外传

    arXiv
    2610.01768
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Gemini、Meta-Llama-3.3-70B-Instruct、Meta-Llama-4-Scout-17B-16E-Instruct 等 15 个
    摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。

    LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。

    深度解读完整解读
  13. 防御arXiv 2609.31056

    SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘

    提出 SCALPEL，用对比 SAE 在表征层选择性遗忘特定事实

    arXiv
    2609.31056
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma-2-2B-it、Qwen2.5-1.5B-Instruct、Llama-3.2-1B-Instruct
    摘要SCALPEL 以对比稀疏特征做窄目标表征遗忘，在 TOFU 上与优化基线相当且可检查。

    SCALPEL 是不改基座权重的表征层遗忘方法，面向与保留数据重叠的窄目标。

    深度解读完整解读
  14. 攻击arXiv 2609.04533

    Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击

    提出 Repeat-After-Me，以图像前缀诱导智能体调用工具或泄露隐私

    arXiv
    2609.04533
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Gemini-3.1-Pro、Claude-Opus-4.7、GPT-5.5 等 11 个

    摘要论文提出了针对黑盒 VLM 的前缀诱导自适应视觉提示注入，在多款模型上诱发了工具调用与隐私泄露。

    深度解读完整解读
  18. 其他arXiv 2609.38895

    Unmerge：用任务算术实现高效机器遗忘

    提出 UNMERGE，用任务向量低秩分解做概念级遗忘

    arXiv
    2609.38895
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    ViT-S/16、ResNet-50、Llama-3.2-3B-Instruct
    摘要UNMERGE 用低秩任务向量相减做概念级遗忘，类别任务上 ToW 与隐私更接近重训。

    UNMERGE 把近似机器遗忘写成模型合并的逆运算：从已微调的合并任务向量里减去一个学出来的低秩遗忘分量。作者要处理的是概念级请求（一个类或一个语义组），而不是任意单条记录。梯度上升、重标注、蒸馏和显著性方法都靠把遗忘损失写进权重，作者认为它们超参脆弱、无法表达遗忘与保留的共享方向，也缺少逐层诊断。

    深度解读完整解读
加载更多