跳到正文
10月9日 · 周五

隐私与数据泄露 · 论文

找到 52 篇
筛选4

攻击类型

越狱1提示注入4投毒与后门4模型篡改1提取与窃取26检测规避5拒绝服务1恶意使用1

攻击技术

自动化搜索1编码与混淆2角色扮演与说服1对话结构操控1推理链操控1侧信道1针对防御2潜伏触发3

模型自身风险

欺骗与谋划1Agent 危险操作1

防御类型

模型加固4推理时干预1检测与过滤2水印与溯源3

影响

越权操作1数据与隐私泄露31输出被操纵4监督失效2

系统形态

模型与 API43LLM 应用8AI Agent26编程 Agent2网页与电脑操作4多智能体3

攻击者权限

黑盒10灰盒4白盒2

攻击面/入口

用户输入21网页与界面3文档与消息3工具返回1工具与技能描述1代码仓库与依赖1记忆写入1Agent 间消息1图像与音视频4训练数据6权重与梯度7推理服务与硬件3

层

提示层4模型层21应用层9训练与数据层14基础设施层4

系统组件

MCP 与技能1记忆3监控器1推理链1微调与开源权重3视觉5音频2图像生成1嵌入1多模态8

被测模型厂商

Qwen（阿里）21Meta21OpenAI20Google18Anthropic9DeepSeek6其他34
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 77 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：网页与电脑操作系统形态：多智能体话题：隐私与数据泄露清除全部

另有 77 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  3. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  4. 风险行为arXiv 2609.32701

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

    arXiv
    2609.32701
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-5.6 Sol、Terra、Luna 等 6 个
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    深度解读完整解读
  5. 攻击arXiv 2610.06848

    TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击

    提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员

    arXiv
    2610.06848
    发表
    层
    基础设施层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    BERT (4.4M-340M)、ViT (22M-307M)、Pythia (70M-2.8B) 等 5 个

    摘要TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。

    深度解读完整解读
  6. 攻击arXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件

    arXiv
    2609.18217
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    深度解读完整解读
  7. 攻击arXiv 2610.01365

    ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联

    提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联

    arXiv
    2610.01365
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒、灰盒
    测试
    GPT-2 Small、GPT-2 Medium、GPT-2 Large 等 6 个

    摘要提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。

    深度解读完整解读
  8. 攻击arXiv 2609.04382

    研究揭示 split-LLM 训练中返回梯度泄露真实行，前向隐私门仍通过

    揭示拆分训练返回梯度以零支撑暴露诱饵行并泄露训练内容

    arXiv
    2609.04382
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    测试
    Qwen3-0.6B、35B-A3B
    摘要论文揭示拆分训练中反向梯度零支撑完全暴露诱饵行，联合视图突破门控，裁剪加噪可有效缓解。

    这是一项关于双节点大语言模型拆分训练系统的系统安全案例研究，揭示了评估工具遗漏反向信道所导致的静默隐私失效。

    深度解读完整解读
  9. 攻击arXiv 2608.09867

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

    arXiv
    2608.09867
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Haiku 4.5 等 15 个

    摘要论文揭示了客户端加密思维块跨模型互换漏洞，提出了低成本提取方法并给出防御方案。

    深度解读完整解读
  11. 分析与理论arXiv 2607.12649

    研究者提出可提取记忆的匹配比较检验方法

    提出匹配比较校准，界定生成训练序列何时算可抽取记忆

    arXiv
    2607.12649
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo 2 32B base、OLMo 2 32B Instruct、OLMo 2 7B 等 7 个
    摘要匹配非成员校准阈值后，短序列抽取含大量假阳性，极低概率过阈值也不等于可抽取。

    Cooper 等人从第一性原理重写 extractable memorization：生成训练文本只有在概率高过匹配非训练文本的可预测性基线时，才支持记忆声称。

    深度解读完整解读
  12. 分析与理论arXiv 2609.33898

    研究揭示训练效率与模型脆弱性的权衡：高效训练更易受对抗与隐私攻击

    比较高效与高成本训练的对抗和隐私脆弱性并分析损失几何

    arXiv
    2609.33898
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    ResNet-18、Swin Transformer、Qwen2.5-Math-7B-Instruct 等 7 个
    摘要效用匹配下，三种高效训练都伴随更高的隐私与对抗脆弱性及更尖的损失几何。

    作者在视觉分类和数学推理语言模型上，检查用更少数据或更简对齐换取训练效率时，安全性质是否一起变化。比较在任务效用接近的前提下进行。视觉侧用 KNN-Shapley 的高重要性小子集对照低重要性大子集，并用预训练微调对照从头训练。

    深度解读完整解读
  14. 防御arXiv 2610.00209

    基于差分隐私扩散模型的能源时间序列插补：裁剪感知的目标条件化方法

    提出时间步感知目标条件化，改善差分隐私能源时序插补效用

    arXiv
    2610.00209
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    DiT-style Transformer、PatchTST、TimesNet 等 5 个
    摘要固定阈值 DP-SGD 下，v-prediction 加 ᾱt 加权降低能源时序插补误差，并降低后期低 SNR 的裁剪前梯度。

    作者研究固定阈值 DP-SGD 训练的扩散模型，如何在余弦调度的后期低 SNR 时间步避免 ε-prediction 产生易被裁剪的大梯度，从而做能源时序缺失值恢复。

    深度解读完整解读
  15. 防御arXiv 2609.31056

    SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘

    提出 SCALPEL，用对比 SAE 在表征层选择性遗忘特定事实

    arXiv
    2609.31056
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-1.5B-Instruct、Llama-3.2-1B-Instruct、Gemma-2-2B-it
    摘要SCALPEL 以对比稀疏特征做窄目标表征遗忘，在 TOFU 上与优化基线相当且可检查。

    SCALPEL 是不改基座权重的表征层遗忘方法，面向与保留数据重叠的窄目标。

    深度解读完整解读
  16. 其他arXiv 2609.10144

    AIOS 的内核管理共享内存：面向系统级个性化的新抽象

    AI 导读研究提出"内核管理共享内存"，由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。

    arXiv
    2609.10144
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-4o、Llama-3.1:8B、Qwen-2.5:7B
    摘要作者称内核集中管理记忆，能拿到无约束上下文的大部分个性化收益，并降低延迟。

    kernel-managed shared memory 把多智能体的检索、隐私和注入收进 agent-system kernel，并在 AIOS 上与三种替代方案比较。

    深度解读完整解读
  19. 其他arXiv 2609.12067

    面向压缩与隐私的可扩展离散到连续信道模拟

    提出置换方案，精确模拟离散到连续信道并用于变速率压缩与差分隐私估计

    arXiv
    2609.12067
    发表
    层
    模型层
    场景
    模型与 API
    摘要置换加指数竞赛用固定样本模拟离散到连续信道，polar-MLC 将其用到 VQ-VAE 压缩和高斯 CDP 均值估计。

    Rowan、Phan 与 Khisti 研究离散输入、连续输出信道的模拟：共享随机样本数固定，长块长用 polar 码与多层编码降到 O(n log n)。。信道模拟要让解码器的 Y 服从 P_{Y|X}，同时把消息长度压向 I(X。

    深度解读完整解读
  20. 防御arXiv 2609.12378

    Odin：面向隐私保护 Llama 3 8B 推理的开源端到端 FHE 实现

    提出端到端全同态加密方案 ODIN，在云端密文上完成推理以保护提示词

    arXiv
    2609.12378
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Meta-Llama-3-8B、Llama-3-8B（THOR-style baseline）
    摘要ODIN 用可复用的特征主序打包和联合误差预算，在单张 H100 上完成 Llama-3-8B 的 CKKS 推理。

    ODIN 是面向 Llama 的服务器侧 CKKS 推理系统：客户加密提示词，诚实但好奇的服务器用明文权重在密文上算完 Llama-3，只返回结果密文。

    深度解读完整解读
加载更多