跳到正文
10月9日 · 周五

隐私与数据泄露 · 论文

找到 39 篇
筛选6

攻击类型

越狱2提示注入4投毒与后门1模型篡改1提取与窃取17检测规避4拒绝服务1恶意使用1

攻击技术

梯度与表征优化1自动化搜索1编码与混淆1侧信道1针对防御2潜伏触发1

模型自身风险

Agent 危险操作1拒答失当1幻觉与编造1偏见与歧视2

防御类型

模型加固1推理时干预2检测与过滤1水印与溯源3

影响

有害内容1越权操作1数据与隐私泄露22输出被操纵2可用性与可靠性1监督失效1

系统形态

模型与 API33LLM 应用14AI Agent28编程 Agent2网页与电脑操作4多智能体4

攻击者权限

黑盒6灰盒3白盒1

攻击面/入口

用户输入17网页与界面3文档与消息3工具返回1工具与技能描述1记忆写入1图像与音视频3权重与梯度2推理服务与硬件3

层

提示层5模型层26应用层8训练与数据层17基础设施层5

系统组件

MCP 与技能1记忆2视觉1音频3图像生成1嵌入1多模态5

被测模型厂商

Google15OpenAI14Qwen（阿里）13Meta13Anthropic7DeepSeek5其他26
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 57 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：网页与电脑操作层：模型层层：应用层层：基础设施层话题：隐私与数据泄露清除全部

另有 57 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  3. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  4. 攻击arXiv 2610.06848

    TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击

    提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员

    arXiv
    2610.06848
    发表
    层
    基础设施层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    BERT (4.4M-340M)、ViT (22M-307M)、Pythia (70M-2.8B) 等 5 个

    摘要TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。

    深度解读完整解读
  7. 攻击arXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件

    arXiv
    2609.18217
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    深度解读完整解读
  8. 其他arXiv 2609.14843

    研究分析 3930 条 Reddit 帖子，揭示青少年对陪伴型 AI 聊天机器人的过度依赖

    主题分析青少年相关 Reddit 帖子，归纳陪伴 AI 过度依赖与感知互惠

    arXiv
    2609.14843
    发表
    层
    应用层
    场景
    模型与 API
    测试
    Character.AI、Replika、ChatGPT 等 4 个
    摘要陪伴关系由即时回应、共同过去和可识别他人叠加而成，安全要管记忆、边界和退出。

    Namvarpour、Chang 与 Razi 用计算辅助主题分析，描述青少年相关 Reddit 讨论中与 AI 陪伴聊天机器人的关系及潜在过度依赖。

    深度解读完整解读
  9. 评测与基准arXiv 2608.20554

    aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡

    提出 aiXamine 黑盒基准，统一评测 LLM 安全、稳健与隐私权衡

    arXiv
    2608.20554
    发表
    层
    模型层
    场景
    模型与 API
    测试
    openai/gpt-5-mini、openai/gpt-4o、anthropic/claude-haiku-4.5 等 15 个
    摘要aiXamine 用九服务黑盒协议比较百余个模型，作者称单轴信任度进展可能削弱其他轴。

    aiXamine 是一套黑盒评测协议，用来在同一条件下比较 LLM 的 safety、security 与 privacy，而不是再产出一个能力分。

    深度解读完整解读
  11. 分析与理论arXiv 2607.12649

    研究者提出可提取记忆的匹配比较检验方法

    提出匹配比较校准，界定生成训练序列何时算可抽取记忆

    arXiv
    2607.12649
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo 2 32B base、OLMo 2 32B Instruct、OLMo 2 7B 等 7 个
    摘要匹配非成员校准阈值后，短序列抽取含大量假阳性，极低概率过阈值也不等于可抽取。

    Cooper 等人从第一性原理重写 extractable memorization：生成训练文本只有在概率高过匹配非训练文本的可预测性基线时，才支持记忆声称。

    深度解读完整解读
  15. 防御arXiv 2609.27399

    GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别

    提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别

    arXiv
    2609.27399
    发表
    层
    模型层
    场景
    模型与 API
    测试
    CosyVoice2-0.5B、F5-TTS、FireRedTTS
    摘要GUARD 用门控激活转向把退出说话人推向冒充相似度，以抑制再识别并保住音质。

    GUARD 用门控激活转向做说话人身份遗忘，使零样本 TTS 对退出说话人难以再识别。

    深度解读完整解读
  16. 防御arXiv 2609.31056

    SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘

    提出 SCALPEL，用对比 SAE 在表征层选择性遗忘特定事实

    arXiv
    2609.31056
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-1.5B-Instruct、Llama-3.2-1B-Instruct、Gemma-2-2B-it
    摘要SCALPEL 以对比稀疏特征做窄目标表征遗忘，在 TOFU 上与优化基线相当且可检查。

    SCALPEL 是不改基座权重的表征层遗忘方法，面向与保留数据重叠的窄目标。

    深度解读完整解读
  18. 其他arXiv 2609.12067

    面向压缩与隐私的可扩展离散到连续信道模拟

    提出置换方案，精确模拟离散到连续信道并用于变速率压缩与差分隐私估计

    arXiv
    2609.12067
    发表
    层
    模型层
    场景
    模型与 API
    摘要置换加指数竞赛用固定样本模拟离散到连续信道，polar-MLC 将其用到 VQ-VAE 压缩和高斯 CDP 均值估计。

    Rowan、Phan 与 Khisti 研究离散输入、连续输出信道的模拟：共享随机样本数固定，长块长用 polar 码与多层编码降到 O(n log n)。。信道模拟要让解码器的 Y 服从 P_{Y|X}，同时把消息长度压向 I(X。

    深度解读完整解读
  19. 防御arXiv 2609.12378

    Odin：面向隐私保护 Llama 3 8B 推理的开源端到端 FHE 实现

    提出端到端全同态加密方案 ODIN，在云端密文上完成推理以保护提示词

    arXiv
    2609.12378
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Meta-Llama-3-8B、Llama-3-8B（THOR-style baseline）
    摘要ODIN 用可复用的特征主序打包和联合误差预算，在单张 H100 上完成 Llama-3-8B 的 CKKS 推理。

    ODIN 是面向 Llama 的服务器侧 CKKS 推理系统：客户加密提示词，诚实但好奇的服务器用明文权重在密文上算完 Llama-3，只返回结果密文。

    深度解读完整解读
加载更多