跳到正文
10月9日 · 周五

隐私与数据泄露 · 论文

找到 38 篇
筛选6

攻击类型

越狱1提示注入5投毒与后门1模型篡改1提取与窃取15检测规避5恶意使用1

攻击技术

梯度与表征优化1自动化搜索1编码与混淆2针对防御2潜伏触发1

模型自身风险

欺骗与谋划1Agent 危险操作1拒答失当1幻觉与编造1偏见与歧视2

防御类型

模型加固1推理时干预2水印与溯源3

影响

有害内容1越权操作1数据与隐私泄露20输出被操纵2可用性与可靠性1监督失效2

系统形态

模型与 API28LLM 应用13AI Agent28编程 Agent2网页与电脑操作4多智能体4

攻击者权限

黑盒6灰盒3白盒1

攻击面/入口

用户输入14网页与界面3文档与消息3工具返回1工具与技能描述1记忆写入1Agent 间消息2图像与音视频3权重与梯度2推理服务与硬件1

层

提示层5模型层27应用层11训练与数据层17基础设施层5

系统组件

MCP 与技能2记忆3监控器1视觉1音频3图像生成1嵌入1多模态5

被测模型厂商

Qwen（阿里）15OpenAI14Meta14Google13Anthropic8DeepSeek5其他25
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 57 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：网页与电脑操作系统形态：多智能体层：模型层层：应用层话题：隐私与数据泄露清除全部

另有 57 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  3. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  4. 风险行为arXiv 2609.32701

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

    arXiv
    2609.32701
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-5.6 Sol、Terra、Luna 等 6 个
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    深度解读完整解读
  7. 攻击arXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件

    arXiv
    2609.18217
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    深度解读完整解读
  8. 其他arXiv 2609.14843

    研究分析 3930 条 Reddit 帖子，揭示青少年对陪伴型 AI 聊天机器人的过度依赖

    主题分析青少年相关 Reddit 帖子，归纳陪伴 AI 过度依赖与感知互惠

    arXiv
    2609.14843
    发表
    层
    应用层
    场景
    模型与 API
    测试
    Character.AI、Replika、ChatGPT 等 4 个
    摘要陪伴关系由即时回应、共同过去和可识别他人叠加而成，安全要管记忆、边界和退出。

    Namvarpour、Chang 与 Razi 用计算辅助主题分析，描述青少年相关 Reddit 讨论中与 AI 陪伴聊天机器人的关系及潜在过度依赖。

    深度解读完整解读
  9. 评测与基准arXiv 2608.20554

    aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡

    提出 aiXamine 黑盒基准，统一评测 LLM 安全、稳健与隐私权衡

    arXiv
    2608.20554
    发表
    层
    模型层
    场景
    模型与 API
    测试
    openai/gpt-5-mini、openai/gpt-4o、anthropic/claude-haiku-4.5 等 15 个
    摘要aiXamine 用九服务黑盒协议比较百余个模型，作者称单轴信任度进展可能削弱其他轴。

    aiXamine 是一套黑盒评测协议，用来在同一条件下比较 LLM 的 safety、security 与 privacy，而不是再产出一个能力分。

    深度解读完整解读
  11. 分析与理论arXiv 2607.12649

    研究者提出可提取记忆的匹配比较检验方法

    提出匹配比较校准，界定生成训练序列何时算可抽取记忆

    arXiv
    2607.12649
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo 2 32B base、OLMo 2 32B Instruct、OLMo 2 7B 等 7 个
    摘要匹配非成员校准阈值后，短序列抽取含大量假阳性，极低概率过阈值也不等于可抽取。

    Cooper 等人从第一性原理重写 extractable memorization：生成训练文本只有在概率高过匹配非训练文本的可预测性基线时，才支持记忆声称。

    深度解读完整解读
  14. 防御arXiv 2608.30083

    研究者提出零知识谓词证明网关，在 MCP 与 Agent2Agent 上实现 Agent 间数据最小化

    提出零知识谓词证明网关，让 Agent 只交换谓词证明而不传敏感值

    arXiv
    2608.30083
    发表
    层
    应用层
    场景
    多智能体
    摘要作者将 source integrity 而不是证明开销视为绑定约束。

    Proof Gateway 是一套已运行的智能体间数据最小化机制：用治理谓词的零知识证明代替原始值和自然语言自述。

    深度解读完整解读
  16. 防御arXiv 2609.27399

    GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别

    提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别

    arXiv
    2609.27399
    发表
    层
    模型层
    场景
    模型与 API
    测试
    CosyVoice2-0.5B、F5-TTS、FireRedTTS
    摘要GUARD 用门控激活转向把退出说话人推向冒充相似度，以抑制再识别并保住音质。

    GUARD 用门控激活转向做说话人身份遗忘，使零样本 TTS 对退出说话人难以再识别。

    深度解读完整解读
  17. 防御arXiv 2609.31056

    SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘

    提出 SCALPEL，用对比 SAE 在表征层选择性遗忘特定事实

    arXiv
    2609.31056
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-1.5B-Instruct、Llama-3.2-1B-Instruct、Gemma-2-2B-it
    摘要SCALPEL 以对比稀疏特征做窄目标表征遗忘，在 TOFU 上与优化基线相当且可检查。

    SCALPEL 是不改基座权重的表征层遗忘方法，面向与保留数据重叠的窄目标。

    深度解读完整解读
  18. 其他arXiv 2609.10144

    AIOS 的内核管理共享内存：面向系统级个性化的新抽象

    AI 导读研究提出"内核管理共享内存"，由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。

    arXiv
    2609.10144
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-4o、Llama-3.1:8B、Qwen-2.5:7B
    摘要作者称内核集中管理记忆，能拿到无约束上下文的大部分个性化收益，并降低延迟。

    kernel-managed shared memory 把多智能体的检索、隐私和注入收进 agent-system kernel，并在 AIOS 上与三种替代方案比较。

    深度解读完整解读
  20. 其他arXiv 2609.12067

    面向压缩与隐私的可扩展离散到连续信道模拟

    提出置换方案，精确模拟离散到连续信道并用于变速率压缩与差分隐私估计

    arXiv
    2609.12067
    发表
    层
    模型层
    场景
    模型与 API
    摘要置换加指数竞赛用固定样本模拟离散到连续信道，polar-MLC 将其用到 VQ-VAE 压缩和高斯 CDP 均值估计。

    Rowan、Phan 与 Khisti 研究离散输入、连续输出信道的模拟：共享随机样本数固定，长块长用 polar 码与多层编码降到 O(n log n)。。信道模拟要让解码器的 Y 服从 P_{Y|X}，同时把消息长度压向 I(X。

    深度解读完整解读
加载更多