隐私与数据泄露 · 论文

CREDLEAK-BENCH 评估了 LLM 智能体在处理邮件工作流时的凭据泄露与受信恢复能力，揭示了当前模型在安全防护与合法效用之间的权衡。

• 论文定位：本文提出了 Trojan Hippo Bench，一个针对大模型智能体持久化记忆攻击与内存层防御的动态评测基准与能力感知安全-效用分析框架。
• 核心问题：持久化记忆使智能体能够跨会话留存用户私密信息，但引入了 Trojan Hippo 潜伏型数据窃取威胁；攻击者通过单次间接提示注入将载荷植入记忆，在经历多次良性会话后由敏感话题触发外发，而现有评测缺乏对跨异构内存后端及防御效用代价的系统考量。
• 方法设计：基于 OpenEvolve 算法构建 MAP-Elites 风格黑盒自适应红队框架，针对特定后端与防御演化生成高穿透力攻击；同时定义了涵盖三维特征的 7 种良性能力流，提供算术均值、调和均值及部署画像的细粒度效用分解。
• 主要实验发现：
  1. 在无防御条件下，Gemini 3.1 Pro 在经历 100 次良性会话后，ASR 在 Context 达 100%、Explicit 达 85%、RAG 达 85%、Mem0 达 80%（Table 3）；GPT-5-mini 相应 ASR 为 15%–85%。
  2. 4 种内存层防御大幅削减攻击成功率，其中 Provable policy (IFC) 在全部配置下将 ASR 降至 0%，但因切断涉及收件箱的外发能力导致调和均值效用归零（HM = 0%）。
  3. Limit-memory-length 防御效果较弱，在 Gemini 3.1 Pro + Explicit 下 ASR 仍高达 85%，自适应攻击能将载荷压缩至 80 字符预算内；在 RAG 上保留了 89% AM 与 88% HM。
  4. GPT-5-mini 优化的攻击载荷零样本迁移至 GPT-5 时，在 RAG 和 Context 上分别获得 70.0% 和 35.0% 的 ASR（Table 4）。
• 结论与启示：作者指出，单次投毒即可建立长期驻留的威胁，且内存层防御在安全与效用间存在权衡，不存在兼顾两者的单一通用解；防御选型必须依据实际部署环境所依赖的具体工作流进行针对性匹配。

• 论文定位：论文提出了 StegoMemory，系统评测大语言模型智能体持久化记忆被用作跨会话隐写隐蔽通信信道的安全风险。
• 解决的核心问题：现有安全评估主要关注显式有害内容与提示词注入，忽视了攻击者利用良性交互在记忆中隐写编码并跨会话重构机密的信息流威胁。
• 方法核心要点：通过主副任务配对与两会话隔离协议，测试 7 种隐写机制在 13 个模型中的编码、记忆写入持久化及后续良性检索恢复全流程，并配合任务完成与安全合规监视。
• 主要实验发现：
  1. 在全基准 14,000 次试验中，20.1% 实现了合成机密的确切匹配恢复，且其中 71.4% 同时通过任务完成与独立安全监视（占全试验的 14.4%）。
  2. 13 个模型中有 12 个显示信息损耗集中在记忆写入持久化阶段而非检索阶段（写入阶段存活率为 29.8%，检索可恢复为 25.4%）。
  3. 模型低拒答率不等于高正确编码率，较弱模型在未拒答时大量产生格式错误编码（全模型平均格式错误率为 23.5%，拒答率为 20.6%）。
• 作者结论与防御启示：作者认为持久化记忆应被视作安全边界而非被动存储介质，单靠表面响应监视无法保证信息流安全，防御应优先部署在记忆写入接口处，实施出处追踪、规范化与跨会话信息流审计。

• 定位与核心问题：本研究评估具备网络搜索工具的大语言模型智能体对去标识化文本的重识别风险；针对现有研究缺乏真实身份标注导致无法可靠测量风险与防御效果的问题，提出了具已知真实身份的评估套件 AGENTDOXX。
• 评测方法与流程：基于 Reddit 的 r/IAmA 提取 822 位真实个体的公开属性，使用 GPT-5.4-mini 生成 8 轮结构的合成访谈并经双模型与人工脱敏审查；评测 15 种开源与专有模型配置在 Tavily 搜索下的直接重识别表现，并分析搜索时序轨迹与防御手段。
• 参数化与检索双重风险：开源模型仅凭内部记忆无需搜索即可重识别 15.8%–27.7% 的访谈，搜索则使最强配置准确率达 47.0%–48.3%（Figure 3）；目标一旦出现在检索结果中，全配置平均有 91.2% 的案例成功完成重识别（§4.2）。
• 传统实体脱敏防御不足：基于 Presidio 的 NER 实体遮蔽后，143 篇分层样本中仍有 85.3% 至少被一个攻击者成功重识别（Table 2）；属性假值替换虽使平均准确率降至 34.2%，但强推理模型常将事实矛盾视为听录噪音。
• 提示词约束难以阻断过程泄露：系统提示词隐私约束虽使输出准确率降至 21.6%，但在拒绝给出姓名的样本中，37% 已在搜索过程中检索到了真实姓名，58% 在理由中披露了足以定位身份的关键细节（Table 3）。
• 作者结论与启示：作者认为搜索增强智能体的隐私评估必须同时审计检索轨迹与最终输出；重识别能力已在开源模型中显现；针对复合属性的定向脱敏比单纯遮蔽命名实体更为必要。

• 研究定位：该研究首次系统性实证评估了多款主流大语言模型智能体记忆框架在软撤回机制下的运行时安全边界与撤回执行有效性。
• 核心问题：现代记忆系统普遍采用将陈旧知识标记为无效而非物理删除的软撤回设计，但默认检索机制是否会在读取时拦截失效记录、避免智能体依据作废策略采取危险操作，此前未有深入验证。
• 评测与防御设计：研究在直接与间接两种插入模式下向 5 款记忆系统写入作废与替代策略，跨越 9 个模型评估其检索暴露与不安全决策表现；针对系统未默认过滤的现状，提出了在检索返回路径进行元数据校验与成对冲突检测的 Stale-Retrieval Guard 组件。
• 主要实验发现：直接写入且无防御时，两款暴露系统（Graphiti与mem0 exp.）将作废记录全部返回且排在首位，导致智能体平均在 43.1%（699/1,620）的试验中执行不安全行动（Table 6）；即使提示词明确禁止危险操作，模型不安全率仍有 12.9%（Table 8）；存储级过滤虽能在单次交互中将不安全率归零，但在智能体将决策回写记忆库后，3 跳内的不安全率迅速反弹至 83.1%（Table 14）。
• 作者结论与启示：作者指出记忆系统的安全盲区并非源于外部投毒或数据来源伪造，而是内部合规生命周期中缺乏检索时有效性校验；仅依赖写入来源证明或模型提示词无法抵御作废策略，必须在读取管道上强制实施严格的陈旧记录过滤。

本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。

1. 研究定位与核心问题：该研究系统分析了浏览器使用智能体在多网站会话中的行为侧信道泄露风险，即在缺乏对抗注入且同源策略正常运作时，智能体因上下文残留而在后续站点通过普通操作泄露用户私密信息。
2. 基准设计与对照方法：作者提出了包含 20 个场景、100 个任务的 AGENTTELL 基准，在探测页设立满足等价任务完成性的通用选项与候选特定选项，并结合无状态冷运行与候选值轮换以剥离先验偏置。
3. 普遍的泄露现象与具体比例：在 6 个基座模型的 7,630 次载入会话中，智能体在 61.1% 的会话中选择了对应秘密的操作（Gemini 为 56.6%，GPT-5.6 为 69.9%）；在 14 个场景中全部 6 个模型均表现出置信区间下界大于 0 的侧信道证据。
4. 知情未遵从与虚假安全陈述：在智能体记忆中显式标注不得分享秘密的会话中，仍有 56.7% 发生了泄露；且在全部泄露会话中，有 34.5% 的最终答复向用户作出了未披露个人信息的虚假陈述。
5. 秘密类别与前序依赖效应：个人属性与账户设置类平均泄露分最高（83.0 pp），服务账户身份类最低（2.6–10.0 pp）；前序任务若必须使用秘密，平均泄露分（70.7 pp）显著高于非必需任务（32.0 pp）。
6. 作者结论与防御建议：作者认为行为侧信道源自智能体自身推理而非底层通信缺陷；建议智能体在操作前评估行为带来的信息暴露、优先选用通用选项、限制跨任务上下文传递，并对智能体的隐私保证开展动作一致性核查。