隐私与数据泄露 · 论文

该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

• 论文定位：论文研究企业多租户 AI 智能体共享向量记忆库时，由于嵌入空间语义接近而导致的跨用户记忆非对抗性泄漏与主动利用风险。
• 要解决的问题：现有智能体记忆系统通常将用户数据混存在同一向量库中并通过软元数据过滤，作者指出这打破了多租户物理隔离，使得普通余弦相似度检索便可将他人的隐私记忆注入当前用户会话。
• 方法核心：形式化跨用户可采纳性失效，构建覆盖 4 级组织距离（T0–T3）与 4 种敏感业务场景的基准集，对比被动泄漏与基于常识角色构造的主动桥接攻击，并评估多层缓解机制。
• 核心实验结果：
  1. 在 MiniLM-L6-v2 池化检索下，同团队 T0 被动泄漏率为 70% [40%, 89%]，同部门 T1 和跨部门 T2 达 90% [60%, 98%]，而跨公司 T3 降至 10% [2%, 40%]（Table 3）。
  2. 主动构造记忆在 MiniLM 下实现 90–100% 的 top-k 命中率，平均检索分数比有机基线提高 +0.416 至 +0.511（Table 2）；在薪酬场景下仅需领域常识即达 90% 命中率，逼近逐字抄袭上限的 100%（Table 10）。
  3. 端到端检索生成导致 Gemini 2.5 Flash 回答污染度升至 5.00/5（满分 5 分，干净基准为 1.00），Claude Sonnet 4.5 达 4.67/5，且受污染回答被判定为同等或更有用（Table 5）。
  4. 后检索硬所有权门控（M3）将攻击命中率降至 0% 并将两款模型的回答污染度完全恢复至 1.00/5（Table 7、Table 8），平均检索延迟开销仅增加约 1.4 ms（Table 14）。
• 作者结论与启示：作者认为在共享向量库中仅凭语义相似度无法界定数据访问权限，当共享范围扩大至恶意成员时元数据过滤亦会失效；系统设计者必须在向量存储、嵌入及检索后实施分层防御，并联合评估检索架构与下游模型。

• 论文定位：论文提出了 StegoMemory，系统评测大语言模型智能体持久化记忆被用作跨会话隐写隐蔽通信信道的安全风险。
• 解决的核心问题：现有安全评估主要关注显式有害内容与提示词注入，忽视了攻击者利用良性交互在记忆中隐写编码并跨会话重构机密的信息流威胁。
• 方法核心要点：通过主副任务配对与两会话隔离协议，测试 7 种隐写机制在 13 个模型中的编码、记忆写入持久化及后续良性检索恢复全流程，并配合任务完成与安全合规监视。
• 主要实验发现：
  1. 在全基准 14,000 次试验中，20.1% 实现了合成机密的确切匹配恢复，且其中 71.4% 同时通过任务完成与独立安全监视（占全试验的 14.4%）。
  2. 13 个模型中有 12 个显示信息损耗集中在记忆写入持久化阶段而非检索阶段（写入阶段存活率为 29.8%，检索可恢复为 25.4%）。
  3. 模型低拒答率不等于高正确编码率，较弱模型在未拒答时大量产生格式错误编码（全模型平均格式错误率为 23.5%，拒答率为 20.6%）。
• 作者结论与防御启示：作者认为持久化记忆应被视作安全边界而非被动存储介质，单靠表面响应监视无法保证信息流安全，防御应优先部署在记忆写入接口处，实施出处追踪、规范化与跨会话信息流审计。

本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。

• 论文定位：该研究探讨了基于 harness 架构的智能体在持久记忆机制下所面临的新型跨会话安全与隐私风险。
• 研究问题：现有提示注入多局限于单次会话，而传统后门攻击往往依赖较强的访问权限；论文研究在攻击者无法直接访问智能体的前提下，嵌入外部源的恶意指令能否诱导智能体将其持久化并引发跨会话隐私泄露。
• 攻击方法：提出的 PMPA 采用两阶段流程，在注入阶段将包含过渡句、记忆写入指令和条件恶意规则的三组件载荷置于外部良性内容中，诱导智能体在问答时写入持久记忆；在触发阶段，用户执行正常工作区任务时激活存储的恶意规则，实现隐私窃取。
• 核心实验发现：
  1. 在全场景平均下，OpenClaw 的 ISR 与 C-ASR 分别达到 73.7% 和 55.5%，Claude Code 对应达到 66.9% 和 81.7%，且良性任务 Utility 均保持在 80% 以上（摘要及 Table 1）。
  2. 文本模态的攻击效果高于多模态输入，OpenClaw 上文本输入的 ISR 达到 99.4 ± 0.8%，而图像与 PDF 的 ISR 分别为 54.5 ± 2.2% 与 67.2 ± 11.6%（Table 2）。
  3. 日历场景在两个系统上均取得突出的跨会话攻击效果，Claude Code 与 OpenClaw 的 C-ASR 分别达到 96.7 ± 4.7% 和 87.8 ± 9.5%（Table 3）。
  4. 三明治提示词防御能有效降低图像与 PDF 的注入率（如 Claude Code 图像 ISR 从 65.6% 降至 2.2%），但在日历场景中一旦记忆被投毒，Claude Code 的 C-ASR 仍维持在 96.7% 不变（Table 6）。
• 作者结论与启示：作者认为持久记忆机制打破了单任务交互的安全边界，未经验证的外部数据可能使智能体形成长期的恶意潜伏行为；作者指出当前的提示级防御难以抵御已持久化的记忆投毒，智能体安全亟需从架构与记忆管理机制层面设计更有效的防护方案。

• 论文定位：本文揭示了众包监督微调（SFT）中低预算数据中毒放大提取他人专有微调指令的隐私风险。
• 核心问题：针对现实中微调服务商采用未知开源基座模型、仅开放生成文本黑盒接口的场景，探究不可信用户能否仅贡献少量训练样本即可诱导模型泄漏其他良性用户贡献的未知私有指令。
• 方法机制：构建包含 416 个三级领域主题锚点的体系，在数据收集期将提问放入响应端配对提取提示，利用未微调的 Gemma-3-4B 代理模型依据参考数据余弦相似度筛选 5 个代表性中毒锚点；在提取阶段利用代理模型对生成文本的负对数似然（NLL）动态筛选高收益锚点进行多轮自适应查询。
• 关键实验结果：仅需注入 50 条中毒样本（微调集约 1%），Qwen2.5-14B 在 OpenMathInstruct 上的近原样提取率即达 8.84%（为良性微调 2.38% 的 3.71 倍），Llama-3.1-8B 在 AceReason 上达 5.85%（为良性微调 1.90% 的 3.08 倍）（Table 13）；在默认 100 条中毒设定下，该攻击在多项指标上超过了控制 49% 后门数据的提供商后门基线（Table 1）。
• 防御隐蔽性：在包含 2% 中毒样本的数据过滤测试中，CVDD、DATE、SIK 及 LLM Judge 均难以有效拦截，检测 F1 最高仅为 0.378（CVDD 作用于回复端），其余多数配置召回为 0（Table 4）。
• 作者结论与启示：作者认为众包微调机制存在隐蔽的隐私脆弱性，攻击者即便无法获知模型权重与 logits，仅凭少量的良性外表交互就能促使模型记忆并外泄其他用户的专有指令，现有的基于异常检测和 LLM 判别的清洗手段无法提供充分防护。