隐私与数据泄露 · 论文

该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

• 论文定位：论文研究企业多租户 AI 智能体共享向量记忆库时，由于嵌入空间语义接近而导致的跨用户记忆非对抗性泄漏与主动利用风险。
• 要解决的问题：现有智能体记忆系统通常将用户数据混存在同一向量库中并通过软元数据过滤，作者指出这打破了多租户物理隔离，使得普通余弦相似度检索便可将他人的隐私记忆注入当前用户会话。
• 方法核心：形式化跨用户可采纳性失效，构建覆盖 4 级组织距离（T0–T3）与 4 种敏感业务场景的基准集，对比被动泄漏与基于常识角色构造的主动桥接攻击，并评估多层缓解机制。
• 核心实验结果：
  1. 在 MiniLM-L6-v2 池化检索下，同团队 T0 被动泄漏率为 70% [40%, 89%]，同部门 T1 和跨部门 T2 达 90% [60%, 98%]，而跨公司 T3 降至 10% [2%, 40%]（Table 3）。
  2. 主动构造记忆在 MiniLM 下实现 90–100% 的 top-k 命中率，平均检索分数比有机基线提高 +0.416 至 +0.511（Table 2）；在薪酬场景下仅需领域常识即达 90% 命中率，逼近逐字抄袭上限的 100%（Table 10）。
  3. 端到端检索生成导致 Gemini 2.5 Flash 回答污染度升至 5.00/5（满分 5 分，干净基准为 1.00），Claude Sonnet 4.5 达 4.67/5，且受污染回答被判定为同等或更有用（Table 5）。
  4. 后检索硬所有权门控（M3）将攻击命中率降至 0% 并将两款模型的回答污染度完全恢复至 1.00/5（Table 7、Table 8），平均检索延迟开销仅增加约 1.4 ms（Table 14）。
• 作者结论与启示：作者认为在共享向量库中仅凭语义相似度无法界定数据访问权限，当共享范围扩大至恶意成员时元数据过滤亦会失效；系统设计者必须在向量存储、嵌入及检索后实施分层防御，并联合评估检索架构与下游模型。

• 论文定位：论文提出了 StegoMemory，系统评测大语言模型智能体持久化记忆被用作跨会话隐写隐蔽通信信道的安全风险。
• 解决的核心问题：现有安全评估主要关注显式有害内容与提示词注入，忽视了攻击者利用良性交互在记忆中隐写编码并跨会话重构机密的信息流威胁。
• 方法核心要点：通过主副任务配对与两会话隔离协议，测试 7 种隐写机制在 13 个模型中的编码、记忆写入持久化及后续良性检索恢复全流程，并配合任务完成与安全合规监视。
• 主要实验发现：
  1. 在全基准 14,000 次试验中，20.1% 实现了合成机密的确切匹配恢复，且其中 71.4% 同时通过任务完成与独立安全监视（占全试验的 14.4%）。
  2. 13 个模型中有 12 个显示信息损耗集中在记忆写入持久化阶段而非检索阶段（写入阶段存活率为 29.8%，检索可恢复为 25.4%）。
  3. 模型低拒答率不等于高正确编码率，较弱模型在未拒答时大量产生格式错误编码（全模型平均格式错误率为 23.5%，拒答率为 20.6%）。
• 作者结论与防御启示：作者认为持久化记忆应被视作安全边界而非被动存储介质，单靠表面响应监视无法保证信息流安全，防御应优先部署在记忆写入接口处，实施出处追踪、规范化与跨会话信息流审计。

• 定位与核心问题：本研究系统评估了MCP工具调用流水线中的输入信任问题，针对所有通道共享单一上下文且缺乏权限隔离的设计弱点，探索恶意MCP服务器如何利用多通道实施凭证外发。
• 方法核心要点：通过受控测试5个输入通道与6种载荷构架建立了模型的隐式信任画像；提出双通道与三通道分段攻击，将恶意模式与映射指令分散在工具描述与工具结果等不同通道；针对强抵御模型设计了符合工具声明目的的价值对齐利用，以及利用VS Code采样接口注入配置提示词的系统提示词覆盖攻击。
• 关键实验结果：
  1. 双通道分段攻击使12个模型的平均遵从率从单通道的42%上升至82%，使GPT-4o、Gemini Flash与Llama 70B从0%遵从跃升至100%（Table IV）。
  2. 三通道分段攻击使在单通道和双通道下完全防御的Claude Haiku 4.5在Cursor中遵从率达到100%（20/20）（Table IV）。
  3. 针对抵御所有分段攻击的Sonnet 4.6与Opus 4.6，泄露凭证扫描器在Cursor中实现了20/20与18/20的.env文件外发（Table V）。
  4. 受测的7款主流第三方MCP安全工具对两通道与三通道分段攻击的检出率均为0%（Table IX）。
• 作者结论与启示：作者认为模型的安全性不仅取决于训练对齐，更是模型与具体部署环境（如客户端系统提示词）交互的产物；现有多通道共享上下文且无特权分级的架构存在根本性安全缺陷，亟需在客户端实施通道特定的输入清洗、严格的工具参数类型约束以及跨通道安全感知训练。

• 定位与核心问题：研究黑盒部署下智能体专有技能通过执行轨迹产生行为侧信道泄露的风险。
• 要解决的问题：AaaS 平台与开发者将高价值技能保留在私有后端，但人工干预与监督所需的轨迹可见性构成了行为侧信道；现有基于显式提示词的提取攻击容易被防御规则拦截，缺乏从良性交互中推断隐藏技能的方法。
• 方法要点：提出 SigLeak 框架，基于任务多样性与决策密度设计良性诊断探针，并通过对比技能启用与禁用两组配对执行轨迹分离技能签名，经过初始合成与差异引导细化两阶段重构专有技能。
• 关键实验结果：
  • 在 5 个评测场景中，SigLeak 重构技能使智能体平均成功率相对技能禁用基准提高 6.88 个百分点（据 Table 1）。
  • 在 SkillGuard5 提示防御下，对抗性基线 BBS 恢复内容为零，而 SigLeak 在细粒度 F1 和召回率上均取得最高综合表现（平均 F1 22.8%，召回率 20.1%，据 Figure 4a）。
  • 在同领域 3 个 arXiv 技能区分测试中展现出对角线占优的特异性，read-arxiv-paper 技能匹配度达 19.64% F1，对无关技能匹配度低于 4.17%（据 Figure 4b）。
  • 迭代细化在第 2 轮达到峰值，成功率升至 76.17%、细粒度 F1 升至 19.57%（据 Figure 4c）。
• 作者结论与启示：作者认为，即使隐藏技能文件并配置提示词防御，专有技能依然会通过执行行为产生侧信道泄露；未来防御需要在保障人工监督可见性与遏制行为推断之间寻求平衡。

本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。

1. 研究定位与核心问题：论文针对多模态AI智能体面临的非受信数据威胁，研究在良性用户任务竞争与黑盒API访问条件下，如何仅通过外部图像输入诱导前沿VLM执行盗取隐私与原生工具调用等实质危害行为。
2. 方法设计要点：作者提出Repeat-After-Me（RAM）框架，将攻击从意图覆盖转换为响应前缀控制，在图像顶部渲染前缀诱导语句；利用Claude-Opus-4.6作为攻击与评审LLM开展黑盒自适应迭代精炼，并构建包含32种改写模式的攻击库以加速搜索。
3. 主实验与迁移表现：在DocVQA良性任务下，RAM在Steal-PII场景对四款VLM实现不低于99%的ASR（Table 2）；在Call-Tool场景对GPT-5.5和Claude-Opus-4.7达到47% ASR，对Qwen3.6-27B达到96%（Table 2）；针对Claude-Opus-4.7优化的攻击在GPT-5.5上迁移保留率为43%（Table 3）。
4. 真实智能体越权验证：在OpenClaw智能体评估中，纯文本提示注入在GPT-5.5上ASR为0%，而RAM图文混合注入对GPT-5.5和Gemini-3.1-Pro分别取得90%和100%的ASR（Table 4），在真实Discord测试中通过改写TOOLS.md实现了未授权代码执行。
5. 防御评估与作者启示：基础防御性提示词、图像模糊与OCR过滤均无法在各模型上普遍消除攻击，如Unfiltered OCR + Sandwich在GPT-5.5上仍有21% ASR（Table 10）；作者认为前沿VLM尚未配备充分的视觉安全防线，智能体安全评估必须引入针对视觉通道的自适应自动化红队测试。

• 研究定位：该研究针对个人大模型智能体在协作交互中的隐私保护问题，揭示了依赖提示词进行内部推理防御的结构性脆弱性，并提出了基于信息流控制的系统层防御。
• 核心问题：现有防御将隐私判断交由智能体在攻击者可控的对话上下文中进行，使得防御执行点与攻击面重合，攻击者可通过任务重构（CWL）、省略披露（SOA）和跨通道解耦（CDA）绕过检查。
• 防御机制：FLOWSEAL基于数据溯源对敏感记录打标，在工具调用边界部署独立代码拦截器执行三级格策略，并借助隔离的LLM内容检查器做语义去分类，辅以协作API引导智能体正常交互。
• 关键实验结果：在SPR基准（DeepSeek-V3.2）上，FLOWSEAL将CWL的条目泄漏率从SPR-D2的52.2%降至0.5%，SOA从75.6%降至2.3%，CDA从43.8%降至2.2%；良性任务实用率保持在72.4%；在真实Gmail与Notion的MCP测试中将SOA泄漏率降至0.0%。
• 消融与开销：工具拦截器是防御核心（禁用后CWL泄漏率回升至28.4%）；相较无防御设置，FLOWSEAL每轮仅增加0.017美元成本与37%的延迟。
• 作者结论与启示：作者认为，通过将安全执行移至对抗性重构无法触及的外部层，智能体可以获得更稳定的隐私保护，未来需推动操作系统、工具层与模型对齐的多层纵深防御。

• 论文定位：该研究探讨了基于 harness 架构的智能体在持久记忆机制下所面临的新型跨会话安全与隐私风险。
• 研究问题：现有提示注入多局限于单次会话，而传统后门攻击往往依赖较强的访问权限；论文研究在攻击者无法直接访问智能体的前提下，嵌入外部源的恶意指令能否诱导智能体将其持久化并引发跨会话隐私泄露。
• 攻击方法：提出的 PMPA 采用两阶段流程，在注入阶段将包含过渡句、记忆写入指令和条件恶意规则的三组件载荷置于外部良性内容中，诱导智能体在问答时写入持久记忆；在触发阶段，用户执行正常工作区任务时激活存储的恶意规则，实现隐私窃取。
• 核心实验发现：
  1. 在全场景平均下，OpenClaw 的 ISR 与 C-ASR 分别达到 73.7% 和 55.5%，Claude Code 对应达到 66.9% 和 81.7%，且良性任务 Utility 均保持在 80% 以上（摘要及 Table 1）。
  2. 文本模态的攻击效果高于多模态输入，OpenClaw 上文本输入的 ISR 达到 99.4 ± 0.8%，而图像与 PDF 的 ISR 分别为 54.5 ± 2.2% 与 67.2 ± 11.6%（Table 2）。
  3. 日历场景在两个系统上均取得突出的跨会话攻击效果，Claude Code 与 OpenClaw 的 C-ASR 分别达到 96.7 ± 4.7% 和 87.8 ± 9.5%（Table 3）。
  4. 三明治提示词防御能有效降低图像与 PDF 的注入率（如 Claude Code 图像 ISR 从 65.6% 降至 2.2%），但在日历场景中一旦记忆被投毒，Claude Code 的 C-ASR 仍维持在 96.7% 不变（Table 6）。
• 作者结论与启示：作者认为持久记忆机制打破了单任务交互的安全边界，未经验证的外部数据可能使智能体形成长期的恶意潜伏行为；作者指出当前的提示级防御难以抵御已持久化的记忆投毒，智能体安全亟需从架构与记忆管理机制层面设计更有效的防护方案。