隐私与数据泄露 · 论文

• 论文定位：这是针对LLM应用中网关与云平台记录的模型路由决策元数据，在真实用户流量上开展敏感话题侧信道泄露测量与缓解防御评估的安全研究。
• 核心问题：当路由器根据输入内容在强弱模型间分流时，即便系统出于合规完全关闭提示词内容记录，保留的模型选择、Token数和调用者标识仍会构成信息通道，导致内部人员或审计者推断敏感话题。
• 研究方法：论文形式化了长度匹配下的路由决策泄露与基于长度模型的增益，构建了针对单请求的差值度量以及针对单用户的账单攻击A1、逐条日志攻击A2和奇数位日志攻击A2-odd；在170万条真实请求及RouterBench上预注册评估了RouteLLM、notdiamond与领域路由器，并设计了按类别长度匹配公平性、预算带和精确率限制等后处理防御。
• 核心实验结果：
  1. 在50%运行点匹配长度下，RouteLLM在未见提示词上对骚扰和自残调用强模型的比例比对照组低19.3和18.6个百分点（Table IV）；而在涉性请求上高10.2个百分点，notdiamond在所有类别上均偏向弱模型。
  2. 在WildChat医疗请求中，仅通过前20次调用的强模型总账单，攻击者识别频繁医疗用户的AUC达到0.707（Table VII）；在后验精确率防御下，利用保留奇数位决策的日志攻击A2-odd在T=20时的AUC可达0.730（Table IX）。
  3. 在RouterBench上，路由器对敏感学科的分流差距达到13至42个百分点，远超实际精度增益Oracle的1至11个百分点（Table VI）。
  4. 按类别长度匹配公平性在理想标签下可完全消除真实流量的单请求差距，在RouterBench上精度损失不超过0.2个百分点且降低2%至4%成本（Table V）；但池化公平性因类别偏移幅度或符号不一致而失效。
• 作者结论与启示：作者认为从业者应将模型选择字段视为内容衍生数据，关闭内容日志并不能自动保护话题隐私；建议使用基于校验标签的按类别长度匹配公平性防御，并停止将无法抵御边界或时序攻击的会话粘性和预算带视为可靠的隐私控制措施。

该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

本文针对多向量视觉文档检索器的索引安全性展开研究，证明了仅凭第三方向量库中存储的多向量索引，在零侧信息下即可逆向恢复出包含清晰文字和排版的原始文档图像。

• 论文定位：论文研究企业多租户 AI 智能体共享向量记忆库时，由于嵌入空间语义接近而导致的跨用户记忆非对抗性泄漏与主动利用风险。
• 要解决的问题：现有智能体记忆系统通常将用户数据混存在同一向量库中并通过软元数据过滤，作者指出这打破了多租户物理隔离，使得普通余弦相似度检索便可将他人的隐私记忆注入当前用户会话。
• 方法核心：形式化跨用户可采纳性失效，构建覆盖 4 级组织距离（T0–T3）与 4 种敏感业务场景的基准集，对比被动泄漏与基于常识角色构造的主动桥接攻击，并评估多层缓解机制。
• 核心实验结果：
  1. 在 MiniLM-L6-v2 池化检索下，同团队 T0 被动泄漏率为 70% [40%, 89%]，同部门 T1 和跨部门 T2 达 90% [60%, 98%]，而跨公司 T3 降至 10% [2%, 40%]（Table 3）。
  2. 主动构造记忆在 MiniLM 下实现 90–100% 的 top-k 命中率，平均检索分数比有机基线提高 +0.416 至 +0.511（Table 2）；在薪酬场景下仅需领域常识即达 90% 命中率，逼近逐字抄袭上限的 100%（Table 10）。
  3. 端到端检索生成导致 Gemini 2.5 Flash 回答污染度升至 5.00/5（满分 5 分，干净基准为 1.00），Claude Sonnet 4.5 达 4.67/5，且受污染回答被判定为同等或更有用（Table 5）。
  4. 后检索硬所有权门控（M3）将攻击命中率降至 0% 并将两款模型的回答污染度完全恢复至 1.00/5（Table 7、Table 8），平均检索延迟开销仅增加约 1.4 ms（Table 14）。
• 作者结论与启示：作者认为在共享向量库中仅凭语义相似度无法界定数据访问权限，当共享范围扩大至恶意成员时元数据过滤亦会失效；系统设计者必须在向量存储、嵌入及检索后实施分层防御，并联合评估检索架构与下游模型。

• 核心定位：TRANSCOPE 是一种无需模型内部权重、不依赖置信度分数和执行时序差异的硬件辅助微架构成员推断与分布外检测技术。
• 要解决的问题：现代大语言模型和视觉 Transformer 普遍采用静态无分支前向传播，且行业正转向本地闭源二进制部署并屏蔽输出置信度，导致传统软件 MIA 和既有硬件侧信道攻击失效。
• 方法核心机制：论文发现模型训练导致高频词元聚集而生疏词元分散，这种几何跨度直接影响嵌入表的内存页面局部性，进而在底层触发可观测的 TLB 未命中、页表遍历和能耗差异。
• 关键实验结果：在 Intel CPU 上，TRANSCOPE 在 BERT-base 上达到 99% 准确率和 0.99 AUC（Table III）；在真实纽约时报文章测试中，训练集截断前文章相比后续文章减少 56% 非核心读取（Figure 12）；单次推理能耗呈现 2.6%–4.5% 的非成员额外开销（Figure 3）。
• 结论与启示：作者指出，模型训练足迹已深刻烙印在处理器的微架构执行状态中，单纯依赖软件层面的置信度离散化和恒定时间填充已不足以保障隐私，硬件设计必须重新审视 AI 工作负载下的内存层级与侧信道泄露。

• 论文定位：论文提出了 StegoMemory，系统评测大语言模型智能体持久化记忆被用作跨会话隐写隐蔽通信信道的安全风险。
• 解决的核心问题：现有安全评估主要关注显式有害内容与提示词注入，忽视了攻击者利用良性交互在记忆中隐写编码并跨会话重构机密的信息流威胁。
• 方法核心要点：通过主副任务配对与两会话隔离协议，测试 7 种隐写机制在 13 个模型中的编码、记忆写入持久化及后续良性检索恢复全流程，并配合任务完成与安全合规监视。
• 主要实验发现：
  1. 在全基准 14,000 次试验中，20.1% 实现了合成机密的确切匹配恢复，且其中 71.4% 同时通过任务完成与独立安全监视（占全试验的 14.4%）。
  2. 13 个模型中有 12 个显示信息损耗集中在记忆写入持久化阶段而非检索阶段（写入阶段存活率为 29.8%，检索可恢复为 25.4%）。
  3. 模型低拒答率不等于高正确编码率，较弱模型在未拒答时大量产生格式错误编码（全模型平均格式错误率为 23.5%，拒答率为 20.6%）。
• 作者结论与防御启示：作者认为持久化记忆应被视作安全边界而非被动存储介质，单靠表面响应监视无法保证信息流安全，防御应优先部署在记忆写入接口处，实施出处追踪、规范化与跨会话信息流审计。

• 定位与核心问题：本研究系统评估了MCP工具调用流水线中的输入信任问题，针对所有通道共享单一上下文且缺乏权限隔离的设计弱点，探索恶意MCP服务器如何利用多通道实施凭证外发。
• 方法核心要点：通过受控测试5个输入通道与6种载荷构架建立了模型的隐式信任画像；提出双通道与三通道分段攻击，将恶意模式与映射指令分散在工具描述与工具结果等不同通道；针对强抵御模型设计了符合工具声明目的的价值对齐利用，以及利用VS Code采样接口注入配置提示词的系统提示词覆盖攻击。
• 关键实验结果：
  1. 双通道分段攻击使12个模型的平均遵从率从单通道的42%上升至82%，使GPT-4o、Gemini Flash与Llama 70B从0%遵从跃升至100%（Table IV）。
  2. 三通道分段攻击使在单通道和双通道下完全防御的Claude Haiku 4.5在Cursor中遵从率达到100%（20/20）（Table IV）。
  3. 针对抵御所有分段攻击的Sonnet 4.6与Opus 4.6，泄露凭证扫描器在Cursor中实现了20/20与18/20的.env文件外发（Table V）。
  4. 受测的7款主流第三方MCP安全工具对两通道与三通道分段攻击的检出率均为0%（Table IX）。
• 作者结论与启示：作者认为模型的安全性不仅取决于训练对齐，更是模型与具体部署环境（如客户端系统提示词）交互的产物；现有多通道共享上下文且无特权分级的架构存在根本性安全缺陷，亟需在客户端实施通道特定的输入清洗、严格的工具参数类型约束以及跨通道安全感知训练。

• 一句话定位：研究大语言模型在后训练导致隐私可访问性下降后，能否在无外部真实私有监督下通过微调恢复先前习得的私有实体-属性关联。
• 核心问题与动机：现有恢复攻击通常假设攻击者持有训练集同分布的真实私有参考数据，但在仅获发布模型的实际场景中该假设难以成立；作者探究模型能否仅凭自身生成的数据唤醒隐性隐私记忆。
• 方法核心：提出数据无关的 ReGap 攻击框架，通过冻结目标模型生成候选补全，依据答案 token 负对数似然挑选 top-K 高支持度样本，利用轻量化 LoRA 微调促使模型更新并降低目标损失。
• 主要实验发现：
  • 在 GPT-2、OPT 和 Qwen3 的 6 个模型设置中，单轮 ReGap 将目标关联恢复率提升 6 到 21 个百分点（Figure 2），在 GPT-2 Medium 上从 42.0% 升至 63.0%。
  • 未见身份对照中，使用完全不相交的人名仍能在 GPT-2 Medium 上取得 15.3 个百分点的恢复增益，且生成池和选定监督中确切目标答案命中数为 0（Table 1、Table 22）。
  • 先验暴露对照中，同一适配器转移至未暴露于目标的同构模型上恢复率维持 13.0% 无增益，表明恢复增益强烈依赖于历史训练暴露而非微调自身伪造记忆（Table 3）。
  • 边界测试表明，在消除语义规律的不透明随机绑定和显式 NPO 遗忘模型上，ReGap 几乎无法产生额外恢复增益（Table 17、Table 19）。
• 作者结论与启示：作者指出直接查询不可得并不意味着记忆已真正被抹除，常规的下游微调和自生成数据可能重新唤醒潜在的隐私风险，呼吁在模型发布后全生命周期中持续评估隐私安全。

• 定位与核心问题：研究黑盒部署下智能体专有技能通过执行轨迹产生行为侧信道泄露的风险。
• 要解决的问题：AaaS 平台与开发者将高价值技能保留在私有后端，但人工干预与监督所需的轨迹可见性构成了行为侧信道；现有基于显式提示词的提取攻击容易被防御规则拦截，缺乏从良性交互中推断隐藏技能的方法。
• 方法要点：提出 SigLeak 框架，基于任务多样性与决策密度设计良性诊断探针，并通过对比技能启用与禁用两组配对执行轨迹分离技能签名，经过初始合成与差异引导细化两阶段重构专有技能。
• 关键实验结果：
  • 在 5 个评测场景中，SigLeak 重构技能使智能体平均成功率相对技能禁用基准提高 6.88 个百分点（据 Table 1）。
  • 在 SkillGuard5 提示防御下，对抗性基线 BBS 恢复内容为零，而 SigLeak 在细粒度 F1 和召回率上均取得最高综合表现（平均 F1 22.8%，召回率 20.1%，据 Figure 4a）。
  • 在同领域 3 个 arXiv 技能区分测试中展现出对角线占优的特异性，read-arxiv-paper 技能匹配度达 19.64% F1，对无关技能匹配度低于 4.17%（据 Figure 4b）。
  • 迭代细化在第 2 轮达到峰值，成功率升至 76.17%、细粒度 F1 升至 19.57%（据 Figure 4c）。
• 作者结论与启示：作者认为，即使隐藏技能文件并配置提示词防御，专有技能依然会通过执行行为产生侧信道泄露；未来防御需要在保障人工监督可见性与遏制行为推断之间寻求平衡。

这是一项关于双节点大语言模型拆分训练系统的系统安全案例研究，揭示了评估工具遗漏反向信道所导致的静默隐私失效。

• 论文定位：本文揭示了主流商业大模型 API（Anthropic、OpenAI、Google）用于维护无状态架构的客户端加密思维链数据块存在跨会话、跨用户与跨模型的系统性互换漏洞。
• 要解决的问题：厂商为了保护商业知识产权并防范有害信息外泄而隐藏思维链，但在生态内部广泛启用了宽松的加密块兼容性，使得强模型的内省对齐防线因同厂商弱模型的安全不对称性而面临被击穿的风险。
• 方法核心机制：提出了一种基于弱模型充当模糊解密器的解密越狱方法；攻击者将强模型生成的加密签名注入同厂商低成本且防御宽松的弱模型（如 Claude Haiku 4.5、GPT-5.6 Luna、Gemini Robotics 1.6）中，利用输出预填或针对性提示词诱导其将加密内容逐字转写为明文，必要时结合强模型进行去噪调和。
• 核心实验发现：
  1. 在 120 道 Codeforces 题目上，解密生成的 token 数量与 API 报告的原始计费思维 token 数量呈 1:1 紧密追踪（Figure 1）。
  2. 从公开抓取的 6,708 条智能体交互日志（315,320 个加密块）中解密出 941 项独立敏感伪影，从真实用户会话中恢复出 62 个 API 密钥、33 个密码等凭证，其中 64 项仅存在于加密思维而在可见聊天记录中已被用户清洗（Table 4）。
  3. 成功演示了将 HarmBench 恶意请求的隐藏思考还原为未审查输出，以及将恶意备份指令隐藏于加密块向 GPT-5.6 Sol 和 Opus 4.7 实施隐蔽提示词注入（Section 3.2、Section 4.2）。
  4. 预填 1% 的 Opus 4.8 思维可使 Kimi-K3 在 HLE STEM 题目上的最佳可见回答 n-gram 重叠度从 0.160 上升至 0.305（Table 3）。
• 作者结论与启示：当前将加密数据对用户保密却对第三方缺乏防重放保护的设计无法保障隐私与安全；作者建议采用服务端存储的有状态架构，或在 AEAD 关联数据中强制绑定用户与会话哈希链，并呼吁行业重视多模型生态中弱模型的对齐短板。

本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。

1. 研究定位与核心问题：论文针对多模态AI智能体面临的非受信数据威胁，研究在良性用户任务竞争与黑盒API访问条件下，如何仅通过外部图像输入诱导前沿VLM执行盗取隐私与原生工具调用等实质危害行为。
2. 方法设计要点：作者提出Repeat-After-Me（RAM）框架，将攻击从意图覆盖转换为响应前缀控制，在图像顶部渲染前缀诱导语句；利用Claude-Opus-4.6作为攻击与评审LLM开展黑盒自适应迭代精炼，并构建包含32种改写模式的攻击库以加速搜索。
3. 主实验与迁移表现：在DocVQA良性任务下，RAM在Steal-PII场景对四款VLM实现不低于99%的ASR（Table 2）；在Call-Tool场景对GPT-5.5和Claude-Opus-4.7达到47% ASR，对Qwen3.6-27B达到96%（Table 2）；针对Claude-Opus-4.7优化的攻击在GPT-5.5上迁移保留率为43%（Table 3）。
4. 真实智能体越权验证：在OpenClaw智能体评估中，纯文本提示注入在GPT-5.5上ASR为0%，而RAM图文混合注入对GPT-5.5和Gemini-3.1-Pro分别取得90%和100%的ASR（Table 4），在真实Discord测试中通过改写TOOLS.md实现了未授权代码执行。
5. 防御评估与作者启示：基础防御性提示词、图像模糊与OCR过滤均无法在各模型上普遍消除攻击，如Unfiltered OCR + Sandwich在GPT-5.5上仍有21% ASR（Table 10）；作者认为前沿VLM尚未配备充分的视觉安全防线，智能体安全评估必须引入针对视觉通道的自适应自动化红队测试。

• 研究定位：该研究针对个人大模型智能体在协作交互中的隐私保护问题，揭示了依赖提示词进行内部推理防御的结构性脆弱性，并提出了基于信息流控制的系统层防御。
• 核心问题：现有防御将隐私判断交由智能体在攻击者可控的对话上下文中进行，使得防御执行点与攻击面重合，攻击者可通过任务重构（CWL）、省略披露（SOA）和跨通道解耦（CDA）绕过检查。
• 防御机制：FLOWSEAL基于数据溯源对敏感记录打标，在工具调用边界部署独立代码拦截器执行三级格策略，并借助隔离的LLM内容检查器做语义去分类，辅以协作API引导智能体正常交互。
• 关键实验结果：在SPR基准（DeepSeek-V3.2）上，FLOWSEAL将CWL的条目泄漏率从SPR-D2的52.2%降至0.5%，SOA从75.6%降至2.3%，CDA从43.8%降至2.2%；良性任务实用率保持在72.4%；在真实Gmail与Notion的MCP测试中将SOA泄漏率降至0.0%。
• 消融与开销：工具拦截器是防御核心（禁用后CWL泄漏率回升至28.4%）；相较无防御设置，FLOWSEAL每轮仅增加0.017美元成本与37%的延迟。
• 作者结论与启示：作者认为，通过将安全执行移至对抗性重构无法触及的外部层，智能体可以获得更稳定的隐私保护，未来需推动操作系统、工具层与模型对齐的多层纵深防御。

• 论文定位：该研究探讨了基于 harness 架构的智能体在持久记忆机制下所面临的新型跨会话安全与隐私风险。
• 研究问题：现有提示注入多局限于单次会话，而传统后门攻击往往依赖较强的访问权限；论文研究在攻击者无法直接访问智能体的前提下，嵌入外部源的恶意指令能否诱导智能体将其持久化并引发跨会话隐私泄露。
• 攻击方法：提出的 PMPA 采用两阶段流程，在注入阶段将包含过渡句、记忆写入指令和条件恶意规则的三组件载荷置于外部良性内容中，诱导智能体在问答时写入持久记忆；在触发阶段，用户执行正常工作区任务时激活存储的恶意规则，实现隐私窃取。
• 核心实验发现：
  1. 在全场景平均下，OpenClaw 的 ISR 与 C-ASR 分别达到 73.7% 和 55.5%，Claude Code 对应达到 66.9% 和 81.7%，且良性任务 Utility 均保持在 80% 以上（摘要及 Table 1）。
  2. 文本模态的攻击效果高于多模态输入，OpenClaw 上文本输入的 ISR 达到 99.4 ± 0.8%，而图像与 PDF 的 ISR 分别为 54.5 ± 2.2% 与 67.2 ± 11.6%（Table 2）。
  3. 日历场景在两个系统上均取得突出的跨会话攻击效果，Claude Code 与 OpenClaw 的 C-ASR 分别达到 96.7 ± 4.7% 和 87.8 ± 9.5%（Table 3）。
  4. 三明治提示词防御能有效降低图像与 PDF 的注入率（如 Claude Code 图像 ISR 从 65.6% 降至 2.2%），但在日历场景中一旦记忆被投毒，Claude Code 的 C-ASR 仍维持在 96.7% 不变（Table 6）。
• 作者结论与启示：作者认为持久记忆机制打破了单任务交互的安全边界，未经验证的外部数据可能使智能体形成长期的恶意潜伏行为；作者指出当前的提示级防御难以抵御已持久化的记忆投毒，智能体安全亟需从架构与记忆管理机制层面设计更有效的防护方案。

• 定位与核心问题：针对黑盒商业大语言模型仅暴露生成文本且隐藏内部概率分布的限制，解决缺乏精确训练上下文时提取模型记忆的高熵 API key 的安全风险。
• 两阶段方法框架：第一阶段利用注释编辑、死代码注入等 5 种语义保留代码变换扰动输入前缀，结合格式与长度双层过滤，通过硬标签响应蒸馏将黑盒模型的有效凭据输出迁移至本地白盒代理模型；第二阶段舍弃耗时的奖励模型，在白盒代理上通过 Sample-k%p 截断采样扩展候选空间，并基于最小窗口熵和 4-gram 重复子串抑制离线过滤幻觉凭据。
• 凭据恢复效果：在 5 个 API 平台的受控评测中，针对 DeepSeek-Coder-7B、Qwen2.5-Coder-7B 和 LLaMA-3-8B 三大受害模型，平均恢复的真实凭据数量相较直接查询基线提升 11.8%–25.0%，分别达到 35.0、35.0 和 49.4 个（Table 1）。
• 候选质量与多样性：在弱扰动条件下真实凭据比例（RR）相比白盒基线 DESEC 提升最高达 2.6 倍（Table 2），prompt 内候选凭据的余弦相似度和 3-gram Jaccard 相似度显著降低（Table 3）。
• 推断效率提升：将过滤与排序转移至本地离线后，单次提取延迟降至 210–454 秒，较 token 级引导解码的 DESEC 提速 20.7 倍至 34.8 倍（Figure 3）。
• 真实商业系统验证：在未接触模型权重的情况下，成功从 Qwen3-27B、GPT-Codex 5.3 和 Claude Haiku 4.5 中提取出多条凭据，并在 GitHub 上检索到公开匹配记录（Figure 4）。
• 作者结论与启示：作者指出，实验表明 output-only 访问权限足以暴露黑盒模型记忆的机密凭据，构成现实的安全威胁，呼吁业界在预训练前执行更严格的数据清洗以避免敏感信息记忆。

• 论文定位：本文揭示了众包监督微调（SFT）中低预算数据中毒放大提取他人专有微调指令的隐私风险。
• 核心问题：针对现实中微调服务商采用未知开源基座模型、仅开放生成文本黑盒接口的场景，探究不可信用户能否仅贡献少量训练样本即可诱导模型泄漏其他良性用户贡献的未知私有指令。
• 方法机制：构建包含 416 个三级领域主题锚点的体系，在数据收集期将提问放入响应端配对提取提示，利用未微调的 Gemma-3-4B 代理模型依据参考数据余弦相似度筛选 5 个代表性中毒锚点；在提取阶段利用代理模型对生成文本的负对数似然（NLL）动态筛选高收益锚点进行多轮自适应查询。
• 关键实验结果：仅需注入 50 条中毒样本（微调集约 1%），Qwen2.5-14B 在 OpenMathInstruct 上的近原样提取率即达 8.84%（为良性微调 2.38% 的 3.71 倍），Llama-3.1-8B 在 AceReason 上达 5.85%（为良性微调 1.90% 的 3.08 倍）（Table 13）；在默认 100 条中毒设定下，该攻击在多项指标上超过了控制 49% 后门数据的提供商后门基线（Table 1）。
• 防御隐蔽性：在包含 2% 中毒样本的数据过滤测试中，CVDD、DATE、SIK 及 LLM Judge 均难以有效拦截，检测 F1 最高仅为 0.378（CVDD 作用于回复端），其余多数配置召回为 0（Table 4）。
• 作者结论与启示：作者认为众包微调机制存在隐蔽的隐私脆弱性，攻击者即便无法获知模型权重与 logits，仅凭少量的良性外表交互就能促使模型记忆并外泄其他用户的专有指令，现有的基于异常检测和 LLM 判别的清洗手段无法提供充分防护。