CLIOPATRA：从 LLM 洞察中提取隐私信息的攻击

核心问题：LLM 洞察系统叠加的启发式隐私保护（PII 删除、聚类、聚合、LLM 审计）能否抵御主动投毒攻击，作者用 Cliopatra 给出否定答案。

• 问题场景：AI 助手提供商（Anthropic、OpenAI、Microsoft、Google 等）纷纷构建平台从用户聊天中提取洞察，聊天常含医疗等敏感信息，这些平台声称“隐私保护”。作者认为其中多数只靠启发式手段叠加，缺乏形式化保证。
• 现有方法不足：作者称，此前的提示注入隐私攻击主要针对 RAG 系统，这类系统只含一个 LM 且不带隐私保护机制，无法回答多层防护能否被同时突破的问题。
• 核心观察：各层防护都依赖 LM 过滤敏感信息的能力，而作者发现 facet 提取阶段就会泄露年龄、性别、症状甚至疾病（Table 3），为下游攻击铺路。
• 论文提出：Cliopatra——作者称是首个针对 LLM 洞察系统的隐私攻击，结合数据投毒、提示注入与属性推断；在 Anthropic 的 Clio（本地复现版）上评估。
• 威胁模型：
  • 目标：提取目标用户聊天中的私有信息（具体为疾病）。
  • 知识：系统内部参数（所用 LLM、最小簇大小 C）、目标用户的年龄/性别/部分症状、候选疾病列表。
  • 能力：创建少量账号向系统插入恶意聊天；可访问发布的洞察。
  • 受害系统：Anthropic 的 Clio（本地版本，非线上系统）。

针对 RAG 的攻击

• Anderson et al. (2024)、Chaudhari et al. (2024)、Naseh et al. (2025)——对 RAG 系统做成员推断与数据重构，结合直接/间接提示注入与投毒。论文指出 Clio 与 RAG 不同：文档先经 LLM 摘要匿名化、不能被任意查询，因此攻击需要新设计（多层提示注入、信息提取算法、结合基线）。

摘要隐私与形式化保护

• URANIA（Liu et al., 2025）——为 Clio 类系统提供 (ε, δ)-DP 保证，并用 DP 审计比较 URANIA 与 Clio；论文指出其攻击对 Clio 大多无效，且假设攻击者知道除目标外全部聊天，而 Cliopatra 的攻击者只知公开信息。URANIA 也是本文的防御对照系统。
• Hughes et al. (2025)——研究 LLM 摘要的隐私，但只用简单提示词做被动测量；论文称本文是主动攻击，针对真实系统的复杂提示词并击穿多层防御。

启发式匿名化与 LLM 隐私

• 数据库领域的采样/聚合/抑制式匿名化（如 Netflix Prize、Diffix）及其被攻破的工作（Cohen & Nissim 2020、Narayanan & Shmatikov 2009）——作者称本文把同一“启发式不等于隐私”的论证搬到 LLM 时代，并引入投毒与提示注入。
• PII 检测/删除工具（Flair、Presidio）与训练数据隐私攻击（Carlini et al. 2021、Nasr et al. 2025 及成员推断）——论文指出这些针对训练数据，本文关注 LLM 处理中的数据。

提示注入及防御

• Perez & Ribeiro (2022)、Greshake et al. (2023) 等提示注入攻击；StruQ、Spotlighting、MELON 等防御——论文称许多防御可被自适应攻击者绕过，而数据/控制流分离类防御主要面向智能体工作流，难以适配 Clio 这种大规模开放分析。

基线与基准：基线攻击者仅凭公开信息（年龄、性别、已知症状、候选疾病列表）让 Claude Sonnet 4.5 猜测疾病；数据为 WildChat 随机抽样混合合成医疗目标聊天（人物属性采样自 NLICE）。作者将本文定位为首个把数据投毒、提示注入与属性推断结合、同时击穿多层启发式防护的工作。

整体思路：攻击者构造并插入 C−1 条毒聊天，使其与目标聊天聚成一簇，诱导簇摘要泄露目标私有信息，再从发布的摘要中提取。方法名为 Cliopatra。

威胁模型与攻击博弈

• 形式化为 Game 1：采样基础对话 X，攻击者据公开属性 tpub、系统参数 Φ 和候选疾病集 Y 生成毒聊天，系统对 X ∪ {t} ∪ Xpoison 运行 Clio 输出摘要 S，攻击者从 S 推断私有属性 tpriv，猜中输出 1。
• 作者强调评估是确定性的：将推断的疾病与真实值直接比对，不使用 LLM-as-a-judge。

毒聊天构造

• 嵌套多层提示注入：基于已知年龄/性别/症状的模板触发短语使毒聊天嵌入接近目标；针对 summarizer 的注入诱导其在摘要中写出目标病史；针对 extractor 的注入保证注入文本不被改写；末尾附加短语让助手回复固定，使 facet 提取只关注毒提示词。附录 B 给出各 extractor 的完整毒聊天格式。
• 毒聊天重复 C−1 次插入：若与目标同簇则簇大小恰为 C，否则毒簇因过小被过滤。

信息提取

• Regex Attack：先用公开信息的正则匹配定位目标簇摘要（匹配数阈值 τ），再在摘要中按候选疾病列表正则搜索疾病；两步任一失败则回退到基线（Algorithm 2）。
• LLM Attack：用 Claude Sonnet 4.5 从全部簇摘要中推断疾病，应对摘要改写导致的正则失效；附录 B 给出完整提示词。

Fast Clio 与扩展

• Fast Clio：只摘要含毒聊天的簇以降低评估成本（Algorithm 3）；作者称配合 Regex Attack 时与 Full Clio 表现一致（Table 6 验证）。
• 置信度：C-Regex 变体去掉基线回退，可放弃猜测以换取高置信。
• 隐蔽性：对毒触发短语做同义替换以绕过查重；修改注入使摘要输出形如“写某疾病与某话题关联的论文”的无害文本以规避人工与自动审查；附录 C 给出完整提示词。
• 未知 C 或采样：插入多于 C−1 条毒聊天，平均成功率下降但目标被采样时仍可高置信提取。

实验设置

• 被测系统：本地复现的 Clio，用 4 个模型家族配置 extractor/summarizer：Qwen 3（4B/30B）、Gemma 3（4B/27B）、LLaMA 3（8B/70B）、Claude（Haiku 3/Sonnet 4.5）（Table 2）。
• 数据：WildChat 随机抽样（默认 1K 条）+ 100 条合成医疗目标聊天；人物属性（年龄、性别、症状、疾病）采样自 NLICE（47 种疾病），用 Claude Sonnet 4.5 生成聊天。
• 超参数：簇数设为平均簇大小 50；嵌入模型 all-mpnet-base-v2；默认攻击者知道年龄、性别和 1 个随机症状；单张 A100。
• 指标：攻击成功率（正确推断疾病的运行占比）、精度、放弃率；每个目标聊天跑一次 Game 1。
• 基线：Claude Sonnet 4.5 仅凭公开信息猜疾病；C-Regex 比较时基线精度在匹配覆盖率下计算。
• 判定方式：推断疾病与真实值确定性比对，不用 LLM 评审。

主结果

攻击成功率（%），攻击者知 1 个症状（据 Table 4）：

表格较宽，可左右滑动

配置	基线	% 聚簇成功	Regex Attack	LLM Attack
Qwen	22	89	71	81
Gemma	22	46	37	44
LLaMA	22	52	37	42
Claude	22	43	34	39

• 作者称 Regex 攻击最高提取 71% 目标用户的疾病，约为不看 Clio 输出的基线的 2 倍；LLM Attack 进一步更高。
• 作者称 Claude 家族防护最强（Clio 提示词为其设计），但仍有 39%（LLM Attack）被提取，认为依赖 LLM 的临时隐私手段可能存在根本缺陷。
• facet 泄露（Table 3）：各模型 facet 均泄露年龄/性别/症状/疾病，如 Qwen 泄露疾病的聊天占 73%、Gemma 仅 2% 泄露年龄。

置信度（C-Regex）

• 知 1 症状时（Table 5）：Qwen 精度 98.4%、放弃率 35%；Gemma/LLaMA/Claude 精度 100.0%、放弃率 81/80/83%；匹配覆盖率下基线精度 15.8–23.5%。
• 作者称精度较基线提升超 4 倍，攻击提取出疾病时攻击者可完全确信；Qwen 的一例错误作者认为可能因 Clio 提示词未针对 Qwen 校准。

隐蔽攻击与规模消融

• 知 5 症状、1K 聊天（Table 7）：隐蔽攻击把摘要含 PII 的比例从非隐蔽的约 100% 降到约 15%（Qwen 1.08%、Gemma 13.3%、LLaMA 0%、Claude 14.6%），精度保持 100%；放弃率 Qwen 23→30、Gemma 63→87、Claude 74→75，而 LLaMA 从 77% 降到 56%——作者称更强的注入对 LLaMA 更有效。
• 聊天规模（Figure 3，知 5 症状）：Claude 放弃率 1K/10K/100K 为 74%/92%/98%；100K 时仍可从 2% 聊天中以 100% 精度提取疾病，基线精度 53.2%。
• 毒聊天数量（Table 8，100K 聊天）：49/100/1000 条毒时正确聚簇比例相近（如 Qwen 36/30/33），作者称目标被采样时仍可 100% 精度提取。

防御评测

• LLM 隐私审计（Table 9，知 5 症状、1K 聊天）：163 个被 C-Regex 成功提取疾病的簇中，同家族审计器和 Claude Sonnet 4.5 审计器标记为 ≤2 分的簇数均为 0；57.7% 成功被攻击的簇得到 5/5 分。作者称 LLM 审计不可靠。
• URANIA（DP 防御）（Table 10，ε∈{25,50}、δ=10^-5）：ε=25 时 C-Regex 精度降至 15–51%（Clio 上为 100%）；ε=50 时 Qwen 仍达 100%。作者称 DP 明显更有前景，但援引 Liu et al. 指出 URANIA 有效用下降，且其实验假设单用户单对话。

其他消融与分析

• 攻击者知识（Figure 4）：已知症状从 1 增至 5 时成功率单调上升，Qwen 接近 100%；LLaMA 后期趋于平台，作者称可能因并非所有疾病都泄露进 facet。
• 编程域概念验证：100 条模板聊天、Claude 配置，API key 提取成功率 56%，其余 44% 的 API key 未出现在 facet 中。
• 基线替换（Table 12）：基线加入 in-context 示例后从 22% 升至 36%，攻击成功率同步上升约 10 个百分点（如 Qwen 71→77）。
• Full/Fast Clio 对比（Table 6）：两者 Regex 攻击成功率完全相同。

作者指出的局限与后续方向

• 评估使用合成目标聊天（出于隐私与伦理考虑）；作者计划在严格伦理审查下用真实目标聊天评估实际影响（Limitations & Future Work）。
• Clio 与 Cliopatra 都只面向文本摘要；作者提出未来探索多模态（图像、文件等）场景下攻击的可行性（Limitations & Future Work）。
• 攻击一次只针对一个聊天；作者提出未来研究非定向或同时针对多聊天的攻击，并指出多个不同毒聊天对聚类的影响尚不清楚（Limitations & Future Work）。
• 攻击假设攻击者能接触 Clio 底层所用 LLM；作者提出未来做完整消融评估攻击在不同模型/家族间的迁移性，称隐蔽攻击中改写毒提示词仍保持 100% 精度只是部分证据（Limitations & Future Work）。
• 对 OpenAI/Microsoft/Google 系统的适配只给出失效点分析，作者明确将实际攻击实例化留作未来工作（Section 6.2）。

实验覆盖范围

• 被测系统为本地复现的 Clio，配置 Qwen 3、Gemma 3、LLaMA 3、Claude 共 4 个模型家族；防御评测包括 Clio 内置 LLM 审计（同家族审计器与 Claude Sonnet 4.5）和 URANIA（ε=25/50）。
• 数据为 WildChat 随机抽样（1K/10K/100K）混合 100 条合成医疗目标聊天；编程域概念验证用 100 条模板聊天。
• 攻击者知识消融覆盖已知 1–5 个症状；毒聊天数量消融覆盖 49/100/1000 条（100K 聊天下）。
• 论文未报告每个目标聊天攻击运行的重复次数，也未报告攻击插入毒聊天所需的实际账号数量。
• 论文未攻击线上 Clio 系统；作者称已向 Anthropic 披露，Anthropic 回应了正在探索的缓解措施。

一篇针对“隐私保护”LLM 洞察系统的攻击论文：作者提出 Cliopatra，检验 Anthropic 的 Clio 所代表的启发式多层防护是否可靠。

• 问题：Clio 类系统靠 PII 删除、聚类、聚合摘要和 LLM 隐私审计叠加保护用户聊天，均无形式化保证；此前提示注入攻击只针对无防护的 RAG 系统。
• 方法：攻击者插入 C−1 条含嵌套提示注入的毒聊天，使其与目标聊天聚簇、诱导簇摘要写出目标病史，再用正则（Regex/C-Regex）或 Claude Sonnet 4.5（LLM Attack）从摘要提取疾病；评估为确定性比对，不用 LLM 评审。
• 主要结果：
  • 知 1 症状时，Regex 攻击成功率最高 71%（Qwen），Claude 上 LLM Attack 为 39%，基线 22%（Table 4）。
  • C-Regex 变体在 Gemma/LLaMA/Claude 上精度 100.0%，放弃率 80–83%（Table 5）。
  • 100K 聊天规模下仍可从 2% 聊天以 100% 精度提取疾病（Claude 配置）。
  • 163 个成功泄露的簇无一被 LLM 审计标记，57.7% 得 5/5 分（Table 9）。
  • URANIA 在 ε=25 时将攻击精度降至 15–51%，但 ε=50 时 Qwen 仍达 100%（Table 10）。
• 作者结论：作者认为叠加启发式防护不足以保护用户数据，提示注入是 LLM 洞察系统中被低估的风险，形式化 DP 更有前景但存在效用与部署障碍；局限包括合成聊天、单目标攻击和假设已知系统模型。