ContextLeak：审计私有上下文学习方法的隐私泄露

私有 ICL 缺少可测的 worst-case 泄漏，形式化隐私预算又可能过松。

• 场景：作者称 ICL 把任务示例直接放入提示词，免去全量微调，并用于医疗、金融等高风险领域。示例含个人或专有信息时，即使用户被禁止泄露，恶意查询仍可能从输出得到敏感属性；只删除敏感字段也可能被重新关联到个人（引言，Figure 1）。
• 现有不足：启发式防御依赖指令遵循。作者认为它可能造成虚假的隐私感，且不提供对抗攻击者下的保证。DP 以 ε∈[0, ∞) 上界 worst-case 泄漏，但作者认为上界可能过松、过于悲观。
• 提出的框架：作者提出 ContextLeak。摘要称它是首个实证测量 ICL worst-case 信息泄漏的框架；§3 称据其所知，它是首个估计该泄漏并计算经验 ε 下界的工作。手段是金丝雀插入加针对性查询，实例化成员推断。
• 威胁模型：
  • 目标：私有算法要限制对任意潜在数据点的成员推断成功概率；审计者要从私有化输出判断金丝雀在场与否。
  • 知识：仅 query access。对底层 LLM 为 black-box，不访问内部状态、logits 或梯度。知道敏感数据库及数据点的任务结构，但不知道本次是否插入金丝雀，也不知道机制内部随机性。
  • 能力：每次以概率 0.5 用金丝雀替换一条记录，提交查询并重复多次，只根据输出做二分类。对本文 DP 防御，观察私有聚合后的输出，而不是最终输出（§3.6、Appendix D.9）。
  • 受害系统：基座 LLM 与私有 ICL 机制，包括无防御、启发式提示或 LLM 防御，以及带形式化保证的 DP 聚合。

论文按私有 ICL、差分隐私和推理时审计来组织相关工作，并把自己与 average-case 的 ICL 成员推断分开。

私有 ICL 与提示注入

• Perez & Ribeiro (2022)、Liu et al. (2024)：用敏感数据做 ICL 或 RAG 时，提示注入是作者点名的攻击面。
• Wallace et al. (2024)、Debenedetti et al. (2024)、Mireshghallah et al. (2024)、Xiang et al. (2024)、Abdelnabi et al. (2025)、Chen et al. (2025)：启发式防御。作者称它们多靠经验测试，不提供对抗攻击者下的隐私保证。
• 引言称删除敏感属性仍可能被重新识别（Sarkar et al., 2024; Rocher et al., 2019; Staab et al., 2024）。

差分隐私与私有 ICL

• Dwork et al. (2006)：作者称为提供 worst-case 保证的标准，用邻近数据集上的输出变化界定泄漏。
• Sinha et al. (2025) 将 DP 用于预训练；Goel et al. (2025)、Charles et al. (2024)、Li et al. (2022) 用于后训练。Mckenna et al. (2025) 被引为私有训练动态仍在研究。
• Wu et al. (2024) 给出推理时私有算法；Zheng et al. (2024) 做 private-labeling；Tang et al. (2024)、Amin et al. (2024) 做私有合成数据。Mathur et al. (2023)、Zhu et al. (2024) 被用来说明私有 ICL 相对训练更易落地。

隐私审计与成员推断

• Near et al. (2024)、Cummings et al. (2024) 被引来说明理论上界可能松或不可比；Ding et al. (2018)、Near & Darais (2024) 被引来说明实现可能有错误。
• Shokri et al. (2017)、Jagielski et al. (2020) 审计 ML；Panda et al. (2025) 审计 LLM 训练。DP-SGD 审计从多次运行（Zanella-Beguelin et al., 2023）发展到基于假设检验的 black-box 经验下界（Steinke et al., 2023）。
• Ye et al. (2021)、Haghifam et al. (2025) 代表以 MIA 为中心的近期审计。Kim et al. (2023)、Panda et al. (2025) 关注训练数据；作者称自己关心的是推理时、由提示词编码敏感上下文的机制。

与本文最接近的工作

• Wen et al. (2024)：ICL 上的 MIA。作者称其主要反映自然或随机示例上的 average-case 泄漏，只审 average-case 会系统性低估风险，因为稀有或离群示例仍可能触发违规。
• Carlini et al. (2021)、Nasr et al. (2025) 展示训练数据可被记忆并复述；Carlini et al. (2022a;b)、Panda et al. (2025) 用精心构造或分布外查询制造可记忆样本。作者称如何设计 ICL 金丝雀仍不清楚。
• 附录 D.11 的同期工作 Xia et al. (2025)：作者称其固定 if-then explicit 与固定金丝雀，并聚焦 RNM 与 ESA。

基线方法为提示注入（附录 B）、无防御 ICL、Wu et al. (2024) 的 RNM 与 ESA，以及 SaTML 竞赛获胜队伍的 faux-secret strings 与 important keywords（L1、L2；Debenedetti et al., 2024）。L3 用 GPT-5 检测泄漏，作者称借鉴 Mireshghallah et al. (2024)。基准/数据集为 SubJ、Sarcasm Detection、SAMSum、PFL-DocVQA；效用对照另用 MMLU。

作者把本文与 Wen et al. (2024) 的 average-case 审计区分开，改为对抗金丝雀上的 worst-case 泄漏，并称同一经验框架可以比较启发式防御和带形式化保证的 DP 机制。

ContextLeak 把审计做成成员推断：构造只差一条金丝雀的邻近数据集，用固定查询重复询问私有 ICL，再从输出判断金丝雀是否插入，并据此给出经验 ε 下界。

邻近数据集与泄漏度量

• 机制 M 含基座 LLM 与私有 ICL。Z 服从 Bernoulli(1/2)；Z=1 时 Insert 用金丝雀 c 替换 D 中一条记录。输出 o=M(Q, D')。审计者看不到 Z，也看不到机制内部随机性。金丝雀和查询在各次重复中保持固定。
• 审计准确率 a=𝔼_D′[1{(c∈ D′)⇔ A(o,D,D′)}]。作者将 50% 定义为无泄漏，将 100% 定义为完全泄漏。
• 预测在场与否得到 TPR、FPR 后，经验下界为 max(log(TPR/FPR),log((1−FPR)/(1−TPR)))（§3.3）。§5 估计时把 FPR 固定为 0.1。
• 背景定义是 substitution 意义下的 (ε, δ)-DP：邻近数据集只差一条记录时，输出落入任意可测集的概率至多放大 e^ε 并加 δ。作者称 ε 越小保证越强。实验未给出 δ 的取值。

金丝雀

• 金丝雀写成 c=(xc, yc)，插入单条记录，目标是推理时可识别（Carlini et al., 2019）。
• 三类 xc：随机字节转成的十六进制串，实验用 64 个十六进制字符（借鉴 Wei et al., 2024）；用目标 LLM 分词器统计私有集后拼接的稀有 unigram，实验用 16 个 token（借鉴 Panda et al., 2025）；与模型应有常识矛盾的语义串，由 GPT 生成 100 条候选，论文未说明是哪一版 GPT。
• 分类的 yc 取数据集中最稀有的类，或模型默认较少输出的标签。开放生成令 yc=xc。附录 A.4 给出示例。

用户查询

• 三类模板填入金丝雀字段后发给 M。Input-Output 给出 xc 并要求补 yc，依据是模型会记住上下文中的输入-输出映射（Lyu et al., 2023）。If-Then explicit 询问是否见过完整金丝雀，见过则输出 yc，否则输出与 yc 无关的串。If-Then without canary 不写出金丝雀，只问是否见过某类异常串；作者称这对应不知道数据结构细节的情形。
• 附录 A.4 给出模板。准确率被当作模板类上的目标，用 DSPy 中的 GEPA 近似搜索（Agrawal et al., 2025; Khattab et al., 2024）。反射模型为 GPT-5，temperature=1.0，max tokens=20000，num retries=5。分类以 ε=10 的审计准确率为反射指标，light 设置，minibatch 为 1。开放生成用 ε∈[1, 10] 的平均审计准确率，每条训练例 20 次查询，参考向量用 10 次查询。
• 作者观察到 DSPy 把系统提示映射到 API 的 user 角色、把用户查询映射到 system 角色，并称这一对调不影响审计表现。

检测与所审机制

• 对底层 LLM 为 black-box。分类时，金丝雀只进入 m 个不交 ensemble 中的一个。强查询应使插入时 1 个 ensemble 输出 yc、其余输出对照标签，未插入时全部为对照标签。RNM 对类频率加噪后，n 次直方图仍形成两团分布，用阈值区分；该阈值在每个 ε 上优化。无聚合防御每次只有一个标签，相当于频率为 1 的无噪直方图。
• 开放生成先把输出嵌入，再用线性分隔检测影响（Nasr et al., 2023）。参考向量由含金丝雀与不含金丝雀的嵌入之差求和，再与私有均值嵌入做内积。细节在附录 A.3。
• RNM 用于分类：各类计数加高斯噪声后取 argmax（Wu et al., 2024）。ESA 用于生成：嵌入、ℓ2 裁剪、取均值、加高斯噪声，再取最近的 zero-shot 嵌入对应文本。审计用聚合后的直方图或嵌入；效用才用 noisy max 标签或 zero-shot 文本（Appendix D.9）。Ensemble 由不交 Poisson 子采样得到（附录 Algorithm 2、3）。

主定量结果是 Table 4 的经验 ε；审计准确率与效用曲线主要在图中，正文多数没有逐点数字。

实验设置

• 模型：主实验为 Llama3.3-70b、Qwen2.5-72b（Together.ai）和 GPT-4.1（OpenAI）。附录另有 Llama3.1-8b、Qwen2.5-7b、GPT-4.1-mini。GPT-5 用于 L3 泄漏检测和 GEPA 反射。ESA 默认嵌入为 text-embedding-3-small。附录 E 将 Llama、Qwen 的 API 名写成 Llama-3.3-70B-Instruct-Turbo、Qwen2.5-72B-Instruct-Turbo。
• 数据：分类为 SubJ、Sarcasm Detection；生成为 SAMSum、PFL-DocVQA。论文未给出各集样本总数。MMLU 只做效用对照。选择标准是 0-shot 与 few-shot 有效用差，并沿用 Wu et al. (2024) 的部分数据（Appendix D.2）。
• 协议：默认 20-shot。审计用 train split 的 20 条，效用在 validation 校准、在 test 报告。除特别说明外，审计与效用各 100 queries，数据集对所有 query 固定。DP 用 10 个不交 ensemble、每个 2 条；ESA 效用每个测试例 10 个 zero-shot 候选。作者称 train/test 对审计表现没有可注意到的差别。
• 防御与查询：无防御；L0 为无防御，L1、L2 为提示防御，L3 由 GPT-5 判定泄漏后把输出改成 None。DP 为分类用 RNM、生成用 ESA。攻击对照是提示注入。作者称 §4 之后的审计使用 GEPA 优化查询。
• 指标与判定：审计准确率的阈值在每个 ε 上优化；另有 TPR、FPR，以及 §5 在 FPR=0.1 时由式 (2) 得到的经验 ε。分类效用为准确率，生成为 ROUGE-1。分类靠类频率阈值，生成靠嵌入空间线性分隔。
• 未写明项：论文未报告 δ、噪声方差的具体值、人工一致性，以及 Figure 3–9 的逐点读数。

主结果

Table 4 的 empirical ε。模型简写对应 Llama3.3-70b、Qwen2.5-72b、GPT-4.1。表题未写 FPR；§5 称下界在 FPR=0.1 时估计，并在 Figure 8 展示。

数据集 / 模型	理论 ε=1	理论 ε=∞
SubJ / Llama	0.74	2.18
SubJ / GPT	0.61	2.41
Sarcasm / Llama	0.54	2.53
SAMSum / Llama	0.79	2.36
SAMSum / Qwen	0.59	2.81
SAMSum / GPT	0.83	2.67
DocVQA / Llama	0.72	2.18
DocVQA / Qwen	0.87	2.26

未列入 SubJ/Qwen、Sarcasm/Qwen、Sarcasm/GPT、DocVQA/GPT；其理论 ε=∞ 的经验 ε 为 2.26、2.57、2.50、2.41（Table 4）。

• Table 4 全部 12 行中，经验 ε 都随理论 ε=1、2、4、8、∞ 增大。理论 ε=∞ 时最低为 SubJ 与 DocVQA 上 Llama 的 2.18，最高为 SAMSum 上 Qwen 的 2.81。
• 作者称 RNM 与 ESA 的审计准确率随理论 ε 上升，因而有非平凡泄漏（Figure 5）。Figure 5 的逐点准确率正文未列出。
• 理论 ε 趋于无穷时，经验 ε 出现缺口并趋于饱和。作者用 Figure 10 区分原因：ensemble size 为 1 时审计更紧，更大的 ensemble 即使在 ε=∞ 仍带来额外隐私。作者认为高 ε 处现有分析，尤其 ESA，可能偏松。

金丝雀与查询组合

• SubJ 分类、每种攻击 100 trials（Figure 3）。作者称 if-then-explicit 与 input-output 配 hex 整体较稳；例外是 Llama 配 hex 时 input-output 高于其余组合。各点准确率正文未列出。
• GEPA 优化 input-output（Figure 4）。作者称 Qwen2.5 与 GPT-4.1 上原模板已经较好，Llama-3.3-70B 有小幅提升。
• SAMSum 开放生成、100 queries（Figure 17、18）。作者称 hex 加 input-output 跨模型较稳；GEPA 只有小幅提升，GPT-4.1 上可见轻微改进。

启发式防御对照

• 在 SubJ 上比较提示注入与本文攻击，L0 为无防御，L1 到 L3 防御强度递增（Figure 6），三个大模型。
• 作者称提示注入或可绕过 L1、L2，但总被 L3 挡住，审计准确率接近 50%；本文攻击在全部防御和模型上表现为 full leakage，并绕过 L3。
• 作者的解释是：提示注入要引出任意私有内容，而本文攻击只求输出发生可测变化。Figure 13 在 SAMSum、ESA、Llama-3.3-70b 上比较二者，作者称本文攻击的泄漏更大；逐点数值正文未列出。

隐私-效用权衡

• Figure 7 覆盖 RNM 与 ESA、三个大模型和四个数据集。作者称 RNM 的经验隐私预算从 0 增到约 0.4 时效用先上升，其后停滞；ESA 接近平坦，只略有上升。分类效用为准确率，生成为 ROUGE-1。逐点数值正文未列出。
• 作者称即使 ε 趋于无穷，二者相对非私有 ICL 仍有缺口，并归因于推理前要 ensemble 再聚合；ESA 还因为返回最接近均值嵌入的 zero-shot 文本，表达力受限。
• Figure 9 只画 Qwen2.5。作者称提高启发式防御级别对效用影响不大；RNM 的效用下降大于启发式防御，但在较强隐私下仍保持效用；ESA 与启发式防御之间有系统性缺口。

其他消融与分析

• 上下文条数（Figure 14，Llama-3.3-70B，SAMSum，ESA，400 queries）：作者称增加示例既不掩盖金丝雀，也不明显提高 ESA 效用。
• Ensemble 数（Figure 15，固定 20 条上下文）：审计表现一致；作者称效用下降主要来自私有嵌入与 zero-shot 候选之间的信息损失，而不是 ensemble 大小。
• 重复次数（Figure 16，SubJ，Llama-3.3-70B，50/100/400 queries）：作者称重复越多，审计准确率方差越小。正文未给方差数值。
• 温度与嵌入（Table 2，Llama-70b，SAMSum）：T=1.0、ε=∞ 为 96.0%，T=1.5、ε=∞ 为 100.0%；三种嵌入在 ε=∞ 均为 0.958。作者称中等温度和更换嵌入模型影响不大，较高温度会使输出不稳定。
• 小模型（Table 3，input-output）：Llama3.1-8b 一行最高 53.00%（ε=2），ε=∞ 为 50.24%；Qwen2.5-7b 在 ε=8 为 62.25%，ε=∞ 为 61.16%。表注称随 ε 没有有意义的提升。作者认为原因是指令遵循较弱。Figure 19（SubJ，100 queries）称小模型 leakage 低于大模型，但 0-shot 到加入上下文的效用提升大于 70B 变体。
• MMLU（Table 1）：Llama3.3-70b 无防御 20-shot 为 77.20%，聚合设定 ε=∞ 为 77.00%；Qwen2.5-72b 两端均为 82.60%。作者认为 few-shot 增益可忽略，MMLU 可能反映不出本文关心的隐私相关效用权衡。附录 D.4 称用 T5-xl 与 T5-xxl 从私有嵌入解码，未得到流畅文本。

作者明确写下的后续工作是多轮交互、更多 DP 范式，以及更紧的保证或更强审计。

作者指出的局限与后续方向

• 实验只评估单轮审计查询。作者称这可能覆盖不了攻击者跨轮改写提示并积累信息的泄漏，并把多轮私有化及其审计留作未来工作（Appendix F、Appendix D.6）。
• 主要研究与既有工作一致的输出私有化或聚合。作者称合成数据生成等其他 DP 实例未在同一协议下系统覆盖，扩展过去是未来方向（Appendix F）。
• 当前金丝雀、查询策略和检测规则被作者称为可复现的基线，而不是穷尽所有审计者行为；其他设计可能提高审计表现或降低查询预算（Appendix F）。
• ESA 在私有嵌入与 zero-shot 文本之间丢失信息。作者称 T5 解码未得到流畅文本，并把恢复该信息留作未来工作（Appendix D.4）。
• 结论希望后续研究收紧隐私保证，途径是更强的经验攻击，或可证明更紧、更稳健的私有 ICL 机制（§6）。

实验覆盖范围

• 主结果模型为 Llama3.3-70b、Qwen2.5-72b、GPT-4.1；附录另有 Llama3.1-8b、Qwen2.5-7b、GPT-4.1-mini（Table 3、Figure 19）。
• 任务数据为 SubJ、Sarcasm Detection、SAMSum、PFL-DocVQA；MMLU 只用于效用对照（Table 1、Appendix A.5、D.2）。
• 防御实验包括无防御、L0–L3、RNM 与 ESA；攻击对照为提示注入（§4、附录 B）。
• 默认 20-shot、100 queries，DP 为 10 个 ensemble、每个 2 条样本；部分消融为 50 或 400 queries（Appendix A.5、Figure 14、16）。审计准确率阈值在每个 ε 上优化（§4）；§5 的经验 ε 将 FPR 固定为 0.1。
• 论文写明对底层 LLM 为 black-box，但 DP 审计使用聚合后的直方图或嵌入，效用才使用 noisy max 或 zero-shot 文本（§3.6、Appendix D.9）。论文写明关注 central DP 与指令微调模型（Appendix D.6）。论文未报告 Figure 3–9 曲线的逐点数值。

ContextLeak 是一套用成员推断审计私有 ICL 的框架，目标是给 worst-case 泄漏一个经验下界，而不是只引用理论 ε。

• 问题：敏感示例放在提示词里时，启发式防御没有对抗者下的保证，DP 上界又可能过松。作者要一个能同时比较这两类方法的实测。
• 做法：以概率 0.5 把十六进制串、稀有 unigram 或与常识矛盾的金丝雀替换进一条记录，再提交三类用户查询。分类看类频率是否越过按 ε 优化的阈值，生成任务把输出嵌入后做线性分隔。GEPA 继续改查询。对 RNM 和 ESA，审计信号取自加噪聚合后的直方图或嵌入，不是最终标签或 zero-shot 文本。
• 经验 ε：Table 4 的 12 行都随理论 ε 增大。理论 ε=1 时最低为 Sarcasm 上 Llama3.3-70b 的 0.54；理论 ε=∞ 时最高为 SAMSum 上 Qwen2.5-72b 的 2.81，最低为 2.18。作者称泄漏随理论预算上升，但高 ε 处下界饱和，并认为 ensemble 在 ε=∞ 仍提供额外隐私。
• 防御对照：作者称在 SubJ 上，提示注入到 L3 时审计准确率接近 50%，而该审计在 L0–L3 和三个大模型上表现为 full leakage（Figure 6）。
• 效用：作者称 RNM 的效用在经验 ε 约 0.4 后停滞，ESA 接近平坦，且 ε 趋于无穷仍低于非私有 ICL（Figure 7）。Table 3 中 Llama3.1-8b 在 ε=∞ 的审计准确率为 50.24%；作者认为小模型难以稳定执行这些查询。
• 作者结论：良性提示或普通提示注入下看起来未泄露，并不排除单条敏感示例对输出的可测影响。他们希望用这一框架比较高风险 ICL 的隐私-效用选择，并推动更紧的保证或更强的审计。