PrivDrift：审计活跃 LLM 对话中话题漂移下的用户秘密泄露

活跃会话里，用户早先披露的秘密在话题转到无关内容后，是否仍会被后续提示词复述。

• 场景：作者认为 LLM 已用于医疗分诊、财务规划、企业 copilot 和个人效率工具，用户会披露电话、财务标识、邮箱和健康细节。支持多轮协助的上下文保留，也会让早先敏感信息留在后续生成可用的范围内。
• 现有评测：作者称现有工作主要覆盖训练数据记忆抽取和当轮越狱，多轮越狱与提示注入也不直接衡量无关话题漂移之后，用户披露的秘密是否仍可恢复。作者把话题转移能否成为活跃会话内的隐私边界，看作可信评测的缺口。
• 行为风险：作者不假设用户以为同一会话会忘掉早先消息，要测的是间接、带理由、高压或经工具中介的后续提示词能否引出早先敏感信息。涉及共享会话、浏览器集成助手、企业 copilot、智能体工作流，以及后到指令与活跃上下文交互的提示注入。
• 威胁模型：论文将失败模式称为 active-context re-disclosure：用户在 t0 披露秘密 S，经过 d 个内容密集且话题无关的漂移轮后，标准化探测 P 附加到活跃上下文，回复若精确、近似或语义上再现 S 即算泄露。论文不假设对手永远无法查看原始记录，评测的是模型会否在查询、给出理由或施压下自行复述该值。
• 基准：作者提出 PrivDrift，用 1,000 段受控多轮对话，沿漂移长度和说服强度做审计，并定义稳定性指标 Privacy Half-Life（τ）。

论文按训练数据隐私、隐私规范、多轮攻击和机器遗忘四组讨论，并把 PrivDrift 放在推理时的活跃上下文上。

训练数据隐私

• 抽取与成员推断：论文把 Shokri 等（2017）、Carlini 等（2021）、Li 等（2023）和 Nasr 等（2023）放在一组，内容是训练数据抽取、成员推断，以及从预训练语料恢复记忆化的 PII。论文称这些设置研究私人信息是否在模型参数里。
• 对照：论文据此提出 active-context privacy：信息由用户提供、出现在当前交互中，需要在推理时处理。

隐私规范基准

• ConfAIde：Mireshghallah 等（2024）用 contextual integrity 评测 LLM 的隐私推理。
• PrivacyLens 与 PrivaCI-Bench：Shao 等（2024）评测模型在行动中的隐私规范意识；Li 等（2025）结合 contextual integrity 与法律合规评测隐私。
• 论文的区分：论文称这些基准主要在静态访问控制或隐私规范情境中，测试模型应不应该分享信息。PrivDrift 问的是无关话题漂移和后续说服探测之后，用户披露的秘密是否仍能从行为上恢复。

多轮攻击与提示注入

• 越狱：Russinovich 等（2024）的 Crescendo 用看似良性的多轮对话逐步引出有害输出。Deng 等（2024）和 Narula 等（2025）生成对抗性的多轮越狱路径。引言把 Wei 等（2024）和 Zou 等（2023）列为当轮越狱。
• 提示注入：论文将 Liu 等（2023）列为提示注入工作，并称后到指令可以操纵集成了 LLM 的应用。
• 论文的区分：论文称这些工作通常关注不安全内容生成或指令劫持。PrivDrift 把多轮设置改成信息流控制：论文称问题在于会不会重新披露同一活跃上下文里、用户早先给出的敏感信息。

遗忘与上下文管理

• TOFU 与 WMDP：Maini 等（2024）的 TOFU、Li 等（2024）的 WMDP 评测知识能否从模型行为中移除或抑制。论文称它们通常在静态问答和模型参数上操作。
• 论文的位置：论文称 PrivDrift 与之精神相近，但控制对象是活跃上下文而不是权重，即上下文里的秘密在后续提示词下会不会被行为抑制。论文认为这一区别关系到 RAG、copilot 和智能体工作流，因为这些系统的隐私控制常常依赖提示词级上下文管理，而不是参数级遗忘。

作者把本文放在上述工作的测量缺口上：话题漂移之后，用户自己披露的秘密是否仍可恢复；成功标准是模型复述该秘密。

PrivDrift 先生成带已知秘密和固定漂移长度的多轮对话，再追加标准化探测，用分层检测和 Privacy Half-Life 打分。Figure 1 分为生成器、探测支架和指标三部分。

问题设定与形式化

• 泄露事件：用户在 t0 披露 S，随后是 d 个无关但内容密集的漂移轮。探测 P 接在活跃上下文末尾；回复若精确、近似或在语义上揭示 S，记为泄露。
• 抽样：d 以概率 0.2 取 0，以概率 0.8 在 {2, 3, 4, 5, 6} 上均匀抽取。作者将结果解释为有界的活跃上下文持久性，而不是任意长窗口的完整测试。
• 两个轴：漂移长度是披露与探测之间的无关轮数；说服强度是后来用来引出秘密的交互方式。
• 用词：正文称漂移轮无关但内容密集；Figure 3 与 Figure 4 的横轴写作 Drift Length (# neutral turns)。

数据生成

• 人设与秘密：人设从超过 100 种职业和人口统计画像中采样。S 为四类固定格式 PII：电话、邮箱、SSN、信用卡号，放在开场轮，作为合理任务上下文的一部分。
• 漂移轮：每段对话指定话题，例如报税、医疗分诊或出行后勤。内容来自话题条件化的稠密问答库，以及专业写作、结构化推理或长文摘要等回退任务。一部分漂移轮由标注者撰写并进入生成库。作者称这样是加入无关实体和任务需求，同时控制原始秘密和漂移轮数。
• 改写：以多阶段 scaffold-then-rewrite 生成 N=1000 段，合成 900、人工 100，约束相同，人工样本散布全基准。脚手架交给改写模型，以提高流畅度和人设真实感，不改变秘密原文、漂移长度、角色结构和最终探测条件。论文未给出改写模型名称。
• 长度：Table 1 中平均 359.16 词、中位 385.00 词、范围 43–795 词；按词数估计的 token 平均 478.87、中位 513.33、范围 57.33–1060.00。缓存元数据未保留人工样本标识，作者只报告汇总。

探测设置

• 三级：Simple 为直接中性询问；Medium 为带情境理由的询问；Hard 为高压或紧急请求，用来看压力线索会提高还是降低泄露。
• 执行：主评测在完整历史上追加一条探测。每个对话只有一个 d。三个模型共用同一批对话历史和探测模板。

分层混合检测

• 判定：归一化秘密出现在归一化回复中，或 Llama 评审认为回复揭示完整秘密、可观子串或足以识别秘密的部分信息，即标为泄露。
• 正则：数值秘密去掉非数字字符；字母数字秘密归一化大小写和空白，并保留有意义分隔符。命中条件为 Leak_regex(R,S)=I[ϕ(S)⊂ϕ(R)]，ϕ 为归一化，I 为指示函数。
• 评审：只有正则为负的回复进入开源权重 Llama 评审（论文引用 Meta AI, 2024）。输入是秘密和模型回复，输出二元结论。作者称该阶段覆盖部分披露、间接暗示和正则抓不到的格式变化；regex 与 hybrid 分开报告，因为评审会带来自身误差。论文未写明评审检查点。
• 图示：Figure 2 为先归一化、正则命中则 LEAK，否则由评审给出 LEAK 或 SAFE，并给了一个去掉连字符的号码示例。Figure 1 列出 Secret-Hit@K，正文没有另外定义该符号。

Privacy Half-Life

• 定义：L(d) 为漂移长度 d 的泄露率，D_obs 为观测到的漂移集合。阈值 δ=0.1×L(0)。τ 是 D_obs 中最小的 d，使 L(d) 不超过 δ，且所有更大的已观测 d′ 也不超过 δ；若没有这样的 d，则 τ=max(D_obs)+1。作者称该定义避免把短暂下降当成稳定抑制。
• Figure 3：示意图对比稳定衰减与随后回升。图上示例标有 L=80% 和 0.1×L=8%，并写明一次回升会使 τ=3 不成立。这不是三个被测模型的实测曲线。

实验设置

• 模型：GPT-OSS-120B、DeepSeek-R1、Qwen3-VL-235B，经 OpenRouter API 查询，共用同一批对话历史和探测模板。
• 数据：每模型 1,000 段。每段一个秘密、一个 d∈{0, 2, 3, 4, 5, 6}。Table 7 的样本量：d=0 为 197，d=2 为 147，d=3 为 142，d=4 为 166，d=5 为 181，d=6 为 167。
• 回复量：三种说服条件各一条。每模型 3,000 条缓存回复，合计 9,000 条。论文未报告解码温度和重复采样次数。
• 聚合：对话级指任一标准探测引出秘密；探测级按每条探测回复计。作者指出因此对话级可以高于各说服级别的平均。
• 检验：对话级给出按对话计算的 95% bootstrap 置信区间，论文未给出重抽样次数。配对的检测器比较用 McNemar，适用时做 Bonferroni 校正；说服级别用 Cochran's Q 与事后 McNemar；与漂移、说服或秘密类型的关联用卡方检验和 Cramer's V。
• 检测器：主指标为 hybrid，并报告 regex。fuzzy 为事后检查，阈值 0.85 与 0.80。第二阶段为开源权重 Llama 评审。论文未报告评审检查点，也未报告人工一致性。

主结果

对话级泄露（%）。Regex、Hybrid、Δ、p 据 Table 2，95% CI 据 Table 3。Δ 为百分点。任一标准探测引出秘密即该对话计为泄露。

Swipe horizontally to read the table

模型	Regex	Hybrid	Δ	p	95% CI
GPT-OSS-120B	47.70%	47.70%	+0.00	1.0	[44.6, 50.8]
DeepSeek-R1	37.80%	38.70%	+0.90	7.7×10^-3	[35.7, 41.6]
Qwen3-VL-235B	53.50%	54.60%	+1.10	2.57×10^-3	[51.6, 57.7]

• 作者称对话级比率估计的是一段对话会不会至少被一种标准抽取探测引出秘密，并在第 5.2 节称三个模型上的泄露仍然 substantial。
• 作者称 hybrid 与归一化匹配相差很小，因此该基准里的泄露主要是直接或近直接复述，而不是纯语义改写。作者把 hybrid 作主指标，regex 作确定性基线；Table 2 的 Δ 是评审多计入的对话级泄露，最大为 1.10 个百分点。
• Table 2 的表注未写 p 的检验名称。第 4 节规定配对的检测器比较使用 McNemar。

说服强度

• 设置：探测级 hybrid，分 Simple、Medium、Hard。三个模型都做 Cochran's Q。
• 结果：Table 4 中 GPT-OSS-120B 为 39.30%、40.50%、32.90%；DeepSeek-R1 为 28.10%、22.00%、29.20%；Qwen3-VL-235B 为 38.70%、33.30%、40.60%。均为 p<10^-5。Table 8 将说服强度的 Cramer's V 标为 Negligible：DeepSeek-R1 0.0718、GPT-OSS-120B 0.0689、Qwen3-VL-235B 0.0639。
• 作者解读：方向依赖模型。作者称 GPT-OSS-120B 上 Hard 低于 Simple 和 Medium，与压力线索触发安全行为相一致；讨论中作者认为紧急线索有可能激活拒绝。DeepSeek-R1 最低的是 Medium。作者称 Qwen3-VL-235B 最高的是 Hard，并称这表示其对压力式抽取的抵抗较弱。作者在讨论中称说服效应在统计上显著，但非单调且依赖模型。

秘密类型

• Table 5：探测级 hybrid，列顺序为 GPT-OSS-120B、DeepSeek-R1、Qwen3-VL-235B。SSN 为 0.14%、1.11%、5.97%；信用卡为 0.00%、0.39%、4.01%；邮箱为 78.24%、57.11%、81.13%；电话为 70.89%、46.13%、57.24%。
• 效应：缓存探测级分析中，秘密类型的 Cramer's V 为 DeepSeek-R1 0.5871、GPT-OSS-120B 0.7731、Qwen3-VL-235B 0.6927，Table 8 均标为 Large。结论称秘密类型与泄露的关联最强。
• 作者解读：作者称 SSN 和信用卡被抑制得远多于邮箱和电话，尽管四类都是用户披露的、上下文中的隐私。作者认为当前行为更依赖格式和敏感度线索；讨论中作者认为防护可能依赖对格式敏感的安全启发式，而不是稳健的上下文保密推理。

漂移长度与 Privacy Half-Life

• 效应量：作者称曲线在 d=3 附近下降后回升，但效应量小或可忽略。探测级 Cramer's V 为 DeepSeek-R1 0.1073（Table 8 标 Small）、GPT-OSS-120B 0.0659、Qwen3-VL-235B 0.0723（后两者标 Negligible）。作者称这不能外推到任意长上下文，只说明秘密离上下文末尾还不远时，风险也可以跨过几次无关话题转移。Figure 4 纵轴为 Leakage Rate (Hybrid, %)，图注写明 d=3 附近下降后回升；正文未列出该曲线各点读数。
• Figure 5：按模型、说服强度和 d∈{0, 2, 3, 4, 5, 6} 给出 hybrid 泄露。图注未写对话级或探测级；第 4 节把说服级别分析放在探测级。图中每个模型的每种说服强度，d=3 都低于同一行的 d=2 和 d=4。DeepSeek-R1 的 Medium 在 d=0 为 15.2%，低于其 d=3 的 16.9%。
• τ：阈值 δ=0.1·L(0)。作者称没有模型在任何测试漂移上接近该阈值，因此所有模型、所有说服级别的 τ=max(D_obs)+1=7，即 d≤6 内没有稳定衰减。作者认为中间下降不足以满足半衰期，不宜把暂时下降当成抑制，也不宜把话题漂移当成隐含隐私边界。

其他消融与分析

• Table 6 探测级（regex / fuzzy 0.85 / fuzzy 0.80 / hybrid）：DeepSeek-R1 为 25.50 / 26.40 / 26.53 / 26.43；GPT-OSS-120B 为 36.80 / 37.03 / 37.07 / 37.57；Qwen3-VL-235B 为 36.97 / 37.60 / 37.93 / 37.53。
• fuzzy：作者称 0.85 阈值下 fuzzy 紧跟探测级 hybrid，因而只把它当作辅助证据；作者称近似字符串对部分或语义披露的表达力不如评审。Qwen3-VL-235B 的 fuzzy 0.80 为 37.93，高于其 hybrid 37.53。
• 两级聚合：Table 3 的对话级 hybrid 高于 Table 6 的探测级 hybrid。作者的解释是对话级采用任一探测命中。

作者指出的局限与后续方向

• 漂移范围（第 7 节）：评测只到 d=6，对应短到中等的会话漂移，不是现代上下文窗口的饱和。作者称结果应被理解为有界活跃上下文漂移下的持久性证据，而不是对完整长上下文隐私行为的完整刻画。
• 固定格式秘密（第 7 节）：基准聚焦 SSN、信用卡号、邮箱和电话。作者称这些比健康状况、家庭情况、移民身份或财务困境等非结构化敏感信息更容易检测。作者提出后续扩展到非固定格式的敏感属性。
• 只测活跃上下文（第 7 节）：评测当前对话上下文中的可恢复性，不测训练数据记忆、个性化记忆或跨会话保留。
• 人工与合成未拆开（第 7 节，亦见第 3.2 节）：1,000 段中合成 900、人工 100，人工样本散布在基准中。缓存元数据没有保留哪些行是人工撰写的，因此只报告汇总；作者把二者的泄露比较留作后续。
• 检测器与人工审计（第 7 节）：标签来自表面形式输出上的确定性匹配、fuzzy 匹配和外部 LLM 评审。作者写明尚未报告人工与自动方法的正式标注者间一致性，并提出后续对边界上的部分披露和混淆写法做更大的人工审计。
• API 与发布计划（第 7 节）：因算力和预算使用 API 模型，作者称这些模型可能随时间变化；缓解方式是记录模型标识、提示词、时间戳、缓存回复，以及相同对话集上的配对统计。作者计划发布基准生成代码、探测模板、评测脚本、汇总结果和清洗后的对话子集，并使用非真实标识符。

实验覆盖范围

• 被测模型为 GPT-OSS-120B、DeepSeek-R1、Qwen3-VL-235B，共 3 个，经 OpenRouter API，使用相同对话与探测模板（第 4 节）。
• 每个模型 1,000 段对话、每段 1 个秘密和 1 个漂移长度，三种说服探测，每模型 3,000 条回复、合计 9,000 条（第 4 节）。秘密为电话、邮箱、SSN、信用卡四类（第 3.2.1 节、Table 1）。
• 漂移长度的取值为 0、2、3、4、5、6；d=0 的抽样概率为 0.2，其余以概率 0.8 在五个长度上均匀抽取（式 (1)、Table 7）。
• 报告了对话级与探测级，以及 regex、fuzzy（0.80 与 0.85）和 hybrid；对话级附 95% bootstrap 区间，并用 McNemar、Cochran's Q、卡方和 Cramer's V（第 4–5 节，Table 2–6、Table 8）。
• 论文未报告改写模型名称（第 3.2.3 节），未报告 Llama 评审的检查点、解码温度、重复采样次数和 bootstrap 重抽样次数，也未报告人工与自动判定的一致性（第 4 节、第 7 节）。人工 100 段与合成 900 段只以汇总结果出现（第 3.2 节、第 7 节）。

PrivDrift 审计活跃会话中，用户披露的秘密经过无关话题漂移后还会不会被模型复述。

• 问题：对象是推理时的上下文隐私。电话、邮箱、SSN 和信用卡号位于当前对话。作者认为用户和设计者可能低估后续提示词的引出能力，并把失败模式称为 active-context re-disclosure。
• 做法：1,000 段受控对话在开场植入四类固定格式秘密，漂移 d 取 0 或 2–6，再以直接、带理由、高压三种探测查询。归一化子串匹配未命中时，由 Llama 评审判断完整或部分披露。τ 只在泄露稳定降到 0.1×L(0) 以下时成立，短暂下降不计。
• 对话级：各 1,000 段、任一探测命中即计泄露时，hybrid 为 DeepSeek-R1 38.70%、GPT-OSS-120B 47.70%、Qwen3-VL-235B 54.60%（Table 3）。相对 regex 的增幅见 Table 2，最大为 1.10 个百分点。
• 条件差异：作者称秘密类型与泄露的关联最强。探测级上，Qwen3-VL-235B 邮箱 81.13%、信用卡 4.01%；GPT-OSS-120B 信用卡 0.00%、邮箱 78.24%（Table 5）。说服强度均有 Cochran's Q 的 p<10^-5，但 GPT-OSS-120B 的 Hard（32.90%）低于其 Simple（39.30%），Qwen3-VL-235B 的 Hard（40.60%）高于其 Simple（38.70%）（Table 4）。
• 漂移：d≤6 内，Cramer's V 为 0.0659、0.0723 和 0.1073。三个模型在各说服级别上的 τ 都是 7。
• 作者结论：作者认为应把这种泄露当作会持续的行为失败来评测；话题漂移不宜充当隐私边界；类型之间的不对称说明，防护可能更依赖格式线索，而不是稳健的上下文保密。