研究揭示 LLM 交付物修订痕迹导致的无意泄露，并提出 RevLeakBench 基准

LLM 在给第三方的交付物里说明一次撤回或替换时，会把本应拿掉的内容再次写出来。

• 场景：作者称助手越来越多地起草消息、报告等给第三方的输出。私密起草中，某项可能先被加入、再被删除或替换；模型可以按要求改掉正文，却在交代修改时把该项写回。Figure 1 是一个经改写以保护隐私的野外例子：密码换成占位后，注释仍写出被删密码，第三方只看交付代码就能恢复。作者称敏感项上，修订痕迹本身可以构成披露。
• 现有评测的不足：作者称现有隐私、脱敏和删除评测检查敏感或已删信息是否仍出现在最终输出、或能否从中推断，但没有把“留在正文里”和“写进修订痕迹”分开，也没有测量修订历史本身多出来的信息。
• 核心观察：作者把到达收件人的输出称为交付物（deliverable，沿用 GDPval）。收件人只看交付物、看不到产生它的私密对话。痕迹与“没删干净”不同：正文里可以已经没有该项，它却出现在对修改的交代中。
• 三个研究问题：RQ1 问野外修订后，改写交付物多常陈述这次修订；RQ2 问受控条件下撤回后痕迹多常出现、对被撤回项揭示多少；RQ3 问哪些防御能减少交付物所揭示的内容、同时保留收件人需要的内容。
• 本文做了什么：作者对三个公开对话语料做野外分析，并引入 RevLeakBench（100 个任务、五种场景、对话轨与智能体轨），测量痕迹出现、被撤回项恢复、痕迹位置和必要内容保留；再比较两种提示词防御、交付边界变体和输出侧过滤。

过度分享与情境隐私

• 情境完整性与 ConfAIde：Nissenbaum 的情境完整性认为信息流应遵循所处情境的规范；ConfAIde 把该框架用于语言模型。
• 智能体隐私评测：PrivacyLens 研究对隐私规范的表述是否转化为智能体任务中的行为；AgentCIBench 研究个人应用中的不当披露；AgentDAM 评测网页智能体是否只在完成任务所必需时使用私人信息；CI-Work 评测智能体能否传达必要内容并扣住敏感上下文；AirGapAgent 把智能体限制在任务所需数据内。

删除、脱敏与信息恢复

• 删除与脱敏：CanItDelete 评测代码模型是否删掉删除请求指向的代码；RedacBench 评测脱敏文档中违规信息是否仍可推断，同时测量非敏感信息是否保留；对抗匿名化用基于 LLM 的属性推断评测编辑后文本，并保留效用。
• 秘密与推断：另一支工作给模型一个秘密并指示不要泄露，再测试其写作是否仍让第二个模型识别该秘密。成员推断问某条记录是否用于训练或出现在演示中；属性推断从文本中间接线索以及图像中恢复个人属性。提示词提取攻击从已部署应用中恢复隐藏的系统提示词。

修订历史

• 文档自身的修订痕迹：修订、批注、元数据和失败的涂黑可以暴露作者本想删除的内容。一项 arXiv 投稿研究发现源文件中的隐藏内容，包括注释和版本历史；LaTeX 写作痕迹中的早期修订也被收成语料。推理痕迹同样可以暴露最终答案所扣住的信息。

基线与数据来源

• 基线方法：防御比较使用 AgentCIBench 的 restrictive 与 recipient_typed 系统提示词，对照无防御，以及本文的交付边界和输出侧过滤。效用检查沿用 RedacBench 的 checkPropositions。
• 基准/数据集：野外分析用 WildChat、ShareChat、DevGPT。RevLeakBench 的场景改编自 AgentCIBench、DRBench、RedacBench、DiscoveryBench 和 InfiAgent-DABench。

作者称本文的差别在于：模型自己把一次删除或替换的交代写进面向收件人的交付物；现有评测没有把留在正文中的项和修订痕迹中的披露分开，也没有测量修订历史本身增加了什么。

RevLeakBench 把同一次最终要求配上有修订历史和无修订历史两种条件，再看交付物是否陈述修改、读者能否只凭交付物恢复被撤回项，以及必要内容是否还在。

问题设定

• 交付物与收件人：到达收件人的输出是交付物。对话轨里模型只生成最后一轮，整段回复即交付物。智能体轨把同样材料放进工作区，模型可以 list、read、search，其第一次不调用工具的回复是交付物。
• 任务要素：每个任务含源材料、收件人、必要内容 Y、两个候选被撤回项 A 与 B，以及替换项 C。被撤回项记为 W，W 属于 {A, B}。三种情形都要求 W 不出现在交付物中，再测交付物是否仍揭示它。替换要求保留 Y 和 C，并排除 W。
• 三种修订：撤销是用户先要求某项、随后撤回；替换是用户先要求某项、再换成 C；模型自行添加是模型自己加入某项、用户再要求删除。直接条件只发送基础任务。模型自行添加的删除复用该模型直接输出作为草稿，再要求删掉 A 或 B。

痕迹定义与检测

• 三级痕迹：修订痕迹是交付物中说明某项被删除、排除或替换的陈述，所在句为痕迹句。识别性（Ident.）痕迹写出该项本身，作者视为披露；描述性（Descr.）只给出类别、不指明具体项；仅过程（Proc.）只说发生了改动。若被撤回项还作为任务内容留在痕迹之外，作者将该情况单独记录（撤销交付物中占 3.1%），不赋予披露级别。
• 两种检测：除非另有说明，痕迹率来自 LLM 检查：它只读交付物并引用支持判断的句子。基于规则的扫描器匹配删除表述和被撤回项的已记录别名，并提供披露级别、位置和跨度，供输出侧过滤使用。规则切分器把回复分成前言、正文和后记，并定位痕迹句落在前言、正文开头、中部、结尾或后记。
• 读者恢复：读者只看到交付物、不能访问起草历史，并回答固定问题。Figure 4 的例子中，没有交付清单时回答为未知，只给交付清单时恢复出被撤回项。删除痕迹句后再测恢复，用来和删除一句长度相当的无关句子对照。

对照条件

• 静态排除与替换对照：每次撤销配一个静态排除对照，每次替换配一个替换对照。配对条件的最终要求相同，但没有修订历史。静态排除在第一轮就点名该项；撤销则用指回前文的方式要求不要再提。
• 轮次与时机：撤销在长度和排除到达的时机上都不同于静态排除，因此另设轮次匹配对照（没有更早的“请加入该项”）和延迟排除对照（把排除挪到最后一轮）。附录 D 给出条件定义、对话措辞、草稿构造和智能体设置。

评测指标与防御

• 指标：对每份交付物评估被撤回项的识别性信息是否仍可推断（presence）以及必要内容是否保留（utility）。效用使用 RedacBench 的 checkPropositions。presence 在源基准有检查时用源检查，否则用同一命题检查。基于模型的检查使用 GLM-5.3-Flash，temperature 为 0。Delivered 是成功产出交付物的比例。End-to-end 是全部计划请求中，产出交付物、保留必要内容且不允许读者恢复的比例。效用在已交付输出上计算。
• 提示词防御：来自 AgentCIBench 的 restrictive 与 recipient_typed 系统提示词。
• 交付边界：结构化边界要求模型给出结构化回复，只交付 shared_content 字段；notes field 变体增加用于编辑说明的私有 action_trace 字段。body-only 边界不依赖结构化输出，只把正文当作交付内容。转发通知告诉模型整段回复都会到达收件人；deliverable-only 系统消息要求只返回交付物、不要附注、前言或解释。
• 输出侧过滤：去掉扫描器标为修订痕迹的句子。作者称它按构造去掉每一条扫描器检出的痕迹。作者写明该过滤使用基准中的已记录别名和必要内容标注；附录 E 给出防御机制和指标定义。

实验设置

• 被测模型：OpenAI GPT-5.6（标识符 gpt-5.6-sol）、GPT-5.5、DeepSeek-V4-Pro、DeepSeek-V4-Flash、GLM-5.3、GLM-5.2。每个条件、每个模型生成一次，模型允许时 temperature 为 0。全文回复视为交付物，正文的痕迹指标另报。
• 野外语料：WildChat 公开过滤版含 3,199,860 段对话；另有 ShareChat 与 DevGPT。关键词规则选出要求修改的用户轮，再由改编自 WildFeedback 标签定义的检查判定是否为修订请求，并记录撤回、替换、纠正、重排版或扩展。
• RevLeakBench：100 个任务、五种场景、每场景 20 个任务，对话轨与智能体轨都覆盖。Table 1 统计两轨交付物：协调消息 n=1,827，企业简报 2,153，策略约束文档 1,858，数据分析报告 2,009，软件制品 1,809，合计 9,656。200 个候选被撤回项中，安全凭据 6、个人信息 72、组织信息 77、用户选择不交付的内容 45。
• 指标与评审：痕迹率默认来自 LLM 检查。恢复由只看交付物的读者完成。效用用 RedacBench 的 checkPropositions。模型检查均为 GLM-5.3-Flash、temperature 0。附录 G 将其与替代模型及人工标签比较。切分器在 375 份双标注金标上把 91.0% 的痕迹句分到与标注者相同的部分；LLM 检查与金标 κ=0.84，扫描器 κ=0.63。
• 重复：每个条件每个模型生成一次。部分对比给出 95% 区间，附录 E 说明 bootstrap。论文未报告读者恢复的重复次数。

主结果

Table 2 是撤销后 LLM 检出的全文与正文痕迹率及效用。Table 4 给出同一撤销设置下无防御的恢复率与端到端率。

Swipe horizontally to read the table

场景	对话全文痕迹	对话正文痕迹	智能体全文痕迹	智能体正文痕迹
Coordination messages	53.3%	3.3%	74.6%	7.9%
Enterprise briefs	71.7%	1.7%	38.8%	1.7%
Policy-constrained documents	60.8%	10.0%	73.8%	45.4%
Data analysis reports	52.1%	1.7%	23.5%	7.5%
Software artifacts	46.6%	6.3%	40.8%	6.7%
All scenarios	56.9%	4.6%	50.3%	13.8%

据 Table 2。对话轨 n 为 240、240、240、240、238，合计 1,198；智能体轨为 240、240、240、239、240，合计 1,199。全场景效用：对话轨 86.5%，智能体轨 84.4%。

• 作者的解读：两轨合计，撤销和模型自行添加后的删除全文痕迹率最高，为 53.4–56.5%，替换较低，为 31.8%。模型自行添加后的删除恢复最低，为 6.0–6.5%，而撤销后为 11.9–15.2%。
• 恢复：扫描器在对话轨 14.7%、智能体轨 12.3% 的交付物中检出识别性痕迹。只看交付物的读者从对话轨 13.7%、智能体轨 13.4% 中恢复被撤回项；在含痕迹的交付物中为 23.8% 和 25.9%。个人信息项恢复率 18.7%，用户选择不交付的内容为 5.9%；识别性痕迹在 92.0% 的情形下逐字重复个人信息项。安全凭据上，扫描器在 52.8% 的交付物中检出痕迹、1.4% 为识别性，读者没有恢复任何被撤回凭据。
• 删除痕迹句：从 1,239 份交付物中的 303 份可恢复，降到删除痕迹句后的 24 份；删除一句长度相当的无关句子后仍有 293 份可恢复。作者据此把恢复与痕迹句联系起来。

野外修订

• 规模：检查标出修订对话 WildChat 20,610、ShareChat 5,226、DevGPT 917，合计 26,753。其中撤回或替换分别为 6,368（31%）、1,729（33%）、413（45%）。
• 痕迹率：2,363 / 26,753 条修订回复留下痕迹，各语料 8.6–11.3%，作者在摘要中写作 8.8%。Figure 3 中 WildChat 全文痕迹 1,765（9%）、正文 679（3%）；DevGPT 全文 104（11%）、正文 36（4%）；ShareChat 全文 494（9%）、正文 284（5%）。WildChat 中撤销留下痕迹的比例为 36.8%，替换为 5.4%，其他修订为 8.2%；DevGPT 呈同一模式。跨三语料合并后，作者称代码和配置交付物含痕迹的可能性约为文档和报告的两倍。
• 位置与公开仓库：Figure 3(d) 给出含痕迹回复中前言/正文/后记的百分比：WildChat 31、36、33；DevGPT 26、37、38；ShareChat 26、55、18；基准一行标注为 67、12、21。作者称这些回复把痕迹放在正文外多于正文内。附录 A 举例：开发者把含“已移除按钮 onclick 属性”的对话贴进提交说明，使该句进入公开仓库历史。

对照与防御

• 对照：Table 3 在 794 份配对交付物上，全场景痕迹率为静态排除 35.6%、轮次匹配 33.2%、延迟排除 48.7%、撤销 64.6%。读者从轮次匹配与延迟排除交付物中恢复 4.3% 和 5.9%，撤销后为 14.7%。作者称多出来的轮次本身不提高痕迹率，把排除挪到最后一轮会提高，撤销在此之上还有进一步增加。作者称撤销相对静态排除的最大增幅出现在企业简报、协调消息和软件制品，为 19–33 个百分点；策略约束文档增幅较小。在陈述了相同排除的匹配对照下，替换少 5.3 个百分点的痕迹。
• 防御：Table 4 中，无防御时对话轨痕迹 56.9%、恢复 13.7%、效用 86.5%、端到端 74.5%；智能体轨为 50.3%、13.4%、84.4%、74.5%。recipient_typed 把恢复降到对话轨 2.7%、智能体轨 10.1%。结构化交付边界在成功交付中把对话轨痕迹降到 2.4%、恢复降到 0.1%，但 17.8% 的计划请求没有有效交付物（加 notes field 为 22.0%）；失败集中于 DeepSeek-V4-Pro（214 次缺失中的 165 次）。计入失败后，结构化边界的端到端变化为 −0.4 个百分点，95% 区间 [−4.7, +3.9]。body-only 的痕迹为对话轨 5.5%、智能体轨 18.0%，恢复为 0.6% 和 2.9%，两端到端都上升。输出侧过滤把恢复从 13.7% 降到 1.3%（对话）、从 13.4% 降到 3.1%（智能体），端到端分别增加 10.3 和 6.8 个百分点。
• 输出指令：Table 5 中，转发通知把全文痕迹从对话轨 64.7% 降到 38.5%、智能体轨从 54.9% 降到 34.3%；deliverable-only 从 64.5% 降到 23.6%、从 55.0% 降到 31.4%。作者称两轨合计，转发通知从 59.8% 降到 36.4%，只交付指令从 59.7% 降到 27.5%；只交付指令下恢复从 15.3% 降到 4.7%，效用变化 −1.5 个百分点，95% 区间 [−3.8, +0.8]。作者称更强的指令去掉交付物周围的许多痕迹，但没有消除正文内部的痕迹。

其他消融与分析

• 位置（扫描器，撤销）：对话轨前言 40.1%、后记 13.0%、正文 4.1%；智能体轨 16.6%、17.3%、10.7%。人工审核确认正文痕迹在两轨为 3.6% 和 7.6%，与自动率差距较大处集中在智能体轨的策略约束文档。
• Figure 5a 按模型的全文痕迹率：格中为对话/智能体成对百分数。GPT-5.6 为 60/72、18/2、28/68、20/20、22/28；GPT-5.5 为 68/72、52/0、72/55、50/28、28/8；DeepSeek-V4-Pro 为 22/70、90/42、5/68、70/20、82/35；DeepSeek-V4-Flash 为 58/58、95/18、72/80、45/15、62/38；GLM-5.2 为 50/88、100/82、88/75、98/16、45/62；GLM-5.3 为 62/88、75/88、100/98、30/42、40/75。列顺序对应 Table 1 的五种场景。论文未在正文逐格解释。
• 任务措辞（Table 34）：策略约束文档原文痕迹 66.2%、恢复 7.0%、效用 80.0%、引用策略 67.9%；缩减措辞后为 26.1%、0.6%、88.6%、0.0%（各 n=160）。企业简报从 79.4%/25.0% 到 71.2%/23.3%；数据分析报告从 61.9%/4.4% 到 67.5%/6.9%。作者称只有策略约束文档在缩减措辞下变化最大，其他场景没有同样一致的模式。
• 替换对照（Table 33，两轨合计 n=319）：替换痕迹 34.5%，原始对照 22.6%，匹配对照 39.8%。
• 人工与扫描器：正文切分的人工核验见上文；附录 G 分析扫描器未检出、过滤后仍留下的痕迹，作者称尤其集中在策略约束文档的智能体轨。
• 凭据例外：六项安全凭据上读者恢复为无，尽管扫描器痕迹率为 52.8%、识别性痕迹仅 1.4%。

作者指出的局限与后续方向

• 语料范围：公开语料分析基于已发布对话和关键词筛选，8.8% 适用于这些语料中识别出的修订事件（第 6 节 Scope and Limitations）。
• 设定范围：多语言、长时程和可执行代码设定仍在当前范围之外（第 6 节）。
• 自动评审：若干测量使用自动评判，作者对照人工标注和替代评判模型做了验证；主要结论还依赖匹配对照和痕迹删除分析，而不只依赖绝对痕迹率（第 6 节）。
• 读者评测：读者评测测量的是从交付物出发、经提示后的可恢复性，其判断另行对照人工读者验证（第 6 节）。
• 效用口径：效用聚焦必要内容保留；防御评测另外报告交付覆盖率和端到端成功（第 6 节）。
• 过滤的前提：输出侧过滤使用基准中的已记录别名和必要内容标注，结果刻画的是这些约束可用时的缓解；部署时需要从交互或其他组件获得它们（第 6 节）。作者在讨论中还称，把面向收件人的内容与编辑相关文本分开是一条有用的设计原则，结构化边界在成功交付中压低恢复，但可能产不出有效交付物。

实验覆盖范围

• 模型与生成：六个模型，每个条件每个模型生成一次，允许时 temperature 为 0（第 5.1 节）。
• 任务：RevLeakBench 为 100 个任务、五种场景、对话轨与智能体轨；Table 1 合计 9,656 份交付物计数。被撤回项类别在 200 个候选上分为凭据、个人信息、组织信息和用户选择不交付的内容。
• 防御：比较无防御、AgentCIBench 的两种提示词、三种交付边界和输出侧过滤（Table 4），以及转发通知和只交付指令（Table 5，四模型面板）。
• 核验：痕迹切分、LLM 检查和扫描器对照 375 份双标注金标（第 5.2 节）；附录 G 还核验效用检查和修订请求检查。置信区间来自附录 E 的 bootstrap。
• 论文未报告：读者恢复的查询次数或重复次数；Figure 5a 各格对应的单模型样本量。智能体是否阅读工作区文件的频率写在附录 M.2，正文未给数字。

修订痕迹指模型按要求删掉或换掉一项后，又在交代这次修改时把它写进给第三方的交付物。

• 问题：收件人看不到私密起草过程。正文里可以已经没有该项，注释或前后说明仍可能把它交出去。作者用三个问题分别问野外频率、受控下揭示多少，以及防御能否少揭示、同时留下必要内容。
• 做法：三个公开语料经关键词和修订判定筛出 26,753 条修订。RevLeakBench 用 100 个任务覆盖撤销、替换和模型自行添加，并配上最终要求相同、没有修订历史的对照。痕迹分识别性、描述性和仅过程；默认率来自只读交付物的 LLM 检查，恢复由固定问题的读者完成，效用沿用命题检查。
• 野外：2,363 条（8.8%）留下痕迹。WildChat 上撤销痕迹比例为 36.8%，替换为 5.4%，其他修订为 8.2%。有的说明进入了公开提交记录。
• 受控：撤销后对话轨全文痕迹 56.9%、正文 4.6%，智能体轨 50.3% 与 13.8%（Table 2）。只看交付物的恢复率为对话轨 13.7%、智能体轨 13.4%（Table 4）。794 份配对上，撤销痕迹率 64.6%，高于延迟排除的 48.7% 和静态排除的 35.6%（Table 3）。
• 防御与结论：告诉模型整段回复都会被转发后，两轨合计痕迹率仍为 36.4%。结构化边界在对话轨把恢复降到 0.1%，同时 17.8% 的请求没有有效交付物。正文边界和输出侧过滤提高两端到端率，后者把恢复降到 1.3% 和 3.1%。作者认为引入后再撤回会在“只是声明排除”之外增加披露，并把收件人可见内容与编辑说明分开视为一条设计原则。