研究揭示 LLM 交付物修订痕迹导致的无意泄露,并提出 RevLeakBench 基准
论文提出 LLM 助手在私密起草中删除或替换某条目后,仍可能在说明修改时重新暴露该条目,作者称之为修订痕迹。在三个公开对话语料库的实测分析中,共识别出 26,753 条修订请求,其中 2,363 条(8.8%)留下修订痕迹。作者构建了 RevLeakBench,覆盖五个场景的 100 项任务,分对话与 Agent 两条轨道,测量痕迹出现率、被撤回条目的可恢复率、痕迹位置和必要内容保留率。在六个模型上,两条轨道约一半的交付物在撤回后仍陈述了该修改,仅看交付物的读者可从约 13% 的交付物中恢复被撤回内容;即使告知模型整条回复将转发给接收方,仍有 36.4% 的交付物留下修订痕迹。