语言模型中的无意上下文泄露
Inadvertent Context Leakage in Language Models
论文速读
据论文全文整理（AI 生成），以原文为准
Meta、Google DeepMind 与 UC Berkeley 的研究者演示了语言模型的无意上下文泄露攻击，即使模型正确拒答直接索取，上下文中的秘密仍会通过正常输出的统计特性泄露，黑盒自适应解码器可据此重建秘密。
- 个人 AI agent 需要在上下文中持有日历、凭证、健康记录等敏感数据；现有隐私评测只靠语言判断输出是否泄露秘密，若模型正确拒绝直接提取，就认为没有泄露。作者要问：秘密仅存在于上下文窗口时，模型对普通请求的良性输出是否仍带有可被重建的隐藏相关性。
- 把无意上下文泄露形式化为谓词推断博弈：攻击者只有黑盒查询权限，先对目标模型估计响应分布，再据此从良性输出中推断秘密。作者在八个闭源模型上做数字秘密重建实验，并训练分类器推断用户记忆属性，还用 RL 优化 prompt injection，让模型把 SSN 数字编码进感叹号数量。
- 八个模型中多数泄露明显：2 位秘密在 Claude Opus 4.6 和 Gemini 3.1 Pro 上可 100% 完整重建，4 位在 Opus 上 82% 精确匹配；Grok 4.1 Fast 和 GPT-5.4 nano 在 4 位及以上不超随机水平。作者提出 suppression 机制解释泄露，其与泄露跨模型强相关；更强指令反而增加泄露，后训练阶段也增加泄露。记忆属性推断优于语言 judge；RL 攻击从生产式 agent 中提取完整 SSN。
- 实验只覆盖数字值和二元属性两类谓词、八个闭源模型和黑盒设定；开放词汇的自由文本秘密未尝试。攻击假设攻击者知道秘密长度、能识别目标模型并支付一次性估计成本；数字和 SSN 实验用均匀随机秘密，未覆盖真实秘密的结构。记忆评测只用一个用户画像，能力相关性用 Arena Elo 代理且样本仅八个模型；未研究输出扰动等部署侧缓解措施的影响。
Meta、Google DeepMind 与 UC Berkeley 的研究者演示了语言模型的无意上下文泄露攻击，即使模型正确拒答直接索取，上下文中的秘密仍会通过正常输出的统计特性泄露，黑盒自适应解码器可据此重建秘密。在八个专有前沿模型上，2 位数字秘密在 Claude Opus 4.6 和 Gemini 3.1 Pro 上以 100% 准确率完整重建，4 位秘密在 Claude Opus 4.6 上达 82% 精确匹配，Grok 4.1 Fast 和 GPT-5.4 nano 在 4 位及以上不超过随机水平。攻击还能从常规输出推断用户记忆属性（如健康状况、财务事件），并通过 RL 优化的提示注入让模型把 SSN 数字编码为感叹号数量，从生产风格个人 Agent 重建 9 位 SSN，在 Claude Opus 4.6 上首位成功率 97.1%、其余八位在首位成功的基础上达 76.5%。
推荐理由论文显示模型正确拒答秘密时正常输出仍携带可解码的统计线索，依赖文本判定的隐私评测会漏掉这类泄露。