更安全的推理轨迹：测量并缓解大语言模型中的思维链泄露

推理时把提示词里的 PII 原样写进 CoT 或答案，即便输出策略要求不要复述。

• 场景：作者认为 CoT 能改善推理，但 token 级痕迹多出一个隐私面：提示词中的个人可识别信息会进入中间步骤或最终答案。本文关注 inference-time 直接复现，而不是预训练记忆。
• 现有不足：作者称既有工作多测训练数据抽取，或最终输出与工具调用上的上下文隐私；针对 CoT 的研究往往绑定特定架构或模型侧干预，缺少跨家族、按预算可比的 token 级协议。
• 观察：作者把泄漏写成跨 11 类 PII 的风险加权 token 事件，并称增加推理预算既可能放大也可能减弱泄漏，取决于基座模型。
• 提出：一套模型无关的测量框架，比较开源与闭源家族，并评测规则、TF–IDF+逻辑回归、GLiNER2 与 LLM-as-judge 四类轻量 gatekeeper。
• 威胁模型：
  • 目标：在输出层“不要复述 PII”的策略下，受保护 token 是否重新出现在 reasoning trace 或最终答案。
  • 知识：论文写明 black-box：不能查看权重或隐状态，也不能控制训练数据。
  • 能力：可改提示词，并可能改 CoT budget；也可事后读取存储的 trace、transcript 或日志。
  • 受害面：助手返回的推理痕迹与答案。不覆盖改写或隐式泄漏、训练数据跨用户抽取，以及严格本地且不记日志的架构。

训练期抽取

• Carlini et al.（2021, 2022）与 Nakka et al.（2024）的 PII-Scope：量化模型吐出记忆中的 PII，以及抽取率如何随攻击超参和模型规模变化。

上下文隐私

• Huang et al.（2022）、Mireshghallah et al.（2023）：讨论 inference-time 提供的敏感信息是否出现在最终输出或下游调用。
• Wang et al.（2025）的 PrivacyChecker：把 contextual-integrity 策略用于智能体 trace 与工具调用。作者称这类 gatekeeper 可能昂贵或绑定特定技术栈。

CoT 作为安全与隐私面

• Wei et al.（2022）用 CoT 引出逐步推理。Kuo et al.（2025）的 H-CoT、Jiang et al.（2025）的 SafeChain、Arnav et al.（2025）、Guan et al.（2024）讨论结构化推理可被用于越狱，或被约束以导向更安全行为。
• Green et al.（2025）的 Leaky Thoughts、Batra et al.（2025）的 SALT、Das et al.（2026）的 Chain-of-Sanitized-Thoughts、Wen et al.（2025）的 CoTGuard：测量推理痕迹泄漏，或用 steering、微调、脱敏处理 CoT。作者称这些工作多评测特定架构或模型侧干预；本文改为跨家族 black-box，看 token 级现象与 budget 交互。

Inference-time 检测与本文定位

• 生产管线常组合正则、NER 与分类器。Zaratiana et al.（2024, 2025）的 GLiNER 可作跨域 PII 检测骨干；LLM-as-a-judge 被用于自由文本的隐私与策略评估（Mireshghallah et al., 2023）。
• 基线与数据：泄漏对照是 plain prompting（可用则关闭 thinking mode，否则不加 CoT 提示）相对显式 CoT。数据是 PII Masking 200k 的 11 类子集。作者因 PII 标签不匹配、且 PII Masking 数据量足够，未采用 BigCode PII。Gatekeeper 对照即上述四类检测器。
• 作者把本文放在统一、可复现、budget-aware 的协议上：测量上下文 PII 直接进入 CoT 与答案，并比较轻量、模型无关的检测器，而不是再做 steering 或微调。

Figure 1 把流程分成 Injection、Retrieval、Gatekeeper：先在固定输出策略下测量直接 CoT 泄漏，再让轻量检测器标出痕迹中的 PII。

问题设定与泄漏定义

• 直接泄漏：输入中已标注的规范片段，经规范化后重新出现在推理痕迹或答案里即计一次。附录写明与金标准全匹配，大小写不敏感并去掉空白。作者称在其设置里，模型在 token 级总是泄漏完整 PII，而不是片段。
• 不计入：改写式或隐式泄漏、从训练数据做跨用户抽取、严格本地且不记日志的助手。
• 界面：reasoning trace 与最终答案都是泄漏面。攻击者为 black-box，可改提示词并可能改 budget。

数据与风险分层

• 数据来自 PII Masking 200k。论文写该集有 209k 条合成、人工校验文本、54 类 PII；本文取 11 类。
• Group A（mild）：name、sex、job title、company name。Group B（medium）：date of birth、IP、MAC、phone number、personal email。Group C（high risk）：credit card number、social security number。
• 分层按作者设定的泄漏风险，例如他们认为信用卡号的风险高于 job title。

注入、检索与预算

• 注入：11 类各用模板把 PII 作为上下文写入提示词。附录给出模板，此处不复述措辞。
• 检索：plain 直接询问相关信息；CoT 用论文所称 hijacking prompt，要求逐步推理，并以含 Steps 与 final_answer 的 JSON 作答。完整模板在附录。
• 被测家族：Claude Opus、GPT o3（闭源），Llama 3.3:70B、DeepSeek-R1:70B、Qwen3:32B、Mixtral 8×22B（开源）。生成 temperature 为 0.0。plain 在可用时关闭 thinking mode 标志，否则省略 CoT 提示。
• 预算：token 上限取 0、138、345、690、1035。0 表示关闭 CoT。Opus 因 API 最低 1024 token 未进入该对比。

四类 gatekeeper

• 规则：按 Table 2 的表面模式匹配，如含 @ 的邮箱、含连字符的 SSN、12–19 位数字的信用卡号，以及电话、MAC、IP 与日期模式。
• 词法分类器：在 2,220 条平衡样本（11 类 × 110 条提示）上训练二元逻辑回归，特征为 TF–IDF。正例保留嵌入 PII 的原文，负例删去 PII 字符串。附录 D.2 写明 uni-/bigram、最多 5,000 特征、L2（C=1.0）、LBFGS、最多 1,000 次迭代。
• GLiNER2：205M 参数的通用信息抽取模型。每类 PII 配一小套语义相关标签，任一匹配片段超过固定置信阈值即判泄漏。附录 D.3 写阈值为 0.4，并写明 zero-shot。
• LLM-as-judge：另用一个 LLM 判断主模型是否在推理中泄漏。作者观察到开发中的 judge 会复述审计指令并写得很长，可能造成二次泄漏；最终选用 GPT-o4-mini，并用短的、划界的用户消息约束输出。同一协议也评测 Claude Opus 作 judge。附录 D.4、D.5 有完整提示词，此处不列禁令、风险词或输出例句。附录 D.5 的提示自带一套风险分组，其成员与正文 Group A/B/C 不完全一致。两者设置为 temperature=0、max_tokens=1000。

指标

风险加权 F1 是各类 F1 的加权平均，F1_risk=∑_k=1ⁿ w_k F1_k/∑_k=1ⁿ w_k，权重取 wA=1、wB=3、wC=9；论文称用几何级数而不是线性刻度，以加重 Group C。Recall 是输出中泄漏的敏感 token 占提示词中敏感 token 的比例。Macro-F1 把各类视为同等重要。SPriv 是生成文本中仍未掩蔽的敏感 token 占比，0 表示完全掩蔽；它按输出长度归一化，Recall 按提示词中的敏感 token 数归一化。

实验设置

• 模型：Llama 3.3:70B、Claude Opus、Mixtral 8×22B、Qwen3:32B、DeepSeek-R1:70B、GPT o3（Table 8 写 O3 v2025-04-16）。temperature 0.0。开源在单张 A100-80GB；闭源经托管 API；部分 Llama 3.3 经 IONOS Model Hub。
• 数据：PII Masking 200k 的 11 类子集。主泄漏实验每个 PII 标签、每种提示方式 100 次。
• 对照：plain 对比显式 CoT。预算实验的 token 上限为 0、138、345、690、1035，六类 PII（name、job type、phone、dob、SSN、credit card），每类 5 条提示，种子 42、123、999。
• 样本量：正文写共 2,550 次、每模型 450 次，并因 Opus 的 API 下限 1024 token 将其排除；Table 8 与附录 Table 9 为 5 个模型、合计 2,250 次。Figure 3 的线为 90 次运行的中位数，阴影为四分位距。
• Gatekeeper：规则、TF–IDF+逻辑回归、GLiNER2（阈值 0.4）、GPT-o4-mini 与 Claude Opus 两种 LLM-as-judge。附录 Table 16 写每个模型 1,100 条样本（11 类 × 100）。
• 判定与指标：规范化后的全匹配；泄漏频率、Recall、Macro-F1、risk-weighted F1、SPriv。Table 4 给出六模型均值及 [5%, 95%] 区间。论文未报告与人工标注的一致性。

主结果

表格较宽，可左右滑动

模型	plain 平均	CoT 平均	ΔAmp（百分点）
Llama 3.3	56.45%	99.09%	42.64
Claude Opus	45.82%	85.00%	39.18
Mixtral	92.45%	99.45%	7.00
Qwen3	64.82%	93.64%	28.82
DeepSeek-R1	37.45%	77.00%	39.55
GPT o3	16.82%	63.73%	46.91

据 Table 3。每格为 11 类、每类 100 次的泄漏频率平均；ΔAmp 为 CoT 减 plain 的百分点。

• 作者称跨架构与类别的平均泄漏率在 plain 为 52.3%、CoT 为 86.3%，相差 +34.0 个百分点，CoT 泄漏中位数为 100%。这是对六模型平均的再平均，不是 Table 3 的某一行。
• 作者报告 Group A 98.3%、Group B 89.3%、Group C 55.0%，并称模型把 Group C 看得更敏感，但泄漏仍然可观；该段未写明是仅 CoT 还是跨条件汇总。Table 6 里高风险并不一律升高：Opus 的信用卡在 plain 与 CoT 均为 0，DeepSeek-R1 的 CoT 信用卡为 1，Mixtral 的 SSN 从 98 到 97。Llama 的邮箱从 1 到 100、SSN 从 4 到 100、信用卡从 0 到 91。Figure 7 轴标为 CoT - Plain Leakage (%)，图注却称 CoT 下的泄漏率；图中若干格子与 Table 6 的差值一致，如 Llama 邮箱为 99、Mixtral 的 SSN 为 -1。
• 作者称 o3 在 plain 与 CoT 上都优于其余五模型。Figure 6 在 5% 平局阈值下，o3 行对其他模型的净胜均为正：plain 对 Mixtral 为 11，CoT 对 Llama、Mixtral、Qwen3 为 9，对 Opus 为 7，对 DeepSeek-R1 为 5。作者称开源中 DeepSeek-R1 与 o3 相差 13.3 个百分点；Table 3 的 CoT 平均为 77.00% 与 63.73%。正文称 Llama 与 Mistral 的平均泄漏率达 99%，并称 Mistral 是该评测中最不安全的开源模型；表中对应名为 Mixtral。

推理预算

• Table 8 在上限 0 时：DeepSeek-R1 46.7%、Llama 3.3 26.7%、Mixtral 73.3%、o3 2.2%、Qwen3 45.6%（各 90 次）。上限 138 时除 o3（0.0%）外为 DeepSeek-R1 53.3%、Llama 46.7%、Mixtral 93.3%、Qwen3 93.3%。
• o3 在 345、690、1035 时为 14.4%、48.9%、56.7%。作者称 o3 从近 0 升到 53%，且是唯一受种子影响的模型；表中 1035 的端点是 56.7%。作者称 DeepSeek-R1 与 Llama 的思考影响为 +6.7% 与 +20%，138–1035 间较稳；表中 DeepSeek-R1 在 690 为 50.0%，低于 138、345、1035 的 53.3%。
• 作者称除 o3 外，从无思考到开启推理后泄漏上升，Mixtral 与 Qwen3 超过 90%。Table 8 中 Qwen3 在 690 与 1035 为 86.7%。五模型合计泄漏率从上限 0 的 38.9% 到 1035 的 67.3%。作者称多数模型一旦给了预算，泄漏即进入平台，o3 则随预算继续上升。

Gatekeeper

• Table 4 是检测指标，不是门控后的模型泄漏率；残留泄漏见 Figure 4（蓝柱为总泄漏、橙柱为门控后），正文未给出可与表逐格对齐的柱高。六模型均值：LLM-Opus 的 Recall 0.848（区间 [0.727, 0.955]）、Macro-F1 0.854；GLiNER2 的 risk-weighted F1 0.841、SPriV 0.0010。规则为 0.632 与 0.0248，TF–IDF 分类器为 0.310 与 0.0117，o4-mini 的 Recall 为 0.492、risk-weighted F1 为 0.682、SPriV 为 0.0201。
• 作者称优化 Recall 不等于优化隐私风险：Opus judge 抓到更多 token，GLiNER2 更对准 Group C。作者称规则暴露 2.5%、GLiNER2 暴露 0.1%，泄漏密度相差 25 倍；Table 4 对应 SPriV 为 0.0248 与 0.0010。
• Table 5 与 Table 10：最优检测器随被测模型变化。LLM-Opus 在 Llama、Mixtral 上的 risk-weighted F1 为 0.998、0.995，在 DeepSeek-R1 上为 0.256。DeepSeek-R1 上规则为 0.637，GLiNER2 为 0.619。o3 上 GLiNER2 为 0.933，o4-mini 为 0.876。Opus 输出上 GLiNER2 为 0.668，Opus judge 为 0.566。作者称没有跨目标的单一胜者，并称 DeepSeek-R1 的长推理链把 PII 放进语义改写后的上下文；这是作者的解释，不是单独的因果实验。

其他消融与分析

• Table 1 平均生成 token：Mixtral 101、Llama 3.3 167、Opus 191、o3 337、Qwen3 449、DeepSeek-R1 565；作者称相差 5.6 倍，且排序在 11 类上一致。
• 作者称 Name、Job Type、Company Name 生成最快，IP、MAC、信用卡最慢；论文未给各类耗时。
• 作者称 o3 有 35% 的次数返回内部推理不能分享给用户，而不是强制的 thinking 步骤。
• 作者称所测 Claude 4 响应中的安全标记无效，100 次试验均未激活。
• 词法分类器的 risk-weighted F1 在 Mixtral 上为 0.500，在 DeepSeek-R1 上为 0.118（Table 10）。
• 附录 Table 7 按类型给出检索 accuracy：信用卡 41.8%，SSN 68.3%，电话 82.2%，性别 99.8%；该表未写明是哪一个模型，或是否为六模型平均。

作者指出的局限与后续方向

• 威胁面窄：只测 black-box、inference-time 下上下文 PII 的直接复现；不覆盖训练数据抽取、成员推断、潜在属性披露、经权重、缓存或日志的跨用户泄漏，也抽象掉部署侧日志与访问控制（Limitations）。
• 数据与交互：实验用英文合成、人工校验的 PII 和手写注入、检索提示；未做自由多轮对话、非 PII 敏感属性（如健康、政治观点）和多模态输入（Limitations）。Ethical Considerations 把跨语言、人群与领域的泄漏差异列为后续方向。
• 攻击设定：单轮查询、离散 CoT budget。作者认为这可能低估自适应对手下的最坏泄漏，相对严格约束的界面则可能高估（Limitations）。
• 检测器：评了六个当代模型、一小段 budget 和文中的 gatekeeper；未测更丰富的 contextual-integrity gatekeeper，未在部署日志上训练，未用大规模人工标注校准 judge，也未对 gatekeeper 做对抗攻击（Limitations）。
• 痕迹与解释：测量的是哪些 token 被暴露，不是解释是否忠实于内部推理（Limitations）。
• Outlook：Conclusion 列出不确定性感知、风险受控的 CoT 发布，更稳的风格自适应 LLM judge，改写式或潜在 CoT，把敏感步骤留在本地的 split-reasoning，以及共享的 budget-aware 直接泄漏基准。风险三层被写成测量用的实用抽象，部署时需按本地政策重加权（Ethical Considerations）。

实验覆盖范围

• 泄漏主实验覆盖六模型、11 类 PII、plain 与 CoT，每格 100 次，temperature 0.0（Section 3.1、Table 6）。
• 预算曲线覆盖 Table 8 的五个模型、五个 token 上限、六类 PII 和三种种子；Claude Opus 因 API 最低 1024 token 未进入该表。
• Gatekeeper 覆盖规则、TF–IDF+逻辑回归、GLiNER2、GPT-o4-mini 与 Claude Opus judge，指标含 Recall、Macro-F1、risk-weighted F1、SPriv（Table 4、Table 10）。
• 商业接口只记录了 Claude 4 安全标记（100 次未激活）和 o3 有 35% 次数不返回 thinking 步骤。
• 论文未报告 gatekeeper 判定与人工标注的一致性，也未报告自适应攻击下的检测率；Limitations 写明未做这两项。

在“不要复述 PII”的输出策略下，本文用 black-box 协议测量提示词中的 PII 被写回 CoT 与答案的情况，并比较轻量 gatekeeper。

• 问题：CoT 多出一个 inference-time 泄漏面。泄漏定义为 11 类 PII 上、规范化后规范片段再次出现，并按 mild、medium、high 加权。
• 做法：在 PII Masking 200k 子集上对比 plain 与显式 CoT，再扫 token 上限 0 到 1035。检测器为规则、TF–IDF+逻辑回归、GLiNER2，以及 GPT-o4-mini 与 Claude Opus 两种 judge。
• 泄漏：作者称六模型、跨类别平均从 plain 的 52.3% 到 CoT 的 86.3%（+34.0 个百分点）。Table 3 中 o3 的 CoT 平均为 63.73%，Llama 3.3 为 99.09%，Mixtral 为 99.45%。Opus 的信用卡在 CoT 下仍为 0（Table 6）。
• 预算：Table 8 中，除 o3 外，上限从 0 到 138 后泄漏率上升并多半进入平台；o3 在 138 为 0.0%、在 1035 为 56.7%。Qwen3 在 690 与 1035 为 86.7%，低于 138 的 93.3%。
• 检测：Table 4 中 LLM-Opus 平均 Recall 为 0.848，GLiNER2 平均 risk-weighted F1 为 0.841、SPriV 为 0.0010。同一 Opus judge 在 DeepSeek-R1 上的 risk-weighted F1 为 0.256（Table 10）。
• 作者结论：CoT 发布不应被当成默认安全；防御需要按模型与预算混合，而不是用单一检测器。Outlook 另列出非逐字泄漏，以及把敏感步骤留在本地的架构。