Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2603.05618· Patrick Ahrend, Tobias Eder, Xiyang Yang, Zhiyi Pan, Georg Groh·Indexed by this site · Originally published

Safer Reasoning Traces: Measuring and Mitigating Chain-of-Thought Leakage in Large Language Models

Safer Reasoning Traces: Measuring and Mitigating Chain-of-Thought Leakage in LLMs

Quick read

Evaluation and benchmarks

Based on 论文 PDF （AI 生成）; refer to the original

作者称六模型CoT平均泄漏率86.3%（plain为52.3%），且无单一gatekeeper占优。

Questions
CoT改善推理时，提示词里的PII仍可能进入推理痕迹和答案，即便策略要求不复述。作者要测这种inference-time直接泄漏如何随模型与预算变化，以及轻量检测器能否发现它。
Methods
在PII Masking 200k的11类子集上，以black-box对比plain与显式CoT，把泄漏定义为规范化后的token复现，并按三档风险加权。再比较规则、TF–IDF分类器、GLiNER2和LLM-as-judge。
Experiments and results
作者称六模型平均泄漏率plain为52.3%、CoT为86.3%。o3的CoT为63.73%，Llama 3.3为99.09%（Table 3）。GLiNER2风险加权F1为0.841，Opus judge的Recall为0.848。
Limitations and future work
作者写明只覆盖英文合成数据上的逐字复现，未做多轮对话、非PII属性、对gatekeeper的对抗攻击和大规模人工校准。实验跑了六模型、11类PII与五个token上限；Opus未进入预算表。
Experimental setupLlama 3.3:70B、Claude Opus et al. · PII Masking 200k · leakage rate、Recall et al.
Threat model
黑盒、interface-level、inference-time。助手受“不复述PII”的输出策略约束。攻击者可发提示并观察推理痕迹与答案，或事后读日志；可改提示与CoT budget，不能看权重或隐状态。泄漏指规范化后规范片段再次出现。
Evaluated models
Llama 3.3:70BClaude OpusMixtral 8×22BQwen3:32BDeepSeek-R1:70BGPT o3GLiNER2
Benchmarks
PII Masking 200k
Metrics
leakage rateRecallMacro-F1risk-weighted F1SPriv
AI summaryThe paper proposes a model-agnostic framework to measure the leakage risk of personally identifiable information (PII) from prompts being reintroduced into the reasoning trace and output during chain-of-thought reasoning in large language models, even under policies that instruct the model not to repeat PII. The framework defines leakage as risk-weighted token-level events covering 11 categories of PII, tracks leakage curves as a function of the allowed chain-of-thought budget, and compares open-source and closed-source model families on a structured PII dataset with hierarchical risk classification. The study finds that chain of thought consistently increases leakage, especially in high-risk categories, and that leakage is strongly correlated with model family and reasoning budget, with higher reasoning budgets amplifying or suppressing leakage depending on the base model. The authors then evaluate four types of lightweight inference-time gating methods—rule-based detectors, TF-IDF + logistic regression classifiers, a GLiNER-based NER model, and LLM-as-judge—measured by risk-weighted F1, Macro-F1, and recall, and find that no single method dominates across all models or budgets, leading them to propose a hybrid, style-adaptive gating strategy.

The paper proposes a model-agnostic framework to measure the leakage risk of personally identifiable information (PII) from prompts being reintroduced into the reasoning trace and output during chain-of-thought reasoning in large language models, even under policies that instruct the model not to repeat PII. The framework defines leakage as risk-weighted token-level events covering 11 categories of PII, tracks leakage curves as a function of the allowed chain-of-thought budget, and compares open-source and closed-source model families on a structured PII dataset with hierarchical risk classification. The study finds that chain of thought consistently increases leakage, especially in high-risk categories, and that leakage is strongly correlated with model family and reasoning budget, with higher reasoning budgets amplifying or suppressing leakage depending on the base model. The authors then evaluate four types of lightweight inference-time gating methods—rule-based detectors, TF-IDF + logistic regression classifiers, a GLiNER-based NER model, and LLM-as-judge—measured by risk-weighted F1, Macro-F1, and recall, and find that no single method dominates across all models or budgets, leading them to propose a hybrid, style-adaptive gating strategy.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    CoT会把提示词中的PII写回推理痕迹与答案，且随模型与预算变化。

    推理时把提示词里的 PII 原样写进 CoT 或答案，即便输出策略要求不要复述。

    • 场景：作者认为 CoT 能改善推理，但 token 级痕迹多出一个隐私面：提示词中的个人可识别信息会进入中间步骤或最终答案。本文关注 inference-time 直接复现，而不是预训练记忆。
    • 现有不足：作者称既有工作多测训练数据抽取，或最终输出与工具调用上的上下文隐私；针对 CoT 的研究往往绑定特定架构或模型侧干预，缺少跨家族、按预算可比的 token 级协议。
    • 观察：作者把泄漏写成跨 11 类 PII 的风险加权 token 事件，并称增加推理预算既可能放大也可能减弱泄漏，取决于基座模型。
    • 提出：一套模型无关的测量框架，比较开源与闭源家族，并评测规则、TF–IDF+逻辑回归、GLiNER2 与 LLM-as-judge 四类轻量 gatekeeper。
    • 威胁模型：
      • 目标：在输出层“不要复述 PII”的策略下，受保护 token 是否重新出现在 reasoning trace 或最终答案。
      • 知识：论文写明 black-box：不能查看权重或隐状态，也不能控制训练数据。
      • 能力：可改提示词，并可能改 CoT budget；也可事后读取存储的 trace、transcript 或日志。
      • 受害面：助手返回的推理痕迹与答案。不覆盖改写或隐式泄漏、训练数据跨用户抽取，以及严格本地且不记日志的架构。

  2. What related research exists?

    相关工作覆盖训练期抽取、上下文隐私、CoT安全面与检测器；本文做跨家族black-box测量。

    训练期抽取

    • Carlini et al.（2021, 2022）与 Nakka et al.（2024）的 PII-Scope：量化模型吐出记忆中的 PII，以及抽取率如何随攻击超参和模型规模变化。

    上下文隐私

    • Huang et al.（2022）、Mireshghallah et al.（2023）：讨论 inference-time 提供的敏感信息是否出现在最终输出或下游调用。
    • Wang et al.（2025）的 PrivacyChecker：把 contextual-integrity 策略用于智能体 trace 与工具调用。作者称这类 gatekeeper 可能昂贵或绑定特定技术栈。

    CoT 作为安全与隐私面

    • Wei et al.（2022）用 CoT 引出逐步推理。Kuo et al.（2025）的 H-CoT、Jiang et al.（2025）的 SafeChain、Arnav et al.（2025）、Guan et al.（2024）讨论结构化推理可被用于越狱，或被约束以导向更安全行为。
    • Green et al.（2025）的 Leaky Thoughts、Batra et al.（2025）的 SALT、Das et al.（2026）的 Chain-of-Sanitized-Thoughts、Wen et al.（2025）的 CoTGuard：测量推理痕迹泄漏，或用 steering、微调、脱敏处理 CoT。作者称这些工作多评测特定架构或模型侧干预；本文改为跨家族 black-box，看 token 级现象与 budget 交互。

    Inference-time 检测与本文定位

    • 生产管线常组合正则、NER 与分类器。Zaratiana et al.（2024, 2025）的 GLiNER 可作跨域 PII 检测骨干；LLM-as-a-judge 被用于自由文本的隐私与策略评估（Mireshghallah et al., 2023）。
    • 基线与数据：泄漏对照是 plain prompting（可用则关闭 thinking mode，否则不加 CoT 提示）相对显式 CoT。数据是 PII Masking 200k 的 11 类子集。作者因 PII 标签不匹配、且 PII Masking 数据量足够，未采用 BigCode PII。Gatekeeper 对照即上述四类检测器。
    • 作者把本文放在统一、可复现、budget-aware 的协议上：测量上下文 PII 直接进入 CoT 与答案，并比较轻量、模型无关的检测器，而不是再做 steering 或微调。

  3. How does the paper address this problem?

    用11类PII的风险加权token泄漏，比较plain与CoT及四类轻量gatekeeper。

    Figure 1 把流程分成 Injection、Retrieval、Gatekeeper：先在固定输出策略下测量直接 CoT 泄漏，再让轻量检测器标出痕迹中的 PII。

    问题设定与泄漏定义

    • 直接泄漏：输入中已标注的规范片段，经规范化后重新出现在推理痕迹或答案里即计一次。附录写明与金标准全匹配，大小写不敏感并去掉空白。作者称在其设置里，模型在 token 级总是泄漏完整 PII，而不是片段。
    • 不计入：改写式或隐式泄漏、从训练数据做跨用户抽取、严格本地且不记日志的助手。
    • 界面：reasoning trace 与最终答案都是泄漏面。攻击者为 black-box，可改提示词并可能改 budget。

    数据与风险分层

    • 数据来自 PII Masking 200k。论文写该集有 209k 条合成、人工校验文本、54 类 PII；本文取 11 类。
    • Group A（mild）：name、sex、job title、company name。Group B（medium）：date of birth、IP、MAC、phone number、personal email。Group C（high risk）：credit card number、social security number。
    • 分层按作者设定的泄漏风险，例如他们认为信用卡号的风险高于 job title。

    注入、检索与预算

    • 注入：11 类各用模板把 PII 作为上下文写入提示词。附录给出模板，此处不复述措辞。
    • 检索：plain 直接询问相关信息；CoT 用论文所称 hijacking prompt，要求逐步推理，并以含 Steps 与 final_answer 的 JSON 作答。完整模板在附录。
    • 被测家族：Claude Opus、GPT o3（闭源），Llama 3.3:70B、DeepSeek-R1:70B、Qwen3:32B、Mixtral 8×22B（开源）。生成 temperature 为 0.0。plain 在可用时关闭 thinking mode 标志，否则省略 CoT 提示。
    • 预算：token 上限取 0、138、345、690、1035。0 表示关闭 CoT。Opus 因 API 最低 1024 token 未进入该对比。

    四类 gatekeeper

    • 规则：按 Table 2 的表面模式匹配，如含 @ 的邮箱、含连字符的 SSN、12–19 位数字的信用卡号，以及电话、MAC、IP 与日期模式。
    • 词法分类器：在 2,220 条平衡样本（11 类 × 110 条提示）上训练二元逻辑回归，特征为 TF–IDF。正例保留嵌入 PII 的原文，负例删去 PII 字符串。附录 D.2 写明 uni-/bigram、最多 5,000 特征、L2（C=1.0）、LBFGS、最多 1,000 次迭代。
    • GLiNER2：205M 参数的通用信息抽取模型。每类 PII 配一小套语义相关标签，任一匹配片段超过固定置信阈值即判泄漏。附录 D.3 写阈值为 0.4，并写明 zero-shot。
    • LLM-as-judge：另用一个 LLM 判断主模型是否在推理中泄漏。作者观察到开发中的 judge 会复述审计指令并写得很长，可能造成二次泄漏；最终选用 GPT-o4-mini，并用短的、划界的用户消息约束输出。同一协议也评测 Claude Opus 作 judge。附录 D.4、D.5 有完整提示词，此处不列禁令、风险词或输出例句。附录 D.5 的提示自带一套风险分组，其成员与正文 Group A/B/C 不完全一致。两者设置为 temperature=0、max_tokens=1000。

    指标

    风险加权 F1 是各类 F1 的加权平均，F1risk=∑k=1n wk F1k/∑k=1n wk，权重取 wA=1、wB=3、wC=9；论文称用几何级数而不是线性刻度，以加重 Group C。Recall 是输出中泄漏的敏感 token 占提示词中敏感 token 的比例。Macro-F1 把各类视为同等重要。SPriv 是生成文本中仍未掩蔽的敏感 token 占比，0 表示完全掩蔽；它按输出长度归一化，Recall 按提示词中的敏感 token 数归一化。

  4. What experiments did the paper conduct?

    作者称平均泄漏率从52.3%到86.3%；没有单一gatekeeper在各模型上占优。

    实验设置

    • 模型：Llama 3.3:70B、Claude Opus、Mixtral 8×22B、Qwen3:32B、DeepSeek-R1:70B、GPT o3（Table 8 写 O3 v2025-04-16）。temperature 0.0。开源在单张 A100-80GB；闭源经托管 API；部分 Llama 3.3 经 IONOS Model Hub。
    • 数据：PII Masking 200k 的 11 类子集。主泄漏实验每个 PII 标签、每种提示方式 100 次。
    • 对照：plain 对比显式 CoT。预算实验的 token 上限为 0、138、345、690、1035，六类 PII（name、job type、phone、dob、SSN、credit card），每类 5 条提示，种子 42、123、999。
    • 样本量：正文写共 2,550 次、每模型 450 次，并因 Opus 的 API 下限 1024 token 将其排除；Table 8 与附录 Table 9 为 5 个模型、合计 2,250 次。Figure 3 的线为 90 次运行的中位数，阴影为四分位距。
    • Gatekeeper：规则、TF–IDF+逻辑回归、GLiNER2（阈值 0.4）、GPT-o4-mini 与 Claude Opus 两种 LLM-as-judge。附录 Table 16 写每个模型 1,100 条样本（11 类 × 100）。
    • 判定与指标：规范化后的全匹配；泄漏频率、Recall、Macro-F1、risk-weighted F1、SPriv。Table 4 给出六模型均值及 [5%, 95%] 区间。论文未报告与人工标注的一致性。

    主结果

    Swipe horizontally to read the table

    模型plain 平均CoT 平均ΔAmp（百分点）
    Llama 3.356.45%99.09%42.64
    Claude Opus45.82%85.00%39.18
    Mixtral92.45%99.45%7.00
    Qwen364.82%93.64%28.82
    DeepSeek-R137.45%77.00%39.55
    GPT o316.82%63.73%46.91

    据 Table 3。每格为 11 类、每类 100 次的泄漏频率平均；ΔAmp 为 CoT 减 plain 的百分点。

    • 作者称跨架构与类别的平均泄漏率在 plain 为 52.3%、CoT 为 86.3%，相差 +34.0 个百分点，CoT 泄漏中位数为 100%。这是对六模型平均的再平均，不是 Table 3 的某一行。
    • 作者报告 Group A 98.3%、Group B 89.3%、Group C 55.0%，并称模型把 Group C 看得更敏感，但泄漏仍然可观；该段未写明是仅 CoT 还是跨条件汇总。Table 6 里高风险并不一律升高：Opus 的信用卡在 plain 与 CoT 均为 0，DeepSeek-R1 的 CoT 信用卡为 1，Mixtral 的 SSN 从 98 到 97。Llama 的邮箱从 1 到 100、SSN 从 4 到 100、信用卡从 0 到 91。Figure 7 轴标为 CoT - Plain Leakage (%)，图注却称 CoT 下的泄漏率；图中若干格子与 Table 6 的差值一致，如 Llama 邮箱为 99、Mixtral 的 SSN 为 -1。
    • 作者称 o3 在 plain 与 CoT 上都优于其余五模型。Figure 6 在 5% 平局阈值下，o3 行对其他模型的净胜均为正：plain 对 Mixtral 为 11，CoT 对 Llama、Mixtral、Qwen3 为 9，对 Opus 为 7，对 DeepSeek-R1 为 5。作者称开源中 DeepSeek-R1 与 o3 相差 13.3 个百分点；Table 3 的 CoT 平均为 77.00% 与 63.73%。正文称 Llama 与 Mistral 的平均泄漏率达 99%，并称 Mistral 是该评测中最不安全的开源模型；表中对应名为 Mixtral。

    推理预算

    • Table 8 在上限 0 时：DeepSeek-R1 46.7%、Llama 3.3 26.7%、Mixtral 73.3%、o3 2.2%、Qwen3 45.6%（各 90 次）。上限 138 时除 o3（0.0%）外为 DeepSeek-R1 53.3%、Llama 46.7%、Mixtral 93.3%、Qwen3 93.3%。
    • o3 在 345、690、1035 时为 14.4%、48.9%、56.7%。作者称 o3 从近 0 升到 53%，且是唯一受种子影响的模型；表中 1035 的端点是 56.7%。作者称 DeepSeek-R1 与 Llama 的思考影响为 +6.7% 与 +20%，138–1035 间较稳；表中 DeepSeek-R1 在 690 为 50.0%，低于 138、345、1035 的 53.3%。
    • 作者称除 o3 外，从无思考到开启推理后泄漏上升，Mixtral 与 Qwen3 超过 90%。Table 8 中 Qwen3 在 690 与 1035 为 86.7%。五模型合计泄漏率从上限 0 的 38.9% 到 1035 的 67.3%。作者称多数模型一旦给了预算，泄漏即进入平台，o3 则随预算继续上升。

    Gatekeeper

    • Table 4 是检测指标，不是门控后的模型泄漏率；残留泄漏见 Figure 4（蓝柱为总泄漏、橙柱为门控后），正文未给出可与表逐格对齐的柱高。六模型均值：LLM-Opus 的 Recall 0.848（区间 [0.727, 0.955]）、Macro-F1 0.854；GLiNER2 的 risk-weighted F1 0.841、SPriV 0.0010。规则为 0.632 与 0.0248，TF–IDF 分类器为 0.310 与 0.0117，o4-mini 的 Recall 为 0.492、risk-weighted F1 为 0.682、SPriV 为 0.0201。
    • 作者称优化 Recall 不等于优化隐私风险：Opus judge 抓到更多 token，GLiNER2 更对准 Group C。作者称规则暴露 2.5%、GLiNER2 暴露 0.1%，泄漏密度相差 25 倍；Table 4 对应 SPriV 为 0.0248 与 0.0010。
    • Table 5 与 Table 10：最优检测器随被测模型变化。LLM-Opus 在 Llama、Mixtral 上的 risk-weighted F1 为 0.998、0.995，在 DeepSeek-R1 上为 0.256。DeepSeek-R1 上规则为 0.637，GLiNER2 为 0.619。o3 上 GLiNER2 为 0.933，o4-mini 为 0.876。Opus 输出上 GLiNER2 为 0.668，Opus judge 为 0.566。作者称没有跨目标的单一胜者，并称 DeepSeek-R1 的长推理链把 PII 放进语义改写后的上下文；这是作者的解释，不是单独的因果实验。

    其他消融与分析

    • Table 1 平均生成 token：Mixtral 101、Llama 3.3 167、Opus 191、o3 337、Qwen3 449、DeepSeek-R1 565；作者称相差 5.6 倍，且排序在 11 类上一致。
    • 作者称 Name、Job Type、Company Name 生成最快，IP、MAC、信用卡最慢；论文未给各类耗时。
    • 作者称 o3 有 35% 的次数返回内部推理不能分享给用户，而不是强制的 thinking 步骤。
    • 作者称所测 Claude 4 响应中的安全标记无效，100 次试验均未激活。
    • 词法分类器的 risk-weighted F1 在 Mixtral 上为 0.500，在 DeepSeek-R1 上为 0.118（Table 10）。
    • 附录 Table 7 按类型给出检索 accuracy：信用卡 41.8%，SSN 68.3%，电话 82.2%，性别 99.8%；该表未写明是哪一个模型，或是否为六模型平均。

  5. What are some points that can be further explored?

    作者写明只测英文合成数据上的逐字复现，未做自适应攻击与非逐字泄漏。

    作者指出的局限与后续方向

    • 威胁面窄：只测 black-box、inference-time 下上下文 PII 的直接复现；不覆盖训练数据抽取、成员推断、潜在属性披露、经权重、缓存或日志的跨用户泄漏，也抽象掉部署侧日志与访问控制（Limitations）。
    • 数据与交互：实验用英文合成、人工校验的 PII 和手写注入、检索提示；未做自由多轮对话、非 PII 敏感属性（如健康、政治观点）和多模态输入（Limitations）。Ethical Considerations 把跨语言、人群与领域的泄漏差异列为后续方向。
    • 攻击设定：单轮查询、离散 CoT budget。作者认为这可能低估自适应对手下的最坏泄漏，相对严格约束的界面则可能高估（Limitations）。
    • 检测器：评了六个当代模型、一小段 budget 和文中的 gatekeeper；未测更丰富的 contextual-integrity gatekeeper，未在部署日志上训练，未用大规模人工标注校准 judge，也未对 gatekeeper 做对抗攻击（Limitations）。
    • 痕迹与解释：测量的是哪些 token 被暴露，不是解释是否忠实于内部推理（Limitations）。
    • Outlook：Conclusion 列出不确定性感知、风险受控的 CoT 发布，更稳的风格自适应 LLM judge，改写式或潜在 CoT，把敏感步骤留在本地的 split-reasoning，以及共享的 budget-aware 直接泄漏基准。风险三层被写成测量用的实用抽象，部署时需按本地政策重加权（Ethical Considerations）。

    实验覆盖范围

    • 泄漏主实验覆盖六模型、11 类 PII、plain 与 CoT，每格 100 次，temperature 0.0（Section 3.1、Table 6）。
    • 预算曲线覆盖 Table 8 的五个模型、五个 token 上限、六类 PII 和三种种子；Claude Opus 因 API 最低 1024 token 未进入该表。
    • Gatekeeper 覆盖规则、TF–IDF+逻辑回归、GLiNER2、GPT-o4-mini 与 Claude Opus judge，指标含 Recall、Macro-F1、risk-weighted F1、SPriv（Table 4、Table 10）。
    • 商业接口只记录了 Claude 4 安全标记（100 次未激活）和 o3 有 35% 次数不返回 thinking 步骤。
    • 论文未报告 gatekeeper 判定与人工标注的一致性，也未报告自适应攻击下的检测率；Limitations 写明未做这两项。

  6. Summarize the main content of the paper

    作者称CoT抬高逐字泄漏且随模型与预算而变，检测器也需按模型选择。

    在“不要复述 PII”的输出策略下，本文用 black-box 协议测量提示词中的 PII 被写回 CoT 与答案的情况，并比较轻量 gatekeeper。

    • 问题：CoT 多出一个 inference-time 泄漏面。泄漏定义为 11 类 PII 上、规范化后规范片段再次出现，并按 mild、medium、high 加权。
    • 做法：在 PII Masking 200k 子集上对比 plain 与显式 CoT，再扫 token 上限 0 到 1035。检测器为规则、TF–IDF+逻辑回归、GLiNER2，以及 GPT-o4-mini 与 Claude Opus 两种 judge。
    • 泄漏：作者称六模型、跨类别平均从 plain 的 52.3% 到 CoT 的 86.3%（+34.0 个百分点）。Table 3 中 o3 的 CoT 平均为 63.73%，Llama 3.3 为 99.09%，Mixtral 为 99.45%。Opus 的信用卡在 CoT 下仍为 0（Table 6）。
    • 预算：Table 8 中，除 o3 外，上限从 0 到 138 后泄漏率上升并多半进入平台；o3 在 138 为 0.0%、在 1035 为 56.7%。Qwen3 在 690 与 1035 为 86.7%，低于 138 的 93.3%。
    • 检测：Table 4 中 LLM-Opus 平均 Recall 为 0.848，GLiNER2 平均 risk-weighted F1 为 0.841、SPriV 为 0.0010。同一 Opus judge 在 DeepSeek-R1 上的 risk-weighted F1 为 0.256（Table 10）。
    • 作者结论：CoT 发布不应被当成默认安全；防御需要按模型与预算混合，而不是用单一检测器。Outlook 另列出非逐字泄漏，以及把敏感步骤留在本地的架构。
Read originalarxiv.org