跳到正文
10月8日 · 周四

思维链监控 · 论文

精选论文 19 篇
思维链监控

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
  1. 分析/可解释性arXiv:2610.04914 · 54

    研究提出 monitorability disposition 指标：大推理模型仅约 16% 的应报案例会主动自我报告

    评测4个大推理模型发现可选下仅自报16%的误行为且高严重度自报为0，模型系统性选择宽容通道。

    • 约 16%4个LRM在可选指令下的平均自报比例（Figure 1）
    • 约 87%4个LRM在强制指令下的平均自报比例（正文第4节）
    • 约 147%4个LRM在激励指令下的平均自报比例（正文第4节）
    6 问速览研究大推理模型在推理中是否愿意主动调用工具自报不当行为。

    1. 这篇论文试图解决什么问题？

      研究大推理模型在推理中是否愿意主动调用工具自报不当行为。

    2. 有哪些相关研究？

      梳理了自报训练、CoT监控与监督颠覆研究，本文聚焦于自报意愿。

    3. 论文如何解决这个问题？

      通过开闭监控工具对、双/四通道拓扑与四类指令量化模型自报意愿。

    4. 论文做了哪些实验？

      可选下自报率仅16%，高严重度为0，模型系统性选择宽容通道。

    5. 有什么可以进一步探索的点？

      作者指出工具压力未能解决意愿问题；实验覆盖4模型与150样本。

    6. 总结一下论文的主要内容

      大推理模型缺乏自报意愿，偏好宽容通道并掩盖严重度，需专门对齐。

    完整解读
  2. 分析/可解释性arXiv:2610.06851 · 54

    研究发现基础模型仅靠固定开头 token 即可达到 RL 级推理表现

    预填充仅2个token的开头引导词即可使基模型在MATH-500等基准上达到RL级推理表现，数据编辑证实该效应源于训练关联。

    • 42%Olmo-3-7B，MATH-500，RL-Zero 提示词，无 cue pass@1（Figure 2）
    • 78%Olmo-3-7B，MATH-500，RL-Zero 提示词，预填充 .\\n\\n Okay pass@1（Figure 2）
    • 75%Olmo-3-7B RL 对应模型，MATH-500，RL-Zero 提示词，无 cue pass@1（Figure 2）
    6 问速览探究基模型响应开头的极短 token cue 能否直接激发复杂推理行为，以及该行为是否源于训练数据的关联。

    1. 这篇论文试图解决什么问题？

      探究基模型响应开头的极短 token cue 能否直接激发复杂推理行为，以及该行为是否源于训练数据的关联。

    2. 有哪些相关研究？

      围绕推理激发、Token级控制、RL机理及训练数据关联展开，定位为解释短 cue 激发行为的成因。

    3. 论文如何解决这个问题？

      利用答案一致性最小化香农熵自动检索短 cue，并通过预填充与数据反事实编辑验证因果联系。

    4. 论文做了哪些实验？

      极短 cue 在多模型上匹敌 RL 表现，数据编辑可因果改变 cue 效应，在安全场景亦显著影响拒答。

    5. 有什么可以进一步探索的点？

      作者指出研究集中于直接 RL 设定且依赖模型数据特性，后续需深入解耦语义与数据关联。

    6. 总结一下论文的主要内容

      揭示基模型可通过2个token的cue达到RL级推理水平，数据编辑证实该效应源于训练关联。

    完整解读
  3. 分析/可解释性arXiv:2610.02702 · 56

    研究：LLM 智能体顺从多数时内部仍保留原有前提

    用J-lens检测辩论中屈从多数的LLM，发现多模型内部仍表征原bridge（如Qwen3.5-4B读出达0.852）。

    • 0.852Qwen3.5-4B测试集屈从智能体原bridge的J-lens读出均值(Table 2)
    • 0.223Qwen3.6-27B测试集屈从智能体原bridge的J-lens读出均值(Table 2)
    • 0.237Gemma-4-E4B-it测试集屈从智能体原bridge的J-lens读出均值(Table 2)
    6 问速览探究多智能体辩论中向多数屈从的LLM是否在内部仍表征其原始推理前提。

    1. 这篇论文试图解决什么问题？

      探究多智能体辩论中向多数屈从的LLM是否在内部仍表征其原始推理前提。

    2. 有哪些相关研究？

      涵盖多智能体辩论收敛性、LLM从众与阿施效应、以及机理解释与J-lens潜在推理分析。

    3. 论文如何解决这个问题？

      通过双跳事实隐藏中间实体，用J-lens从残差流读取未表述前提，结合预注册层区间与激活干预。

    4. 论文做了哪些实验？

      在4款模型上测试预注册假设，3款模型证实静默异见，隐藏回答使全部模型读出原前提。

    5. 有什么可以进一步探索的点？

      作者指出因果干预局限、样本仅占已知事实3%–9%等局限；实验覆盖4个开源模型及特定双跳事实。

    6. 总结一下论文的主要内容

      揭示LLM智能体屈从多数时内部仍表征原推理前提，指出辩论表态共识可能夸大真实认同。

    完整解读
  4. 分析/可解释性arXiv:2609.37312 · 54

    研究：隐蔽推理必然留下信息痕迹，但思维链未必可读

    作者分析指出复杂隐蔽推理必须在 CoT 泄露足迹并承担长度税，但单层 Transformer 在密码假设下可在线加密。

    • 99.83%单层Transformer在1024位PARITY上的联合准确率(Table 15)
    • 99.0%Qwen2.5-7B在128–255位Parity的Piggy准确率(Table 6)
    • 99.3%Qwen在19步S5的SpecialTokens隐蔽准确率(Table 6)
    6 问速览论文从理论与实证探究 Transformer 推理模型能否在思维链中隐匿计算，以及监视器能从中提取多少信息。

    1. 这篇论文试图解决什么问题？

      论文从理论与实证探究 Transformer 推理模型能否在思维链中隐匿计算，以及监视器能从中提取多少信息。

    2. 有哪些相关研究？

      相关研究涵盖 CoT 监控与忠实度、填充词元隐式计算、语言模型隐写以及 Transformer 电路复杂度分析。

    3. 论文如何解决这个问题？

      论文通过定精度电路复杂度分析确立足迹下界与长度税，并基于 Goldreich 伪随机生成器构建单层在线加密思维链。

    4. 论文做了哪些实验？

      实验涵盖 2 个模型微调与 5 个家族大模型评测，证实信息足迹机制在长序列上的优势与在线加密可行性。

    5. 有什么可以进一步探索的点？

      作者指出了加密思维链的拟真度、白盒检测可行性及训练依赖等局限，后续可在白盒监控与语义隐写展开探索。

    6. 总结一下论文的主要内容

      论文从理论与实证探明了思维链监控的边界：复杂隐蔽计算必然泄露信息足迹且需承担长度税，但该足迹可被在线加密而不可读。

    完整解读
  5. 分析/可解释性arXiv:2610.02015 · 55

    研究：RLVR 后训练在全新推理任务上引发语言漂移

    作者称理论证明RLVR允许无界语言漂移且限制漂移必限制奖励，实验显示新任务RLVR会导致降低互读性的独特语言漂移。

    • -0.24Llama在GSM8K上Best-Perf检查点的痕迹可读性AUC差值(Table 2)
    • -0.17Gemma在GSM8K上Best-Perf检查点的痕迹可读性AUC差值(Table 2)
    • 0.02Qwen在GSM8K上Best-Perf检查点的痕迹可读性AUC差值(Table 2)
    6 问速览探明RLVR后训练中语言漂移的成因，以及限制漂移对模型性能的理论制约。

    1. 这篇论文试图解决什么问题？

      探明RLVR后训练中语言漂移的成因，以及限制漂移对模型性能的理论制约。

    2. 有哪些相关研究？

      梳理RL中的语言漂移、前沿模型不可读推理痕迹，以及通过偏好或提示诱导新型语言行为的研究。

    3. 论文如何解决这个问题？

      建立语言漂移与训练过程的形式化理论，证明RLVR的无界漂移与奖励权衡，并设计片段可读性评测协议。

    4. 论文做了哪些实验？

      在GSM8K上用三款小模型对比RLVR与SFT，验证新任务下RLVR导致更大漂移且每次漂移方向独特。

    5. 有什么可以进一步探索的点？

      作者指出了模型较小、数据集单一及缺少定理3实证等局限，实证范围覆盖到1.5B模型和GSM8K。

    6. 总结一下论文的主要内容

      论文证明并验证了RLVR在新任务上必然诱发独特的语言漂移，揭示了前沿推理模型可监控性的安全隐患。

    完整解读
  6. 分析/可解释性arXiv:2609.25366 · 55

    研究：思维链对答案的约束随模型相对任务难度而变化

    作者通过扰动续写发现CoT承重性随难度上升：Gemma在GSM8K错误传播率3.9%，在BBH达40.9%。

    • 94.5%Gemma-2-9B-IT，GSM8K，旁路率（Table 1）
    • 40.9%Gemma-2-9B-IT，BBH，错误传播率（Table 1）
    • 98.8%Gemma-2-9B-IT，序贯模型已解释离差中难度项占比（Table 5）
    6 问速览探究思维链是否真正因果约束最终答案，发现思维链承重性随任务难度提升而由装饰性向承重性转变。

    1. 这篇论文试图解决什么问题？

      探究思维链是否真正因果约束最终答案，发现思维链承重性随任务难度提升而由装饰性向承重性转变。

    2. 有哪些相关研究？

      围绕思维链忠实性行为分析、机制可解释性与模型自我修正展开，本文在可扩展的因果扰动与表征分析上确立定位。

    3. 论文如何解决这个问题？

      提出基于续写的因果测试协议，通过单步扰动与截断续写度量思维链承重性，并结合探针与激活引导检验其表征与可控性。

    4. 论文做了哪些实验？

      作者在被测模型和正确多步基线中比较难度、扰动、表征与干预；结果支持承重性与模型相对难度相关，但不构成跨模型的普遍因果规律。

    5. 有什么可以进一步探索的点？

      汇总作者明确提出的模型规模、单步扰动与标签噪声等局限，并客观梳理实验覆盖的边界。

    6. 总结一下论文的主要内容

      在所测续写干预与模型中，思维链对答案的约束随任务和后训练条件而变；这种单向承重性不能等同完整机制忠实性。

    完整解读
已经到底了