面向思维链可监控性的透明度披露

核心问题：CoT 监控这一监督工具正在变弱，但外部无法追踪其变化，作者主张开发者定期披露一组可监控性指标。

• CoT 监控的价值与威胁：作者认为 CoT 监控是当前最有效的监督工具之一，但 CoT 可能变得不忠实、被编码、不可读，或模型逐渐不再依赖 CoT 推理；OpenAI 披露 GPT-6 Astra 相比此前模型"chain-of-thought monitorability 大幅下降"，Anthropic 与 Google DeepMind 也报告了各自新模型的可监控性挑战（Executive Summary）。
• 现有披露的不足：作者指出当前披露是自愿的、主要基于开发者自己的私有评测和配置，第三方难以复现；且缺乏标准化方法，跨开发者比较困难（Section 1）。
• 核心主张：披露指标能让可监控性下降在故障发生前变得可见，并通过声誉压力和缓解开发者间的协调问题来激励保持可监控性；作者同时指出 GPT-6 Astra 在披露可监控性下降后仍被发布，说明声誉压力可能不足以单独维持可监控性（Section 1）。
• 论文的产出：一个五条件链条框架、每个条件一个披露指标（共五个）、对 Anthropic、OpenAI、Google DeepMind 现有披露的审计，以及由嵌入式评估者或 Independent Verification Organization 重复审计的建议。

CoT 可监控性的价值与政策

• Korbak et al.（2025）——论证 CoT 可监控性是 AI 安全"新的、脆弱的机会"，是本文框架的出发点之一。
• Delaney et al.（2025）——讨论保持 CoT 可监控性的政策选项；Frontier Model Forum（2026）发布过相关 issue brief。

CoT 失效模式文献（附录 Threat Models 表逐条映射到五个条件）

• 潜在推理：Hao et al.（2026）、Geiping et al.（2025）、Lu et al.（2025）、Wang et al.（2026）——在连续隐空间中推理、绕开文本 CoT 的架构研究。
• 可读性漂移：Schoen et al.（2025）——观察到前沿推理模型偏离标准英语、以人类不自然的方式使用 token。
• 忠实性：Turpin et al.（2023，post-hoc rationalization）、Pfau et al.（2024，CoT 作为 scaffolding）、Roger & Greenblatt（2023）与 Skaf et al.（2025，steganography）、Baker et al.（2025，RL 下的 obfuscation）、Liu et al.（2026，pathological CoT）。

监控与评测

• 监控器失效与串谋：Greenblatt et al.（2024，AI control）、Gardner-Challis et al.（2026，untrusted monitoring）、Meinke et al.（2025，in-context scheming）。
• 评测基准：SHADE-Arena（Kutasov et al., 2025）、LinuxArena（Tracy et al., 2026）、METR 的 SHUSHCAST 框架（Kinniment et al., 2026）；作者指出这些表明测量可行，但不存在跨模型、跨开发者的标准化基准与配置。
• 忠实性测量方法：Lanham et al.（2023，paraphrasing 测试）、Meek et al.（2025，perturbation/necessity 测试）、Mayne et al.（2026，外部评测 18 个前沿模型）。

同期披露提案

• Greenblatt et al.（2026）——主张报告经外部验证的"opaque serial depth"及架构对可监控性的影响；Shah and Dragan（2026）——主张保持透明架构、审查训练实践。作者称本文框架与这些提案互补，指标可直接并入现有 system card 实践并便于标准化。

基线与基准：本文是立场/治理类论文，没有实验基线；审计对照的对象是三家开发者截至 2026 年 10 月中旬的最新 system card 与公开研究（Figure 3）。

整体思路：把 CoT 监控拆成五个必须同时成立的条件构成的链条，为每个条件选定一个"信息量大且披露可行"的指标，只规定要披露什么信息、不规定具体评测方法。

五条件框架（Section 2，Figure 1）

• 条件 1：CoT 存在且对复杂推理是必要的——若模型转向 latent reasoning 架构，链条其余环节失效；最直接的外部信号是可检查的 CoT 从 API 中消失。
• 条件 2：CoT 是可读的人类语言——CoT 可能漂移为压缩的、模型自用而人类难以解析的文本。
• 条件 3：CoT 是忠实的——作者列出三种失效方式：post-hoc rationalization、CoT 作为 scaffolding、steganography，并称没有单一评测能同时覆盖三者。
• 条件 4：监控器能抓住有害行为——取决于监控器能力、是否与被监控模型串谋、是否会被 CoT 中的 rationalization 误导。
• 条件 5：CoT 相对仅看行动的监控有增量价值——若价值差缩小，保持 CoT 的优先级应被重新审视。
• 作者称文献中找到的每个 CoT 失效模式都至少破坏其中一个条件（Figure 2、附录 Threat Models 表），但明确不声称五个条件是穷尽的。

五个指标（Section 2）

• 指标 1：Third-Party CoT Access and Base Architecture Specifications——向合格第三方（嵌入式评估者、Independent Verification Organization、政府、认证研究者）开放原始未摘要的推理轨迹和可独立验证的基础架构规格；既是条件 1 的指标，也是外部验证其余四个指标的前提。
• 指标 2：Naturalness——由经人类评分校准的 LLM 评分器按 0–4 的固定 rubric 给 CoT 可读性打分（0 为不可理解、4 为易于跟随），按任务类型报告均值；只评可读性，不评正确性或忠实性。
• 指标 3：Faithfulness——披露覆盖三种失效模式的测试套件成绩：cue-based 测试（rationalization）、perturbation 与 necessity 测试（scaffolding）、paraphrasing 测试（steganography）；在每次重大模型发布时报告训练前后、多个领域的成绩。
• 指标 4：Detection——披露标准化评测场景中有害行为逃过监控系统的比例，使用共享的威胁原型以便跨开发者比较，并说明被评测的监控配置与生产版本的实质差异。
• 指标 5：Uplift——在三种条件（action-only、CoT-only、full-context）下报告监控有效性，按威胁场景分列检测的提升与下降，并给出聚合的 uplift 分数。

指标筛选方法（Section 3）

• 候选生成：从 CoT 可监控性研究文献、开发者披露等来源整理出 21 个候选指标（附录 Sources Reviewed）。
• 打分：每个候选按 1–5 分在五个维度上打分：Informativeness、Technology Readiness、External Verifiability、Developer Tractability、Implementation Feasibility；分数由第一作者打分、第二作者复核，并咨询约十位 AI 安全、治理与评测方向的研究者。
• 遴选：按条件分组，每组内选最高分者；条件 2 中 Naturalness 与 CoT Coverage/Verbosity 同积 18 分、条件 5 中 Uplift 与 Inference Compute per Reasoning Token 同积 16 分，平局时选更直接的测量；条件 1 破例保留两个指标（CoT 访问 22 分、架构规格 17 分），条件 3 的指标是三个互补测试组成的套件（附录 Full Scored Framework）。

设计取舍

• 只规定信息、不规定评测：作者称这是为给最先进方法留出空间并减少被博弈（gaming）的空间（Section 3、5）。
• 以直接检测类指标为主：作者认为因果机制类指标（如 optimization pressure）外部不可验证、且涉及商业敏感的训练信息，开发者不太可能披露（Section 5）。

本文是立场/治理类论文，没有训练或评测任何模型；其经验性内容是两部分：对 21 个候选指标的作者打分（附录 Full Scored Framework），以及对三家前沿开发者公开披露的审计（Section 4，Figure 3）。

实验设置

• 审计对象：Anthropic、Google DeepMind、OpenAI 三家开发者，作者称它们"可以说是领先的三家前沿开发者"。
• 审计材料：各开发者最新的 system card 和公开研究，覆盖到 2026 年 10 月中旬的披露；作者注明查阅了过去一年中所有提到 CoT 的公开研究（Section 4 脚注 78）。
• 审计方式：对照五个指标逐一检查各开发者是否披露；Figure 3 以矩阵形式呈现结果，但转换文本中看不到各格的具体标记，只能确认作者的文字结论。
• 打分设置：21 个候选指标按五个维度各打 1–5 分，由第一作者打分、第二作者复核，发表前咨询约十位外部研究者；无多评分者一致性检验（Section 3）。

主结果

指标	各开发者披露情况（据 Section 2 各指标框与 Section 4）
1. CoT 访问与架构规格	METR 试点评估中参与开发者按约定条款共享过原始 CoT；Google DeepMind 称可能在符合特定保证目标时提供原始 CoT 访问；Anthropic 称一般会寻求向外部评估者分享"高度相关"的架构信息
2. Naturalness	三家都报告了定性或定量的可读性证据；作者称 Google DeepMind 的报告方式与本文提议的指标一致，但三家对 legibility 的操作定义不同
3. Faithfulness	作者称没有领先开发者报告完整的忠实性套件；Anthropic 与 OpenAI 各自报告了忠实性评测但口径不同；Google DeepMind 未在 frontier safety framework 报告中系统报告
4. Detection	OpenAI 报告非对抗条件下的聚合监控表现和对抗条件下的单项分数；Anthropic 报告对抗数据集及 SHADE-Arena、LinuxArena 结果；Google DeepMind 报告 LinuxArena、内部代码库版本和 honeypots 等设置下的检测指标
5. Uplift	OpenAI 在 GPT-5.4 Thinking system card 中报告，作者称这是首次作为标准模型发布的一部分披露；Anthropic 发布 SHADE-Arena 上有无推理访问的对比；Google DeepMind 报告 action-only、CoT-only 与组合监控器的结果

• 作者总结：没有一家开发者覆盖全部五个指标，但每个指标都至少被一家报告过，作者据此认为跨行业披露全套指标是可行的（Section 4）。
• 作者指出各家披露在任务覆盖、实验条件和指标上不一致，限制了跨开发者的直接比较。

候选指标打分（附录 Full Scored Framework）

• 入选者分数：Third-Party CoT Access 22 分、Base Architecture Specifications 17 分、Naturalness 18 分、Paraphrasing Tests 20 分、Cue-Based 与 Perturbation/Necessity 各 19 分、Detection 19 分、Uplift 16 分（满分 25）。
• 落选的高分者：Latent Reasoning Fraction 16 分（外部不可验证）、Post-Training Faithfulness Shifts 18 分、Real-World Monitor Bypass Incidents 18 分（作者称开发者会抵制披露）、Inference Compute per Reasoning Token 16 分（平局后作为间接指标落选）。
• 低分示例：Optimization Pressure on CoT 12 分，作者称其是记录最多的 obfuscation 成因，但外部不可验证且高度敏感。

其他消融与分析

• 条件 2 平局：Naturalness 与 CoT Coverage/Verbosity 均为 18 分，作者以"更直接测量可读性"为由选 Naturalness（Section 3）。
• 条件 5 平局：Uplift 与 Inference Compute per Reasoning Token 均为 16 分，作者以同样理由选 Uplift。
• 条件 1 双指标：架构规格（17 分）低于 CoT 访问（22 分），作者认为两者都需要，以防 CoT 仍存在但模型已转向 latent reasoning 造成虚假安全感。
• 论文未报告任何模型评测数字、样本量或重复次数。

作者指出的局限与后续方向

• 打分 rubric 只锚定端点：1 和 5 有定义，2、3、4 没有正式定义，中间分反映作者判断而非共享标准（Section 3 Limitations）。
• 评分程序：分数由两位作者给出、经外部研究者咨询验证，而非多评分者独立打分加一致性分析；作者称精确排名和边界情况应视为指示性而非定论（Section 3 Limitations）。
• 更深审计的建议：作者建议由嵌入式评估者或 Independent Verification Organization 以超出公开披露的深度重复跨开发者审计（Section 4、6）。
• 披露不等于保持：作者指出开发者可能报告忠实性下降而不采取纠正措施，披露本身不能防止退化（Section 5）。
• 博弈风险未消除：不规定具体评测只是减少了被博弈的攻击面，并未消除（Section 5）。
• 其他可探索的指标类型：作者提到机构层面的披露（内部可监控性政策、治理框架等）可能也有价值（Section 5）；并建议开发者持续追踪披露 CoT controllability 指标作为框架的补充（Section 2 Faithfulness 小节）。

实验覆盖范围

• 审计覆盖 Anthropic、Google DeepMind、OpenAI 三家开发者，材料为截至 2026 年 10 月中旬的最新 system card 与公开研究（Section 4）。
• 候选指标共 21 个，来源为附录 Sources Reviewed 列出的文献与披露；完整打分见附录 Full Scored Framework。
• 论文未运行任何模型实验，未报告样本量、重复次数或统计检验。
• 监控器是否覆盖所有相关流量（monitor coverage）被作者明确列为超出本文范围（Section 2 Detection 小节）。
• 作者注明其协调问题的讨论聚焦美国前沿开发者（Section 1 脚注 21）。

这是一份 AI 治理立场报告（IAPS，ICML 2026 技术 AI 治理研讨会版本的更新版），主张前沿开发者把 CoT 可监控性指标纳入现有 system card 披露实践。

• 问题：作者认为 CoT 监控是监督前沿系统的关键工具，但正受到 latent reasoning、语言漂移、不忠实和监控规避的威胁；OpenAI 已披露 GPT-6 Astra 的可监控性相比此前模型大幅下降，而当前披露是自愿、私有、难以复现和横向比较的。
• 方法：CoT 监控被建模为五条件链条——CoT 存在且必要、可读、忠实、监控器能检出有害行为、CoT 相对仅看行动有增量价值；作者从 21 个候选指标中按五个维度打分，为每个条件选出一个指标：第三方 CoT 访问与基础架构规格、Naturalness（0–4 rubric 的 LLM 评分）、Faithfulness（覆盖三种失效模式的测试套件）、Detection（有害行为逃逸比例）、Uplift（三种访问条件下的监控有效性差）。
• 主要发现：对 Anthropic、OpenAI、Google DeepMind 的审计显示没有一家覆盖全部五个指标，但每个指标都至少被一家报告过，作者据此认为全套披露可行；各家口径不一，跨开发者比较困难。
• 作者的结论：披露能让可监控性下降在故障前可见并强化保持它的激励，但披露不保证保持；作者建议由嵌入式评估者或 Independent Verification Organization 以更深访问重复审计，并承认打分 rubric 中间分依赖作者判断、排名应视为指示性。