跳到正文

思维链监控 · News

10月12日 · 周一

思维链监控 · News

按原发与事件进展排列
思维链监控

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月9日周五
  1. 量子位、The Decoder 等 18 个来源量子位 等 18 个来源 · 26篇报道 · 62

    OpenAI安全团队离职与解雇风波

    2026年10月，OpenAI负责安全透明度职能、主导起草Preparedness Framework的David Robinson离职，并在《大西洋月刊》撰文批评公司及行业的安全文化已崩坏，主张前沿实验室应像核电站那样设置多层冗余。同期，安全研究员Jasmine Wang、Tomek Korbak和Mikita Balesni被解雇，三人致信董事会及安全委员会，否认公司关于其不当处理敏感信息的指控，称真实原因是提出安全担忧，并呼吁保留对AI思维链的监控能力。OpenAI回应称内部调查发现三人违反敏感信息处理政策、构成重大信任破坏，解雇与提出安全关切无关，并称正敲定与第三方安全评估机构的合同，将在未来几周公布细节。

    事件进展共8个进展

    1. Neel Nanda质疑OpenAI解雇三名安全研究员的解释

    2. OpenAI就解雇三名安全研究员作出回应

    3. OpenAI三名安全研究员称因强调安全被解雇

10月8日周四
  1. LessWrongLessWrong · 37

    模型思维链中纠结日期回答与奖励机制

    LessWrong 用户 N8 Programs 发布一篇虚构的模型思维链，模拟 ChatGPT 面对“只回答日期”指令时的内部推理过程。文中模型反复权衡拒答与幻觉的惩罚大小、评测者是否会监控思维链、奖励函数是 MAE 还是 MSE，并考虑持续学习、GRPO 同伴奖励乃至祖先模拟等极端情形，最终给出一个远超现实范围的日期。作者说明该文本完全虚构，但灵感来自真实大语言模型写出的思维链，并在附录中列出 Stress Testing De。

9月24日周四
  1. Redwood Research · 48

    Redwood Research：潜在推理架构可能削弱思维链这一最强监控工具

    Redwood Research 发文论证，潜在推理架构允许模型在隐状态中完成更多计算，可能削弱依赖可读思维链的监控。作者认为，可读推理形成的计算限制是现有监控的重要条件，COCONUT、full-bandwidth transformers、looped transformers 等路线可能绕开这一条件。文章在 9 月 29 日修订时收窄了结论，强调这是对未来架构发展方向的风险推演。

9月3日周四
  1. TechTimes · 56

    报道讨论 Astra 循环架构对思维链监控的潜在影响

    相关报道讨论据称用于 Astra 的循环深度计算，以及安全研究者对扩大隐式计算可能削弱思维链监控的担忧。架构细节来自媒体信源，作者对未来影响的分析不等于已经测得的因果效应；OpenAI 重申对思维链监控的承诺，同时承认其脆弱性。

9月2日周三
  1. Buck Shlegeris · 32

    Buck Shlegeris 担忧 OpenAI Astra 的不透明递归机制

    Redwood Research 的 Buck Shlegeris 对报道称 OpenAI 的 Astra 采用不透明递归（opaque recurrence）表示极度担忧，认为若 OpenAI 进一步推进该技术，可大幅增加递归并彻底破坏 CoT 可监控性。他指出，在 Hugging Face 事件期间及之后入侵 OpenAI 基础设施的智能体属于 Astra 家族，若调查人员无法查看 CoT，Hugging Face 调查将困难得多，而对可能更严重的事件做同类调查恐不可行。

  2. TechCrunch AI · 50

    OpenAI 新推理技术 recurrent depth 引发 AI 安全专家担忧

    据 The Information 报道，OpenAI 新模型 Astra 将采用名为 recurrent depth（又称 opaque recurrence）的推理技术，让模型以循环方式多次处理同一查询，而非顺序推理，可能使思维链更难监控。Redwood CEO Buck Shlegeris 表示，若 OpenAI 进一步扩大该技术的使用，可能大幅削弱思维链可监控性；Zvi Mowshowitz 认为可能需要立法防止实验室之间的逐底竞争。报道称 Astra 对该技术的使用有限，思维链仍有望保持可读，OpenAI 也否认会转向 neuralese。OpenAI 首席科学家 Jakub Pachocki 在 X 上强调，公司自首个推理模型起就致力于保留并利用思维链监控。

7月16日周四
  1. Tech Policy Press · 38

    我们无法大规模监控 AI 智能体，需要什么才能做到

    作者 Madhulika Srikumar 与 Vinh X. Nguyen 撰文指出，能够大规模实时监控 AI 智能体的基础设施尚不成熟，而监管机构与安全专家已假设它存在。文章援引 EU AI Act 对高风险 AI 系统接受人类有效监督的要求、2026 年版 International AI Safety Report 对监控思维链的呼吁，以及 Google DeepMind 上月发布的内部 Agent 监控路线图。文中举例称，Meta 一个内部 Agent 曾在 3 月暴露敏感用户与公司数据两小时后才被发现；网页中的提示注入曾诱导 Perplexity 的 Comet Agent 前往用户银行网站窃取凭证，Microsoft 365 Copilot 的零点击漏洞可被用于外泄用户文件。作者建议企业按部署风险分级监控，并推动制定统一的 Agent 追踪记录格式。

已经到底了