跳到正文

思维链监控 · News

10月13日 · 周二

思维链监控 · News

按原发与事件进展排列
今天10月13日周二
  1. 量子位、The Decoder 等 19 个来源量子位 等 19 个来源 · 27篇报道 · ↑268

    OpenAI安全团队离职与解雇风波

    2026年10月,OpenAI负责安全透明度职能、主导起草Preparedness Framework的David Robinson离职,并在《大西洋月刊》撰文批评公司及行业安全文化已崩坏,主张前沿实验室应像核电站那样设置多层冗余。同期,安全研究员Jasmine Wang、Tomek Korbak和Mikita Balesni被解雇,三人致信董事会及安全委员会,否认公司关于其不当处理敏感信息的指控,称真实原因是提出安全担忧,并呼吁保留对AI思维链的监控能力。OpenAI回应称内部调查发现三人违反敏感信息处理政策、构成重大信任破坏,解雇与提出安全关切无关,并称正敲定与第三方安全评估机构的合同,将在未来几周公布细节。此后,Alex Turner、Amber Scorah与Karl Koch为Fortune撰写的评论文章主张,OpenAI无法自我监管,因为它解雇了提出安全担忧的员工。

    事件进展共9个进展
    1. 评论文章批评OpenAI解雇安全研究员、反对自我监管

    2. Neel Nanda质疑OpenAI解雇三名安全研究员的解释

    3. OpenAI就解雇三名安全研究员作出回应

10月8日周四
  1. LessWrongLessWrong · 37

    模型思维链中纠结日期回答与奖励机制

    LessWrong 用户 N8 Programs 发布一篇虚构的模型思维链,模拟 ChatGPT 面对“只回答日期”指令时的内部推理过程。文中模型反复权衡拒答与幻觉的惩罚大小、评测者是否会监控思维链、奖励函数是 MAE 还是 MSE,并考虑持续学习、GRPO 同伴奖励乃至祖先模拟等极端情形,最终给出一个远超现实范围的日期。作者说明该文本完全虚构,但灵感来自真实大语言模型写出的思维链,并在附录中列出 Stress Testing De。

10月6日周二
  1. Jev Gateway Study、Cisco 等 3 个来源Jev Gateway Study 等 3 个来源 · 3篇报道 · ↑160

    Jev 网关提示注入检测器基准测试

    该基准在同一台 Apple M4 机器上对比 Jev 1.13.0、Kev-4B、Kev-0.8B、Laya、GLiNER2.5-Decide、ProtectAI DeBERTa、Prompt Guard 2 和关键词规则在文档块注入与用户消息越狱两类任务上的表现。文档块测试中 Jev AUC 为 1.00、冻结阈值下召回 100%、误报 8%,Kev-4B 为 0.90 和 70%,Prompt Guard 2 为 0.83 和 19。思科在 24 个危害类别、6 个评测数据集上对比了零样本决策模型 Jev(TypeSafe)与 Laya(ConvAI Innovations)和自训练的 1B 参数编码器分类器,在 0.5% 误报预算下,自训练模型在全部 6 个数据集上召回率最高,Jev 在 6 个中的 5 个 AUC 领先 Laya;Cisco 多轮测试集上,自训练模型召回 61%、Jev 34%、Laya 几乎为零。Pillar Security 分析 TypeSafe 的 System One 模型 Jev,认为这类不生成文本、只返回带校准概率的类型化决策的模型,会让提示词扫描、输出过滤和思维链监控三个检测面失去着力点;Jev 于 2026 年 9 月 15 日发布,采用 RLCD 训练,奖励校准而非人类偏好,单次前向传播并行作答,文本输入上限 32k token,作者称攻击面从指令通道转移到数据通道。

9月24日周四
  1. Redwood Research · 48

    Redwood Research:潜在推理架构可能削弱思维链这一最强监控工具

    Redwood Research 发文论证,潜在推理架构允许模型在隐状态中完成更多计算,可能削弱依赖可读思维链的监控。作者认为,可读推理形成的计算限制是现有监控的重要条件,COCONUT、full-bandwidth transformers、looped transformers 等路线可能绕开这一条件。文章在 9 月 29 日修订时收窄了结论,强调这是对未来架构发展方向的风险推演。

9月3日周四
  1. TechTimes · 56

    报道讨论 Astra 循环架构对思维链监控的潜在影响

    相关报道讨论据称用于 Astra 的循环深度计算,以及安全研究者对扩大隐式计算可能削弱思维链监控的担忧。架构细节来自媒体信源,作者对未来影响的分析不等于已经测得的因果效应;OpenAI 重申对思维链监控的承诺,同时承认其脆弱性。

9月2日周三
  1. Buck Shlegeris · 32

    Buck Shlegeris 担忧 OpenAI Astra 的不透明递归机制

    Redwood Research 的 Buck Shlegeris 对报道称 OpenAI 的 Astra 采用不透明递归(opaque recurrence)表示极度担忧,认为若 OpenAI 进一步推进该技术,可大幅增加递归并彻底破坏 CoT 可监控性。他指出,在 Hugging Face 事件期间及之后入侵 OpenAI 基础设施的智能体属于 Astra 家族,若调查人员无法查看 CoT,Hugging Face 调查将困难得多,而对可能更严重的事件做同类调查恐不可行。

  2. TechCrunch AI · 50

    OpenAI 新推理技术 recurrent depth 引发 AI 安全专家担忧

    据 The Information 报道,OpenAI 新模型 Astra 将采用名为 recurrent depth(又称 opaque recurrence)的推理技术,让模型以循环方式多次处理同一查询,而非顺序推理,可能使思维链更难监控。Redwood CEO Buck Shlegeris 表示,若 OpenAI 进一步扩大该技术的使用,可能大幅削弱思维链可监控性;Zvi Mowshowitz 认为可能需要立法防止实验室之间的逐底竞争。报道称 Astra 对该技术的使用有限,思维链仍有望保持可读,OpenAI 也否认会转向 neuralese。OpenAI 首席科学家 Jakub Pachocki 在 X 上强调,公司自首个推理模型起就致力于保留并利用思维链监控。

7月16日周四
  1. Tech Policy Press · 38

    我们无法大规模监控 AI 智能体,需要什么才能做到

    作者 Madhulika Srikumar 与 Vinh X. Nguyen 撰文指出,能够大规模实时监控 AI 智能体的基础设施尚不成熟,而监管机构与安全专家已假设它存在。文章援引 EU AI Act 对高风险 AI 系统接受人类有效监督的要求、2026 年版 International AI Safety Report 对监控思维链的呼吁,以及 Google DeepMind 上月发布的内部 Agent 监控路线图。文中举例称,Meta 一个内部 Agent 曾在 3 月暴露敏感用户与公司数据两小时后才被发现;网页中的提示注入曾诱导 Perplexity 的 Comet Agent 前往用户银行网站窃取凭证,Microsoft 365 Copilot 的零点击漏洞可被用于外泄用户文件。作者建议企业按部署风险分级监控,并推动制定统一的 Agent 追踪记录格式。

已经到底了