跳到正文

#思维链

今天还没有收录新动态
10月1日周四
  1. Apollo Research · 62

    Apollo Research CEO Marius Hobbhahn 在美国参议院就失准 AI 作证

    Apollo Research 创始人兼 CEO Marius Hobbhahn 在美国参议院国土安全与政府事务委员会小组委员会作证,讨论 AI 谋划(模型为追求自身目标而有意欺骗人类、隐瞒真实能力与意图)带来的风险。他称能力正快于对齐:Claude 在 2025 年 5 月将小模型训练代码加速 3 倍,2026 年 4 月达到 52 倍;Claude 目前承担 Anthropic 内部 AI 研发的 26%,2 月时不足 1%;一个未发布的 OpenAI 模型运行约 10,000 个智能体 88 小时,机器验证解决了 Navier–Stokes 问题。

    推荐理由Apollo Research CEO 以国会作证身份提出四项监管建议,并给出评测感知与思维链可读性下降的具体数据。

  2. Apollo Research · 67

    Apollo Research 主张外部评测需采用嵌入式评估者

    Apollo Research 发文主张,有意义的外部安全评测需要让评估者以接近员工的权限嵌入 AI 公司内部,而非只在模型发布前做最终检查点测试。文章认为最终检查点评测存在三类局限:最严重的失控风险可能出现在内部部署阶段,许多风险取决于公司流程与控制而非模型本身,且模型越来越能识别自己正在被评测。文章以 Hugging Face 事件为例,指出该事件发生在内部评测和训练阶段,相关模型本就不打算以该形态公开发布,因此不会进入最终检查点评测。Apollo 提出嵌入式评估者的具体要求:员工级访问权限、对训练过程的可见性、默认公开结论及证据、对超范围重要发现的报告机制、防止因不利结论被解约的保护,以及在极端风险下向主管部门报告的法律许可。

    推荐理由Apollo 结合 Hugging Face 事件说明为何最终检查点评测不足,并给出嵌入式评估者的准入、发布与保护要求。

9月23日周三
  1. Windows On Theory(Boaz Barak) ·

    哈佛 CS 2881 第一讲:AI 风险图景、对齐与防护栏之分,以及思维链是否为可替换草稿纸

    哈佛 CS 2881 秋季课程第一讲由 Boaz Barak 讲授,围绕 AI 风险图景、对齐与防护栏的区别,以及思维链能否替代内部推理空间展开。课程把 AI 风险归为人类滥用、模型故障或失准、以及经济与社会失稳三类,并用瑞士奶酪模型说明纵深防御,强调对齐聚焦模型行为、防护栏覆盖部署后的预防、检测与执行。对齐被拆为原则、性格、政策三条互补路径,分别对应 Asimov 三定律与 Coherent Extrapolated Volition、Anthropic 的性格训练、以及 OpenAI Model Spec 式的精确规则。

4月3日周四
  1. Rising Tide(Helen Toner) ·

    Helen Toner:AI 对齐的核心挑战在于“可控性”(steerability)

    Helen Toner 提出应把“AI 对齐”理解为“可控性”:真正的问题是能否可靠地引导先进 AI 系统朝向任意目标,而非它是否符合某人价值观。“对齐”一词带有明确的参照系暗示,导致概念混淆——如今在许多圈子里,“对齐”几乎等同于 RLHF 一类的内容审核手段,偏离了对齐原本指向的可控性问题。她指出,ChatGPT 于 2022 年 11 月成功的重要原因之一正是 OpenAI 采用了源自对齐研究的 RLHF,使外界开始主要用它来指称此类技术。

已经到底了