跳到正文

思维链监控

今天新收录 8 条(含旧文)

第 5 页更新的内容回到最新

9月30日周三
  1. Redwood Research · 收录 · 原文 48

    Redwood Research:潜在推理架构可能削弱思维链这一最强监控工具

    Redwood Research 发文论证,潜在推理架构允许模型在隐状态中完成更多计算,可能削弱依赖可读思维链的监控。作者认为,可读推理形成的计算限制是现有监控的重要条件,COCONUT、full-bandwidth transformers、looped transformers 等路线可能绕开这一条件。文章在9月29日修订时收窄了结论;这是对架构发展方向的风险判断,不能据此认定所有潜在推理模型都无法监控。

    推荐理由Redwood Research 系统论证了潜在推理架构为何会削弱思维链监控,并给出区分必要性与倾向性的分析框架,适合关注 AI 控制与可解释性路线的人参考。

  2. AI Alignment Forum · 收录 · 原文 50

    WorkspaceBench:评估读取模型全局工作区的可解释性方法

    作者发布 WorkspaceBench,一套评估激活到文本工具能否读取模型全局工作区(前向传播中的中间变量)的基准,共 3356 道题、27 个评测族,覆盖安全、逻辑推理与多跳计算,并包含面向单 token 输出工具的子集和专门的幻觉评测。基准基于 Qwen-3.6-27B 开发,作者预期可用于更大模型,但更小或更弱的模型可能需要调整。评测对象包括 Logit lens、J-lens、R-lens、Tuned lens 等单 token 读取器,以及 NLA、SAE、Patchscopes、Template lens、Oracle Lens 等多 token 读取器。作者发现单 token 方法难以呈现多 token 或组合性概念,而 NLA 虽能呈现大量工作区内容却极易虚构,几乎每条读出都含有与上下文矛盾的断言。

  3. AI Alignment Forum · 收录 · 原文 50

    潜在推理架构可能削弱 CoT 这一最强监督工具

    Lukas Finnveden 在 AI Alignment Forum 发文认为,向潜在推理架构的转变很可能削弱思维链(CoT)的可监控性,使 AI 监督更加困难。文章把 CoT 当前的价值分为两类:必要性,即模型不把计划说出来就无法完成目标;倾向性,即模型即使没必要也倾向于把推理写进 CoT。作者认为必要性论证更稳健,因为 CoT 是模型突破单次前向传播串行步数限制的唯一途径,且 RL 不会很快探索出高度非人类的 CoT 用法。潜在推理架构会缩小甚至消除有 CoT 与无 CoT 能力之间的差距:COCONUT 完全用连续潜在思维替代文本 CoT,full-bandwidth transformer 在 CoT 之外并行增加潜在通道,looped transformer 则在文本瓶颈之间大幅增加串行深度。

  4. LessWrong · 收录 · 原文 43

    Toby Ord 从 OpenAI 集群数据反推智能体集群扩展的可并行度

    Toby Ord根据OpenAI公开图表估计,智能体数量扩大10倍的效果约相当于单个智能体增加3至5倍推理token。三个基准得到的协作扩展参数约为0.48至0.68,与部分人类团队和递归自我改进模型的估计相近。作者认为集群目前主要用更高成本换取速度,并讨论该参数对智能爆炸模型的影响。推算只覆盖三个基准和最多16个智能体,不能直接外推到大规模集群;9月27日修订已删除一项关于另一张扩展图的推测。

已经到底了