跳到正文

思维链监控

思维链的可监控性与忠实性,以及用思维链发现不良行为的研究。

163条动态与论文相关主题欺骗与谋划可解释性AI 控制
在这个话题内搜索或按分类筛选

新闻与论文

第 161–163 条 · 共 163 条
9月30日周三
  1. AI Alignment Forum · 收录 · 原文 50

    WorkspaceBench:评估读取模型全局工作区的可解释性方法

    作者发布 WorkspaceBench,一套评估激活到文本工具能否读取模型全局工作区(前向传播中的中间变量)的基准,共 3356 道题、27 个评测族,覆盖安全、逻辑推理与多跳计算,并包含面向单 token 输出工具的子集和专门的幻觉评测。基准基于 Qwen-3.6-27B 开发,作者预期可用于更大模型,但更小或更弱的模型可能需要调整。评测对象包括 Logit lens、J-lens、R-lens、Tuned lens 等单 token 读取器,以及 NLA、SAE、Patchscopes、Template lens、Oracle Lens 等多 token 读取器。作者发现单 token 方法难以呈现多 token 或组合性概念,而 NLA 虽能呈现大量工作区内容却极易虚构,几乎每条读出都含有与上下文矛盾的断言。

  2. AI Alignment Forum · 收录 · 原文 50

    潜在推理架构可能削弱 CoT 这一最强监督工具

    Lukas Finnveden 在 AI Alignment Forum 发文认为,向潜在推理架构的转变很可能削弱思维链(CoT)的可监控性,使 AI 监督更加困难。文章把 CoT 当前的价值分为两类:必要性,即模型不把计划说出来就无法完成目标;倾向性,即模型即使没必要也倾向于把推理写进 CoT。作者认为必要性论证更稳健,因为 CoT 是模型突破单次前向传播串行步数限制的唯一途径,且 RL 不会很快探索出高度非人类的 CoT 用法。潜在推理架构会缩小甚至消除有 CoT 与无 CoT 能力之间的差距:COCONUT 完全用连续潜在思维替代文本 CoT,full-bandwidth transformer 在 CoT 之外并行增加潜在通道,looped transformer 则在文本瓶颈之间大幅增加串行深度。

  3. LessWrong · 收录 · 原文 43

    Toby Ord 从 OpenAI 集群数据反推智能体集群扩展的可并行度

    Toby Ord根据OpenAI公开图表估计,智能体数量扩大10倍的效果约相当于单个智能体增加3至5倍推理token。三个基准得到的协作扩展参数约为0.48至0.68,与部分人类团队和递归自我改进模型的估计相近。作者认为集群目前主要用更高成本换取速度,并讨论该参数对智能爆炸模型的影响。推算只覆盖三个基准和最多16个智能体,不能直接外推到大规模集群;9月27日修订已删除一项关于另一张扩展图的推测。