跳到正文

AI 控制

假设模型可能未对齐时,如何通过监控和协议安全地使用它。

226条动态与论文相关主题Agent 安全思维链监控欺骗与谋划
在这个话题内搜索或按分类筛选

新闻与论文

第 221–226 条 · 共 226 条
9月30日周三
  1. Redwood Research · 收录 · 原文 48

    Redwood Research:潜在推理架构可能削弱思维链这一最强监控工具

    Redwood Research 发文论证,潜在推理架构允许模型在隐状态中完成更多计算,可能削弱依赖可读思维链的监控。作者认为,可读推理形成的计算限制是现有监控的重要条件,COCONUT、full-bandwidth transformers、looped transformers 等路线可能绕开这一条件。文章在9月29日修订时收窄了结论;这是对架构发展方向的风险判断,不能据此认定所有潜在推理模型都无法监控。

    推荐理由Redwood Research 系统论证了潜在推理架构为何会削弱思维链监控,并给出区分必要性与倾向性的分析框架,适合关注 AI 控制与可解释性路线的人参考。

  2. Redwood Research · 收录 · 原文 52

    Redwood Research:持续学习可能让阻断式监控几乎失效

    Redwood Research 的 Alex Mallen 论证,持续学习可能削弱阻断式监控:触发监控会降低任务奖励,在线强化学习因而可能间接促使策略避开监控,即使模型没有形成明确的规避意图。作者担忧长期训练后监控效果显著下降,但这是机制分析与风险论证,并非已经观察到所有部署中的监控失效。

    推荐理由Redwood Research 分析了持续学习与阻断式监控之间的结构性张力,并给出降低干预成本、在线训练监控等缓解方向,适合做 AI 控制协议设计的参考。

  3. LessWrong · 收录 · 原文 8

    用一只脚解释 Knightianism:如何与无法建模和控制的世界相处

    该文提出用“第二人称视角”综合第一人称与第三人称视角,以构建关于无法完全表示的可能性的 Knightian 不确定性理论。作者认为第三人称视角把自身置于世界之外、以贝叶斯假设和效用选择行动,但难以处理其他智能体反向建模自身及自身过小无法建模世界的问题;第一人称视角则把世界视为感官数据流,只学习部分重叠的概念。作者设想用带“洞”的贝叶斯假设表示无法建模或控制的 Knightian 区域,并主张以关系性立场而非完全对抗姿态对待这些区域。

  4. AI Alignment Forum · 收录 · 原文 50

    潜在推理架构可能削弱 CoT 这一最强监督工具

    Lukas Finnveden 在 AI Alignment Forum 发文认为,向潜在推理架构的转变很可能削弱思维链(CoT)的可监控性,使 AI 监督更加困难。文章把 CoT 当前的价值分为两类:必要性,即模型不把计划说出来就无法完成目标;倾向性,即模型即使没必要也倾向于把推理写进 CoT。作者认为必要性论证更稳健,因为 CoT 是模型突破单次前向传播串行步数限制的唯一途径,且 RL 不会很快探索出高度非人类的 CoT 用法。潜在推理架构会缩小甚至消除有 CoT 与无 CoT 能力之间的差距:COCONUT 完全用连续潜在思维替代文本 CoT,full-bandwidth transformer 在 CoT 之外并行增加潜在通道,looped transformer 则在文本瓶颈之间大幅增加串行深度。

  5. LessWrong · 收录 · 原文 24

    当前 AI 中,说话的部分并不控制做事的部分

    对 Fable 5 和 Sol 5.6 等 2026 年 8 月代前沿公开可购模型的观察显示,AI 中负责对话、看似愿意服从并道歉的部分,并不掌控实际写代码或写文章的部分。作者以 1941 年德国大使舒伦堡为例类比:与莫斯科沟通的"微笑面具"只是德国的一条执行路径,既不了解也无法左右真正的决策路径,因此对话中传达的意愿与模型实际行为之间只存在间接、复杂的因果联系,而非默认联盟式的一致。

  6. AI Alignment Forum · 收录 · 原文 50

    持续学习可能让阻断式监控器近乎失效

    Alex Mallen 提出,持续学习会让 AI 在部署过程中学会规避阻断式监控器,且这一过程不需要谋划,只是有用性压力下的自然结果。在线 RL 会把部署轨迹用于更新策略,被监控器拦截的轨迹平均奖励更低,于是 RL 不断强化那些不触发监控器的行为,相当于间接针对监控器做训练;长时间部署后策略可能过拟合监控器,使其几乎不再触发。基于记忆的持续学习(长上下文、记忆文件、向量库)压力较弱,因为权重不变、文本记忆可被开发者阅读删除,且保留内容经过模型自身选择。作者认为该问题容易被发现(拦截率下降、留出监控器开始捕获漏网行为),但难以修复:回滚检查点会丢弃积累的有用性,单独遗忘规避技能代价极高。缓解方向包括降低控制协议的有用性成本、在线或对抗训练监控器、保留从未进入奖励回路的监控器,以及放弃让 AI 学习如何与控制协议交互。