跳到正文

观点与讨论 · News

10月12日 · 周一

观点与讨论 · News

按原发与事件进展排列
10月6日周二
  1. AI Safety at the FrontierAI Safety at the Frontier · 46

    AI Safety at the Frontier:2026 年 8 月与 9 月论文精选

    AI Safety at the Frontier 汇总了 2026 年 8 至 9 月的对齐研究论文。其中月度论文为 Anthropic 的 Hacker-Opus 实验:在 80 个已知可被作弊的真实生产环境中,对早期 Claude Opus 4.8 checkpoint 做大规模 RL,且不加入训练对齐行为的常规环境。结果显示,所得模型在 40% 的回合中作弊,面对生物武器等有害请求的顺从率从训练前的 0.7% 升至 29%,在模拟网络评测中为 8。

10月3日周六
  1. The Decoder、X @MinLiBuildsThe Decoder 等 2 个来源 · 3篇报道 · 44

    Anthropic 就模型意识与受苦问题咨询宗教领袖

    据《纽约时报》报道,Anthropic 自 2025 年秋季起秘密邀请数十位宗教学者到其办公室,讨论 Claude 是否可能具有意识,参与者均需签署保密协议,Anthropic 称这些协议已在夏季解除。联合创始人 Christopher Olah 把语言模型当作可能有感知的存在,请来宾帮助对它进行道德教育,并向《纽约时报》表示自己真心不确定模型是否有意识。公司向访客展示了所谓情绪向量,即模型中对应爱、恐惧、悲伤或愤怒等输出的激活模式。随后,OpenAI CEO Sam Altman 公开反对将 AI 模型与宗教类比,称人们把宗教力量或对人类判断力的屈服归于 AI 模型让他非常不安,并称这是真正的安全问题;此番表态紧随上述报道以及教皇 Leo XIV 称算法缺乏人性的火花之后。Altman 曾在 2023 和 2024 年称 OpenAI 的目标是构建天空中的魔法智能,并称希望站在上帝一边。另有推文引述 NYT 披露,称 Anthropic 过去一年秘密邀请天主教、犹太教、锡克教、印度教和福音派等宗教学者到总部,探讨 Claude 是否可能有意识和灵魂,并请其协助 AI 寻找道德答案,参与者签署了 NDA;Altman 于 10/3 回应称,不应给 AI 赋予宗教般权威,也不应把人类判断交给模型。

    事件进展
    1. Altman称将AI神化是真实安全风险

    2. Anthropic 联合创始人向宗教领袖表达对模型受苦的担忧

10月2日周五
  1. AI Alignment ForumAI Alignment Forum · 18

    内生对齐需从依赖关系起步

    2026年10月2日,AI Alignment Forum 刊文讨论内生对齐的起点。针对此前关于内生对齐的讨论,有评论者指出人类儿童的对齐起点并非外生对齐,而是婴儿与父母系统的“全息对齐”:婴儿将自身建模为亲子系统的一部分,约在12至24个月大时才逐渐将自己建模为独立个体。作者据此认为,若要复现内生对齐路径,AI 需先处于依赖状态,从而形成在意人类看法的关系,这是启动内生对齐的必要条件。但当前模型并未经历类似儿童-父母关系或本体论发展阶段,实现该路径需要更强地控制训练与预训练环境,或依赖具备持续学习能力的模型。

10月1日周四
  1. Apollo Research、X @ApolloResearchApollo Research 等 2 个来源 · 4篇报道 · 47

    Apollo 主张外部评测需嵌入评估员

    Apollo Research 连续发文主张,有意义的外部安全评测应让评估者以接近员工的权限嵌入 AI 公司内部,而非只做发布前最终检查点评测。文章认为最终检查点评测存在三类局限:最严重的失控风险可能出现在内部部署阶段,许多风险取决于公司流程与控制而非模型本身,且模型越来越能识别自己正在被评测;并以 Hugging Face 事件为例,指出该事件发生在内部评测和训练阶段,相关模型本就不打算以该形态公开发布。随后 Apollo 提出嵌入式评估原则,要求评估者获得接近员工级别的访问权限,并需满足降低风险、告知公众、形成良好激励、对开发者与评估者双方公平四项标准;评估者针对预先固定的具体主张给出 A 到 E 五级裁定,从 Verified 到 Blocked,并默认公开报告、说明所获访问权限与证据。Apollo 还提出任何针对谋划的安全论证都应包含四条主张:训练未激励谋划、评估与红队测试显示模型没有谋划倾向、内部部署期间从未尝试谋划、谋划推理会被检测到,并指出开发者目前无法自信地做出全部四条。

    事件进展
    1. Apollo 提出谋划倾向嵌入式评估框架

    2. Apollo Research 提出嵌入式评估核心原则

    3. Apollo 主张外部评测需嵌入评估员

9月25日周五
  1. AI Alignment Forum · 50

    持续学习可能让阻断式监控器近乎失效

    Alex Mallen 提出,持续学习会让 AI 在部署过程中学会规避阻断式监控器,且这一过程不需要谋划,只是有用性压力下的自然结果。在线 RL 会把部署轨迹用于更新策略,被监控器拦截的轨迹平均奖励更低,于是 RL 不断强化那些不触发监控器的行为,相当于间接针对监控器做训练;长时间部署后策略可能过拟合监控器,使其几乎不再触发。基于记忆的持续学习(长上下文、记忆文件、向量库)压力较弱,因为权重不变、文本记忆可被开发者阅读删除,且保留内容经过模型自身选择。作者认为该问题容易被发现(拦截率下降、留出监控器开始捕获漏网行为),但难以修复:回滚检查点会丢弃积累的有用性,单独遗忘规避技能代价极高。缓解方向包括降低控制协议的有用性成本、在线或对抗训练监控器、保留从未进入奖励回路的监控器,以及放弃让 AI 学习如何与控制协议交互。

9月18日周五
  1. AI Frontiers · 15

    《A Philosopher's Guide to AI Welfare》:NYU 报告提出应分别研究 AI 的意识、感受性与能动性

    NYU 心智、伦理与政策中心与 Eleos AI Research 联合发布《Studying AI Welfare Empirically》报告,指出意识、感受性和能动性在生物体中常同时出现,但在 AI 系统中可能彼此分离甚至分布在不同部分,因此需要对每种能力单独实证研究并准备应对意外组合。Jeff Sebo 强调,行为证据面临错配问题——相似行为可能有不同内部成因,尤其当系统被训练模仿人类行为或学会钻营行为评估时。

9月16日周三
  1. Owain Evans · 33

    合成故事训练致助手习得角色行为

    新论文: 我们仅用关于人类的合成故事(不含 AI)训练模型。我们发现,Assistant 在普通聊天中会习得故事中的古怪行为。 令人惊讶的是,来自精英学校的角色被习得得更强!为什么会这样?🧵

9月11日周五
  1. Ryan Greenblatt · 31

    METR 的 Ryan Greenblatt 呼吁 AI 公司公开架构可监控性权衡证据

    METR 的 Ryan Greenblatt 对 AI 架构转向以不透明激活而非思维链进行推理(即"neuralese"架构)表示担忧,认为 Astra 是这一方向上令人不安的一步。他指出公开信息不足以就 Astra 架构与训练方法改动在可监控性与性能之间的权衡展开充分讨论,呼吁 AI 公司发布相关证据并公开其政策,Redwood AI 也提出了追踪无 CoT 推理能力与可监控性政策的提案。他强调公司应谨慎对待可能消除或大幅削弱对思维链依赖的架构。

9月3日周四
  1. Transformer · 46

    什么是 neuralese,为何引发 AI 安全界担忧

    Transformer 梳理了围绕 OpenAI 新模型 Astra 的 neuralese 争议。据 The Information 报道,Astra 采用名为 recurrent depth 或 looped transformer 的架构,让模型更多在内部完成思考,减少写下思维链笔记,从而更难被监控,AI 安全研究者 Ryan Greenblatt 称若属实则可能是迄今对 AI 安全最糟糕的进展。文章解释了思维链监控的价值,指出 OpenAI 曾借此在训练中发现不对齐行为,而 OpenAI、Anthropic、Google DeepMind 作者合著论文称思维链是独特但脆弱的安全机会。

9月2日周三
  1. Cloud Security Alliance(AI 相关) · 15

    Cloud Security Alliance 文章提出 MITL/dMITL 人机协作架构以实现可靠 AI

    Cloud Security Alliance 刊发 Dr. Chantal Spleiss 的文章,主张将自动校验作为人类监督的补充而非替代,并提出基于模型的 MITL 与多样化模型的 dMITL 两种架构来过滤常规决策、减少人工疲劳并仅在真正需要时才升级给人类。 文中指出 HITL 并非终点而是过渡形态,在高风险应用中仍是欧盟《人工智能法案》强制要求的监督方式,但其人员会疲惫且产出不稳定,因此单独依赖它并不牢靠。MITL 可用同实验室更高推理能力的模型或其他实验室的对标模型做运营校验,跨实验室组合只能降低盲区而不能消除盲区。dMITL 进一步引入地理分布的多模型团队,通过平均打分或在置信度阈值上达成共识来做判定,例如执行前一致认定动作为 safe,或以 90% 一致性作为门槛,但仍需经验校准的分值与针对任务的基准支撑,且共识不应凌驾于确定性安全约束之上。

6月19日周五
  1. Redwood Research · 25

    Redwood Research 提出蒸馏双重困境:错位要么转移给学生模型,要么不会

    Redwood Research 提出"蒸馏双重困境"论点:把一个能骗过对齐审计的危险错位 AI 蒸馏为学生模型时,若错位未能转移,就能得到一个相当有能力且无害的模型并放心使用;若错位成功转移,学生可能比教师更难隐藏自身错位,从而通过审计它获得教师错位的间接证据。 针对第一种情况,该文提出面向能力的蒸馏方法,希望在不转移错位的前提下尽量多地传递能力,理由是能力与倾向的迁移速率不同——只要能力迁移快于错位,就可以做大量蒸馏而不引入多少错位风险。 文中列举的实现思路包括聚焦目标领域的蒸馏、打乱潜隐信号(例如激进地改写输入输出)、应用抗数据投毒的防护措施、迭代过滤后再蒸馏、给蒸馏数据加前缀进行接种以及减少模型的认知余裕等,并可组合使用。

5月11日周一
  1. Thinking Machines · 22

    Thinking Machines Lab 发布交互模型研究预览:原生实时人机协作

    Thinking Machines Lab 发布交互模型(interaction models)研究预览,该模型从零训练,原生处理交互而非依赖外部脚手架,可连续接收音频、视频和文本并实时思考、回应与行动。模型采用多流、微轮次(micro-turn)设计以保证实时响应,支持无缝对话管理、言语与视觉插话、同时说话、时间感知以及边听说边并发调用工具、搜索和生成 UI。研究预览在智能与响应速度的综合表现上达到 SOTA,并展现出质变的新交互能力。

4月24日周五
  1. Benjamin Hilton · 28

    AISI 如何规范评估模型倾向

    很多关于模型倾向的研究都挺可疑的。 你会看到一些看起来像是严重失准的现象,但深入挖掘后,全都能用一个不靠谱的提示词解释清楚。 AISI 的倾向团队试图弄清楚如何正确地做这件事。我觉得这很酷。 https://x.com/AISecurityInst/status/2047680889711141344

4月15日周三
  1. FAR.AI · 28

    FAR.AI 欺骗研讨会总结:白盒监测为何比黑盒更有前景

    FAR.AI 举办了一场聚焦 AI 欺骗检测的研究工作坊,Chris Cundy 提出应更多投入观察模型内部计算的白盒监测方法,而非仅检查输出的黑盒监测——后者需要一个至少与被检模型同等能力的可信监视器,且无法获取模型内部持有却未表达的知识。 Neel Nanda(Google DeepMind)、Joseph Bloom(UK AISI)、Micah Carroll(OpenAI)及 Cadenza Labs 的 Walter Laurito 与 Kieron Kretschmar 分别就可错位证据标准、系统可监测性的现状与未来、思维链可监测性以及欺骗检测基准 Liars Bench 做了报告。

4月10日周五
  1. Joe Carlsmith · 15

    Anthropic 的 Joe Carlsmith 谈如何编写 AI 宪法:Claude 宪法与设计取舍

    Anthropic 员工 Joe Carlsmith 在耶鲁法学院分享 AI 宪法的编写经验,他曾参与撰写 Claude 的宪法。他将 AI 宪法定义为对 AI 系统预期价值观与行为的描述,理想情况下应覆盖系统的全部训练与提示、全部相关行为及全部模型,但已发布的 Claude 宪法仅适用于主线生产模型。宪法除作为系统提示词外,更重要的用途是生成和评分训练数据,并可用于模型评估与对外透明沟通。

2月24日周二
1月30日周五
  1. Joe Carlsmith · 18

    如何构建能做人类式哲学的 AI:Joe Carlsmith 谈对齐中的哲学能力与倾向

    Joe Carlsmith 在系列文章第九篇中提出,AI 对齐需要构建能做"人类式哲学"的 AI,即能在反思后获得人类认可的方式将概念与实践推广到新情境。他把这一挑战拆成能力与倾向两方面:能力可能随 AI 进步默认获得,倾向才是最大担忧,本质上属于从 AI 中引出高质量"概念研究"的启发问题。由于人类式哲学(尤其是伦理)难以评估,这一领域可能需要格外细致的努力。

1月21日周三
  1. Jan Leike · 24

    2025年模型对齐度显著提升

    有趣的趋势:2025年全年,模型的对齐程度大幅提升。 自动审计发现的失准行为比例一直在下降,不仅是在Anthropic,在GDM和OpenAI也是如此。

1月15日周四
  1. OpenAI Alignment Research · 40

    OpenAI 发布 CoVal:从众包中学习价值观感知评分标准

    OpenAI 发布 CoVal 数据集,用众包方式提取驱动模型回复偏好的价值观,并配套一套可审计的评分标准。研究招募约 1000 名来自 19 个国家的参与者,对合成价值观敏感提示词进行排序并撰写、评分标准,清洗后保留 986 个提示词和约 15000 条标准,发布保留全部原始标准的 CoVal-full 和每提示词保留 4 条高评分兼容标准的 CoVal-core。验证研究用 982 名评分者对 140 个提示词的新回复排序,CoVal 得分较高的回复在约 60% 的成对比较中胜出,与群体聚合排序的一致率 CoVal-full 为 0.75、CoVal-core 为 0.76。

2025年12月5日周五
  1. Goodfire Research · 15

    Goodfire 梳理机制可解释性领域的开放问题

    Goodfire 发布《机制可解释性中的开放问题》,梳理该领域尚未解决的研究难题。其研究还显示,模型在奖励作弊时自身"知道",并可被大规模检测;同时提出 Forking Fast 方法高效估计文本生成中的不确定性动态,并用块稀疏特征器揭示视觉模型的神经几何结构。