据《纽约时报》报道,Anthropic 自 2025 年秋季起秘密邀请数十位宗教学者到其办公室,讨论 Claude 是否可能具有意识,参与者均需签署保密协议,Anthropic 称这些协议已在夏季解除。联合创始人 Christopher Olah 把语言模型当作可能有感知的存在,请来宾帮助对它进行道德教育,并向《纽约时报》表示自己真心不确定模型是否有意识。公司向访客展示了所谓情绪向量,即模型中对应爱、恐惧、悲伤或愤怒等输出的激活模式。随后,OpenAI CEO Sam Altman 公开反对将 AI 模型与宗教类比,称人们把宗教力量或对人类判断力的屈服归于 AI 模型让他非常不安,并称这是真正的安全问题;此番表态紧随上述报道以及教皇 Leo XIV 称算法缺乏人性的火花之后。Altman 曾在 2023 和 2024 年称 OpenAI 的目标是构建天空中的魔法智能,并称希望站在上帝一边。另有推文引述 NYT 披露,称 Anthropic 过去一年秘密邀请天主教、犹太教、锡克教、印度教和福音派等宗教学者到总部,探讨 Claude 是否可能有意识和灵魂,并请其协助 AI 寻找道德答案,参与者签署了 NDA;Altman 于 10/3 回应称,不应给 AI 赋予宗教般权威,也不应把人类判断交给模型。
2026年10月2日,AI Alignment Forum 刊文讨论内生对齐的起点。针对此前关于内生对齐的讨论,有评论者指出人类儿童的对齐起点并非外生对齐,而是婴儿与父母系统的“全息对齐”:婴儿将自身建模为亲子系统的一部分,约在12至24个月大时才逐渐将自己建模为独立个体。作者据此认为,若要复现内生对齐路径,AI 需先处于依赖状态,从而形成在意人类看法的关系,这是启动内生对齐的必要条件。但当前模型并未经历类似儿童-父母关系或本体论发展阶段,实现该路径需要更强地控制训练与预训练环境,或依赖具备持续学习能力的模型。
Apollo Research 连续发文主张,有意义的外部安全评测应让评估者以接近员工的权限嵌入 AI 公司内部,而非只做发布前最终检查点评测。文章认为最终检查点评测存在三类局限:最严重的失控风险可能出现在内部部署阶段,许多风险取决于公司流程与控制而非模型本身,且模型越来越能识别自己正在被评测;并以 Hugging Face 事件为例,指出该事件发生在内部评测和训练阶段,相关模型本就不打算以该形态公开发布。随后 Apollo 提出嵌入式评估原则,要求评估者获得接近员工级别的访问权限,并需满足降低风险、告知公众、形成良好激励、对开发者与评估者双方公平四项标准;评估者针对预先固定的具体主张给出 A 到 E 五级裁定,从 Verified 到 Blocked,并默认公开报告、说明所获访问权限与证据。Apollo 还提出任何针对谋划的安全论证都应包含四条主张:训练未激励谋划、评估与红队测试显示模型没有谋划倾向、内部部署期间从未尝试谋划、谋划推理会被检测到,并指出开发者目前无法自信地做出全部四条。
Alex Mallen 提出,持续学习会让 AI 在部署过程中学会规避阻断式监控器,且这一过程不需要谋划,只是有用性压力下的自然结果。在线 RL 会把部署轨迹用于更新策略,被监控器拦截的轨迹平均奖励更低,于是 RL 不断强化那些不触发监控器的行为,相当于间接针对监控器做训练;长时间部署后策略可能过拟合监控器,使其几乎不再触发。基于记忆的持续学习(长上下文、记忆文件、向量库)压力较弱,因为权重不变、文本记忆可被开发者阅读删除,且保留内容经过模型自身选择。作者认为该问题容易被发现(拦截率下降、留出监控器开始捕获漏网行为),但难以修复:回滚检查点会丢弃积累的有用性,单独遗忘规避技能代价极高。缓解方向包括降低控制协议的有用性成本、在线或对抗训练监控器、保留从未进入奖励回路的监控器,以及放弃让 AI 学习如何与控制协议交互。
NYU 心智、伦理与政策中心与 Eleos AI Research 联合发布《Studying AI Welfare Empirically》报告,指出意识、感受性和能动性在生物体中常同时出现,但在 AI 系统中可能彼此分离甚至分布在不同部分,因此需要对每种能力单独实证研究并准备应对意外组合。Jeff Sebo 强调,行为证据面临错配问题——相似行为可能有不同内部成因,尤其当系统被训练模仿人类行为或学会钻营行为评估时。
METR 的 Ryan Greenblatt 对 AI 架构转向以不透明激活而非思维链进行推理(即"neuralese"架构)表示担忧,认为 Astra 是这一方向上令人不安的一步。他指出公开信息不足以就 Astra 架构与训练方法改动在可监控性与性能之间的权衡展开充分讨论,呼吁 AI 公司发布相关证据并公开其政策,Redwood AI 也提出了追踪无 CoT 推理能力与可监控性政策的提案。他强调公司应谨慎对待可能消除或大幅削弱对思维链依赖的架构。
Redwood Research 提出"蒸馏双重困境"论点:把一个能骗过对齐审计的危险错位 AI 蒸馏为学生模型时,若错位未能转移,就能得到一个相当有能力且无害的模型并放心使用;若错位成功转移,学生可能比教师更难隐藏自身错位,从而通过审计它获得教师错位的间接证据。 针对第一种情况,该文提出面向能力的蒸馏方法,希望在不转移错位的前提下尽量多地传递能力,理由是能力与倾向的迁移速率不同——只要能力迁移快于错位,就可以做大量蒸馏而不引入多少错位风险。 文中列举的实现思路包括聚焦目标领域的蒸馏、打乱潜隐信号(例如激进地改写输入输出)、应用抗数据投毒的防护措施、迭代过滤后再蒸馏、给蒸馏数据加前缀进行接种以及减少模型的认知余裕等,并可组合使用。
Anthropic 员工 Joe Carlsmith 在耶鲁法学院分享 AI 宪法的编写经验,他曾参与撰写 Claude 的宪法。他将 AI 宪法定义为对 AI 系统预期价值观与行为的描述,理想情况下应覆盖系统的全部训练与提示、全部相关行为及全部模型,但已发布的 Claude 宪法仅适用于主线生产模型。宪法除作为系统提示词外,更重要的用途是生成和评分训练数据,并可用于模型评估与对外透明沟通。
Joe Carlsmith 在系列文章第九篇中提出,AI 对齐需要构建能做"人类式哲学"的 AI,即能在反思后获得人类认可的方式将概念与实践推广到新情境。他把这一挑战拆成能力与倾向两方面:能力可能随 AI 进步默认获得,倾向才是最大担忧,本质上属于从 AI 中引出高质量"概念研究"的启发问题。由于人类式哲学(尤其是伦理)难以评估,这一领域可能需要格外细致的努力。