ARC 研究员视角下的 ARC 对齐研究议程

ARC 研究人员公开阐述其强大 AI 对齐流水线：通过监控训练过程中加入模型的内部结构，将其转化为建议来改进基于匹配采样原理（Matching Sampling Principle，MSP）的机制估计器，再用该估计器和输入分布描述估算灾难性失败概率并据此前向优化模型。相比黑盒评估的关键优势在于无需等待模型中真的出现哪怕一次灾难行为即可推断稀有不可接受行为的可能频率。所需要素包括宽范围的机制估计器、将权重中新增结构转为改进建议的工具、处理仅由大量隐式定义的现实世界分布的方法以及数学良定义的对齐目标函数，可选配机制异常检测来判断模型输出是否出于正确理由。 #### 要点： - MSP 主张：任意架构与精度下都存在至少匹敌随机实例采样的机制估计器。 - 已有成果之一是对多层感知机权重的算法，可在加性误差 ε 内近似期望损失且比蒙特卡洛更高效。