ARC 提出随机乘积期望的机制估计方法
Mechanistic estimation for expectations of random products
AI 导读
Alignment Research Center(ARC)开发了一套较通用的机制估计方法,通过将问题表达为随机乘积的期望来逼近采样效果,覆盖随机半空间交集、随机 #3-SAT 和随机 permanent 等问题。该方法基于匹配采样原理中无参数 θ 的一类特殊架构,此时无需提供结构性的 explanation π,类似随机初始化网络而非训练后的网络。其核心技术是演绎—投影估计器:交替执行精确推进一步计算的"演绎"步骤与简化计算状态、避免复杂度指数爆炸的"投影"步骤,例如宽随机 MLP 中的累积量传播算法即在层间精确推导激活累积量并丢弃代价过高的项。 #### 要点: - 研究对象限定于匹配采样原理中没有学习参数或最坏情况参数的实例,仅含捕获在 context 变量 c 中的随机参数。 - 该工作定位为阶段性技术更新,motivation 从简,完整讨论参见此前发布的博客。