Miles Brundage 对《通用目的 AI 行为准则》第二稿的反馈

Miles Brundage 针对欧盟《通用目的 AI 行为准则》（COP）第二稿发表反馈意见，认为草稿正朝更具体、更连贯的方向改进，但仍存在大量未竟事项。他指出起草工作组的推进节奏过于仓促，问题根源在于欧洲议会启动该流程过晚而非主席团本身。对于具有系统性风险的模型的合规条款，他认为大型企业大体能够遵守，并强调若合规低效或错配风险，可能适得其反地损害企业内部的安全声誉。

Anthropic 提出稀疏 Crosscoder，用于跨层特征与模型差异分析

Anthropic 可解释性团队发布研究更新，提出稀疏 crosscoder，一种可同时读写多层激活的稀疏编码器，用于理解叠加表示中的跨层特征。与只在单层编码的 autoencoder 和用一层预测下一层的 transcoder 不同，crosscoder 能产出跨层甚至跨模型的共享特征，可用于解析跨层叠加、简化电路以及做模型差异分析。团队在 18 层模型上对比了全局 acausal crosscoder 与 18 个逐层 SAE：在总特征数相同时 crosscoder 的 eval loss 明显更优，说明层间存在大量冗余结构；但按训练 FLOPs 计，crosscoder 达到同等 eval loss 的效率约低 2 倍。

推荐理由Anthropic 可解释性团队提出跨层稀疏编码器，把跨层与跨模型特征纳入同一字典，为模型差异审计提供新思路。

Llama 3 模型群：405B 稠密 Transformer 与 Llama Guard 3 安全模型

Meta 发布 Llama 3 模型群，最大模型为 405B 参数的稠密 Transformer，上下文窗口最高 128K tokens，原生支持多语言、编程、推理与工具使用。评测显示其在大量任务上质量与 GPT-4 相当，并公开释出 405B 的预训练与后训练版本及输入输出安全模型 Llama Guard 3。论文还通过组合式方法将图像、视频和语音能力接入 Llama 3，在识别任务上表现与 SOTA 相当，但这些多模态模型仍在开发中，尚未广泛发布。

Anthropic 可解释性团队 4 月更新：SAE 训练改进与字典学习缩放规律

Anthropic 可解释性团队发布 2024 年 4 月更新，汇总多项尚在推进中的研究。在字典学习缩放规律方面，团队以四层 transformer 第三层后的残差流为案例，发现损失随 FLOPS 近似按幂律下降，最优特征数与训练步数也各自按幂律随算力增长，且最优特征数增长更快；对 L0 类损失函数需要更多训练步。在 SAE 训练方面，团队改进了自 Towards Monosemanticity 以来的训练设置，主要变化是解码器列向量不再约束为 L2 范数 1，稀疏惩罚项改为包含解码器列向量的 L2 范数，并给出学习率 5e-5、训练步数 200k、batch size 2048 或 4096、λ 默认 5 等默认值。

OLMo：加速语言模型科学研究

为应对最强语言模型被专有接口封闭、训练数据与架构细节不公开的问题，研究者构建了真正开放的语言模型 OLMo。与以往仅发布模型权重和推理代码的做法不同，OLMo 同时公开了训练数据、训练代码与评估代码，以支持对语言模型偏见与潜在风险的科学研究的开展。