论文提出 ARE 框架，在 VisualWebArena 上评估多模态 Agent 的对抗鲁棒性（原文，在新标签页打开）

提出 ARE 框架与图像文本攻击，评测多模态网页 Agent 的对抗鲁棒性。

设计用于对话式 AI 透明度与控制的仪表盘（原文，在新标签页打开）

设计 TalkTuner 仪表盘，读出并干预对话模型对用户属性的内部表征。

AI 故意藏拙：语言模型能在评测中策略性压低表现（原文，在新标签页打开）

一篇 arXiv 论文提出 AI 故意藏拙（sandbagging）的定义，即 AI 系统或其开发者为自身利益在评测中策略性压低表现，并实验表明当代语言模型具备这一能力。

推荐理由论文提出 AI 故意藏拙的定义，并展示前沿模型可被提示或密码锁定，在危险能力评测上选择性压低成绩。

人类价值是什么，以及我们如何让 AI 与之对齐？（原文，在新标签页打开）

论文把“对齐人类价值”拆成价值引出、价值调和与模型训练三部分，并聚焦前两部分，提出用大语言模型访谈参与者价值的 Moral Graph Elicitation（MGE）流程。

Anthropic 可解释性团队发布 2024 年 3 月 Circuits Updates（原文，在新标签页打开）

Anthropic 可解释性团队发布 2024 年 3 月 Circuits Updates，汇总多项尚在推进中的研究思路，并说明这些结果应视为实验室内部初步实验而非成熟论文。团队展示了用稀疏自编码器（SAE）特征快速定位电路的方法：在 18 层模型第 9 层残差流上训练扩展因子约 256 的 SAE，通过归因分数自动找出篮球、棒球、网球相关特征，并发现多个注意力头能直接产生对应运动的 logit 效应。字典学习方面，团队称在修复 bug 和优化改动后，Ghost Grads、Adam Beta 设为 (0, 0.9999)、剪枝 decoder norm 小于 0.99 的特征等此前有效的干预已不再带来明显训练损失改善。

推荐理由Anthropic 可解释性团队汇总了用 SAE 特征定位电路、字典学习改进等阶段性进展，适合跟踪机制可解释性方法演进。

Anthropic 可解释性团队发布 2024 年 2 月 Circuits 更新（原文，在新标签页打开）

Anthropic 可解释性团队发布 2024 年 2 月 Circuits 更新，汇总字典学习与稀疏自编码器训练中的若干初步发现。团队解释了 Towards Monosemanticity 中大量特征落入超低密度簇的原因，认为这些特征把编码器权重集中在全数据集上弱激活的 Transformer 神经元上，源于预编码器偏置与 L1 正则共同作用，属于特征在找到有用方向前被正则项杀死的问题。在架构改进上，团队发现把 Adam 的 beta1 设为 0 可大幅减少大自编码器中的死亡特征，把解码器范数约束为不超过 1 便于剪枝，在真实 Transformer 激活上移除预编码器偏置有益，并采用归一化与学习率冷却。

推荐理由Anthropic 可解释性团队公开了字典学习中死亡特征、ghost grads 与 tanh 惩罚的初步实验，适合关注 SAE 训练细节的研究者参考。

论文探讨 AI 科学家的风险：应优先保障安全而非自主性（原文，在新标签页打开）

梳理 AI 科学家的风险并主张三元防护框架。

OLMo：加速语言模型科学研究（原文，在新标签页打开）

发布开放语言模型 OLMo、Dolma 数据与训练评测代码。

用智能体控制化学科学中的 AI 风险：SciGuard 护栏与 SciMT 基准（原文，在新标签页打开）

提出 SciGuard 外部护栏与 SciMT 基准，控制化学科学 AI 误用。

表征对齐：为认知科学、神经科学与机器学习研究提出统一框架（原文，在新标签页打开）

研究者提出一个用于表征对齐研究的统一框架，把认知科学、神经科学和机器学习三个领域的相关工作纳入同一套共同语言，以改善各领域间知识转移有限、工作重复的状况。

FAR.AI 提出 Codebook Features：让神经网络内部更稀疏可解释（原文，在新标签页打开）

FAR.AI 提出 Codebook Features 方法，在每一层加入量化瓶颈，把激活向量压缩为学习到的码本中少量离散开关码，从而让神经网络内部更可解释、更可操控，性能只小幅下降。该方法应用于最高 410M 参数的语言模型，发现的码覆盖标点、句法、词汇语义和高级主题等概念。实验中码比神经元更能预测简单文本特征，直接激活某个概念的码（如 dragon）多数情况下能让网络生成相关文本。即使量化瓶颈把激活向量的信息量压缩超过 100 倍，下一 token 预测准确率通常下降不到 5%。作者认为这为跨层电路发现、更精细的行为控制和更大规模可解释性方法提供了基础，并提供了论文与 HuggingFace demo。

推荐理由FAR.AI 提出用码本量化瓶颈把激活向量离散化，为跨层电路发现和行为控制提供可迁移方法。

Anthropic 可解释性团队分享叠加现象与字典学习的最新进展（原文，在新标签页打开）

Anthropic 可解释性团队公布了一批仍在发展中的研究思路，聚焦于从神经网络激活中提取特征的字典学习方法，并探讨特征的定义问题。研究者提出将特征定义为"激活的最简分解"，通过拟合概率分布计算稀疏编码与字典的总熵来确定合适的特征数量，合成数据的初步实验表明该方法能有效判定正确的特征数。此外还涉及记忆化中的"两圆"现象、权重叠加、注意力头叠加及特征流形玩具模型等内容，均为实验室会议级别的阶段性成果而非成熟论文。

Nicholas Carlini 录屏展示如何攻破 CCS 2020 对抗样本防御（原文，在新标签页打开）

Nicholas Carlini 公开了一段 2.5 小时的终端录屏，逐键记录他从首次阅读代码到完全攻破一个将在 CCS 2020 发表的对抗样本防御的全过程，并配有事后录制的语音讲解。他先搭建攻击基础设施并实现基于无穷范数正则化 PGD 与交叉熵损失的基线攻击，确认结果与论文报告一致；随后调整损失函数参数，将防御的检测 AUC 降至 0.40，低于随机猜测；再根据输入是否已被对抗或已骗过检测器把损失函数拆成两种模式，将 AUC 进一步压到 0.25；最终通过调整更多攻击参数并延长攻击运行时间，把 AUC 降到 0.017。