跳到正文

对齐

今天还没有收录新动态
10月3日周六
  1. Sam Bowman · 收录 · 原文 46

    Anthropic 将开源对齐评测工具 Petri 捐赠给 Meridian Labs

    Anthropic 宣布把开源对齐工具 Petri 捐赠给 Meridian Labs,使其成为独立项目并继续开发。Petri 是一款用于对齐测试的开源交互式行为评测工具,Anthropic 与 Meridian Labs 合作发布了重大更新,提升了测试的适应性、真实感和深度。作者在转发中邀请用户试用并考虑参与贡献。

    引用Anthropic@AnthropicAI

    We’re donating Petri, our open-source alignment tool, to @meridianlabs_ai, so its development can continue independently. Working with Meridian Labs, we’ve also released a major update that improves the adaptability, realism, and depth of Petri’s tests. https://www.anthropic.com/research/donating-open-source-petri

10月2日周五
  1. arXiv · 收录 · 原文 论文12

    TESS:面向大语言模型数据选择的可扩展可迁移元网络需换损失函数

    针对将选择网络直接并入现有 MTS 目标会导致优化不稳定与泛化差的问题,研究者提出基于 Pointwise Value Matching(PVM)的数据选择框架 TESS,指出权重压制和对易学特征的持续依赖是其成因。该框架在大语言模型安全与定向指令微调实验中展现出跨数据集、从子集到完整语料以及从小模型到大模型的强迁移能力。

  2. Thinking Machines · 收录 · 原文 14

    Thinking Machines Lab 提出模块化流形与 Muon 优化器的流形版本

    Thinking Machines Lab 发表博客《Modular Manifolds》,主张将神经网络权重矩阵约束在各层的子流形上,并以此重新设计优化算法。文中提出的 Muon 优化器流形版本把权重视为落在 Stiefel 流形——条件数为单位的矩阵集合——之上,使学习率能等同于实际的优化步长。该工作基于 Jianlin Su 与 Franz Louis Cesista 的研究,并提出"modular manifold"概念以便组合与扩展到大规模网络训练。

10月1日周四
  1. Hugging Face Daily Papers · 收录 · 原文 论文46

    一个 AI token 值多少?研究者为野生 AI 生成网页文本提出新缩放定律

    研究者发现,经 FineWeb 质量过滤后,2026 年 6 月网页数据中有 27.5% 的 token 被 Pangram 判定为 AI 生成,到 8 月升至 31.1%。这类野生 AI 文本来自多个模型、面向人类读者、在预训练语料中不带标注。为量化其影响,研究者预训练了 800 个语言模型,改变加入的 AI token 与人类 token 比例,并分别对人类文本和 AI 文本的留出损失拟合缩放定律。结果显示,对数据不足的模型,加入 AI token 起初会降低人类文本损失,但收益很快饱和并转为损害;对使用大量人类文本训练的模型,AI token 几乎立即抬高损失,而同等数量的新鲜人类文本仍能持续降低损失。该定律在小模型上拟合后,可预测最多 3.6 倍大的模型受 AI 文本影响的人类文本留出损失,误差比现有最佳定律低 41%。

  2. arXiv · 收录 · 原文 论文53

    Meerkat:跨大量 Agent 轨迹检测安全违规

    研究者提出 Meerkat,将聚类与智能体搜索结合,用自然语言描述违规行为并在大量 Agent 轨迹中定位稀疏失败。该方法不依赖种子场景、固定流程或穷举,通过结构化搜索和自适应调查有潜力的区域来发现违规。在滥用、失准和任务博弈等场景中,Meerkat 的违规检测效果显著优于基线监控器,并在一个头部 Agent 基准上发现大量开发者作弊行为,在 CyBench 上找到的奖励作弊案例比此前审计多近 4 倍。论文共 35 页、17 张图,作者为 Adam Stein、Davis Brown、Hamed Hassani、Mayur Naik、Eric Wong。

  3. arXiv · 收录 · 原文 论文22

    onPanda:通过 token 级修正高效标注 LLM 与智能体的 on-policy 对齐数据

    onPanda 是一款用于标注 LLM 对齐数据与智能体轨迹的交互工具,核心交互是 token 级修正:标注者定位首个不当 token,从模型候选 token 中选取替换或自由编辑,系统截断其后内容并从修正前缀继续生成,循环"定位—修正—继续"直至满意。一项小规模对照研究显示,onPanda 将标注中位耗时较人工后编辑降低 52%。由于最终回复绝大多数 token 由模型自身生成,所得数据基本保留模型采样分布,适用于构建 on-policy SFT 与偏好数据,修正记录还提供带精确位置的正负样本对。

  4. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文43

    AutoMark:让自动研究流程自主发现更优 LLM 水印方案

    AutoMark 提出一套让自动研究流程自主发现无失真水印方案的框架,作者称这是首次实现水印方案的自主发现。框架包含三部分:设定水印可靠性的严格标准(例如避免异常高的假阳性率)、用统计检验自动判断方案是否满足标准,以及从可检测性、质量和鲁棒性三个维度对水印排序的评测套件。在 GPT-6 Astra、Opus 5、Gemini-3.8 Flash 三个前沿模型上运行后,共发现 50 多种水印方案,其中若干在所有关键维度上超过此前工作。作者还对发现的方案做人工分析,把关键思路拆解为更小组件并逐一研究各组件对三个维度的影响,并指出智能体除改进已有思路外也发现了全新思路,例如将水印分数与随请求变化的随机方向对齐。

  5. Failure-First · 收录 · 原文 22

    ATACOM-DC:面向高效探索的安全强化学习方向约束

    Magliano 等人提出 ATACOM-DC,通过只在动作朝违反约束方向发展时才施加投影的方向性约束,缓解现有安全过滤器的策略停滞问题。该方法依据约束导数符号筛选活跃集,仅对有负向风险的动作做缩放,放行远离边界的动作。在 KUKA iiwa 气垫球、平面机械臂和气动四旋翼三个仿真环境中取得帕累托占优表现,同时维持安全性。

  6. Goodfire Research · 收录 · 原文 42

    Goodfire 发布预测式数据调试方法,可在训练前预测 DPO 会学到什么

    Goodfire Research 发布预测式数据调试研究,主张在训练前用可解释性方法预测偏好数据会让 DPO 放大或抑制哪些行为,预测结果与实际学习效果的 R² 达 0.9,并能追溯到具体数据点。方法把数据集输入已解释的模型,按模型实际计算的概念而非嵌入向量聚类来观察数据,从而区分模型真正学到的行为与评分者眼中的行为表象。

    推荐理由Goodfire 把可解释性读出的概念用于预测 DPO 会放大哪些行为,并给出四个真实数据集的意外案例,可迁移到后训练数据审查。

已经到底了