跳到正文
10月7日周三
  1. 论文追踪 · 收录 · 原文 论文55

    论文提出按风险类别测量的对齐缩放定律框架

    论文《Toward Alignment Scaling Laws》把对齐难度建模为按风险类别测量的幂律:对齐负担 Br(N)=ar·N^αr,αr<1 表示规模扩大有帮助,αr≈1 表示持平,αr>1 表示累积对齐债务。作者用玩具模型证明长期状态由被修正风险中最大的指数决定而非平均值,且小模型拟合会低估大模型指数。两次预注册实测显示:Pythia 分类器对抗训练达到攻击成功率低于 10% 所需算力按 N^0.60 增长;Qwen2.5 0.5B–72B 上纠正错误答案的指数为 −0.05、纠正风险倾向为 0.48,谄媚为 0.89 属未定,植入后门在已知触发词时 128–256 个样本内被移除,但在五个规模中的四个上能挺过盲测安全训练。作者声明不对当前前沿模型处于哪种状态作判断。

    推荐理由把对齐难度拆成按风险类别测量的幂律指数,并给出可预注册的测量协议与两次实测结果,为讨论规模与对齐关系提供了可复用的框架。

10月1日周四
  1. arXiv:可解释性 · 收录 · 原文 论文43

    LLM Forensics:用稀疏自编码器定位并控制后门触发机制

    研究在无害的语言切换设定中考察触发式后门的内部机制,固定触发序列会让 1B 和 8B 语言模型把英文提示续写成法语或德语。作者跨层和 Transformer 组件训练稀疏自编码器(SAE),并将触发提示与翻译、预训练对照组比较,以识别与触发相关的特征方向。结果显示 SAE 特征能以接近完美的 F1 区分触发提示与对照组,但能检测触发的特征未必能控制行为:注意力与 MLP 特征常可靠激活却难以通过消融抑制语言切换,而残差流特征被消融时可抑制触发式生成,部分选定特征还能在无触发时诱导目标语言续写。

已经到底了