跳到正文

开源模型安全

今天新收录 1 条(含旧文)

第 2 页更新的内容回到最新

10月1日周四
  1. arXiv · 收录 · 原文 论文43

    Imprint Reader:从权重更新读出到行为干预

    研究者提出 Imprint Reader,用 Semantic Mount-and-Read Tuning(SaRT)训练模型为冻结的权重更新生成自然语言描述,SMaRT 将每次更新挂载到 Reader 上并用无锚点元查询引出描述,同时用无变化和随机扰动对照抑制无依据的断言。在留出更新上,联合 Reader 在知识维度取得基于评判的 Pass@100 为 2%,行为维度为 16%,作者认为这证明了自然语言读出的可行性,跨更新的可靠性是下一步。

  2. Goodfire Research · 收录 · 原文 43

    Goodfire 研究沿流形引导控制神经网络行为

    Goodfire Research 提出沿表示空间中的流形而非直线进行表示引导,以控制神经网络行为。研究以星期几这一循环概念为案例,在 Llama-3.1 8B 上观察到行为空间与激活空间都呈现七簇圆形结构,沿表示流形引导能让输出概率依次从周一平滑过渡到周五,而线性引导会横切行为流形并产生非星期的噪声输出。研究还反向优化出沿行为流形的引导路径,发现其与表示流形路径形状吻合,说明行为几何与表示几何存在双向对应。论文进一步在月份、字母、年龄及合成上下文学习任务和图像动作模型上发现类似结构。

    推荐理由以星期循环概念为例,展示表示流形与行为流形之间的对应关系,为表示引导提供几何视角。

  3. Goodfire Research · 收录 · 原文 43

    Goodfire 提出 Block-Sparse Featurizers,在视觉模型中还原多维概念流形

    Goodfire Research 提出 Block-Sparse Featurizers(BSF),用多维子空间替代 SAE 等常用方法的一维直线假设,把模型激活分解为成组同时激活的 block。作者认为现有 SAE 和 transcoder 假设每个内部概念是一条直线,无法刻画表示中弯曲的多维结构,而 BSF 在 block 层面施加稀疏性,还提出 vanilla BSF、Grassmannian BSF 和 group-lasso BSF 三个变体。

    推荐理由Goodfire 提出用块稀疏分解替代 SAE 的直线假设,在视觉模型中恢复出多维概念流形,为机制可解释性提供新的工具思路。

  4. Transformer Circuits · 收录 · 原文 36

    Anthropic 可解释性团队介绍 Turn-Averaged SAE 等初步研究

    Anthropic 可解释性团队发布 2026 年 6 月更新,介绍包括 Turn-Averaged SAE 在内的多项初步研究,并说明这些结果更接近实验室内部讨论而非成熟论文。Turn-Averaged SAE 的做法是把单个人类或助手回合内所有 token 的残差流取平均,再训练 SAE 重建该表示,从而把每个回合的特征激活数量从 n_tokens × L0 降到 L0。

9月30日周三
  1. Failure-First · 收录 · 原文 35

    面向小规模语言模型智能体的鲁棒强化学习研究:70M–500M 参数模型的稳定对齐

    Haque 等人系统研究了 70M–500M 参数小语言模型在 PPO 对齐中的训练不稳定问题,识别出 LoRA 参数静默冻结、bfloat16 数值溢出和奖励模型误差三种失败机制,并提出合并重初始化适配器、PPO 更新用 float32 精度,以及奖励白化、重要性比率防护、权重回滚三层安全机制。

已经到底了