跳到正文

工具与开源 · News

10月12日 · 周一

工具与开源 · News

按原发与事件进展排列
工具与开源

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架

当前：工具与开源

5月30日周六
  1. Redwood Research · 50

    Redwood Research 新论文：AI 控制中的重试与重采样对比

    Redwood Research 发布新论文 Retrying vs Resampling in AI Control，在 BashArena 中用 Claude Opus 4.6 作为不可信模型、MiMo-V2-Flash 作为可信模型，重新检验 Ctrl-Z 提出的重采样协议，并与类似 Claude Code auto mode、Codex Auto-review 的重试协议对比。研究发现，重采样结论大体与 Ctrl-Z 一致，但有两处明显差异：用重采样做审计决策时应取最大可疑度而非最小，且三次触发后审计不再有效；若把 Ctrl-Z 中表现最好的技术直接搬到新设定，会大幅逊于可信监控。

5月11日周一
  1. Thinking Machines · 22

    Thinking Machines Lab 发布交互模型研究预览：原生实时人机协作

    Thinking Machines Lab 发布交互模型（interaction models）研究预览，该模型从零训练，原生处理交互而非依赖外部脚手架，可连续接收音频、视频和文本并实时思考、回应与行动。模型采用多流、微轮次（micro-turn）设计以保证实时响应，支持无缝对话管理、言语与视觉插话、同时说话、时间感知以及边听说边并发调用工具、搜索和生成 UI。研究预览在智能与响应速度的综合表现上达到 SOTA，并展现出质变的新交互能力。

4月24日周五
  1. OpenAI Alignment Research · 50

    OpenAI 开源思维链可监控性评测数据集与参考代码

    OpenAI 开源了其思维链可监控性研究中的大部分评测数据集、g-mean 2 指标计算代码，以及一种让干预式估计更抗噪声的交叉拟合过滤策略，代码托管在 GitHub 仓库 openai/monitorability-evals。

4月23日周四
  1. Goodfire Research · 14

    Goodfire 用自校正搜索加速材料发现，将扩散模型的候选材料产出提升约 30%

    Goodfire 与 Radical AI 合作，通过给扩散模型加入基于其内部表征的反馈回路实现自校正搜索，使目标范围内可用候选材料的生成量提高约 30%。该方法针对 MatterGen 的条件生成流程改进逆设计环节，衡量指标为同时满足稳定、独特和新颖三个约束的 SUN 标准。现有基线中仅 15% 的 MatterGen 采样落在 4–6 eV 带隙目标区间内，若再叠加 SUN 过滤则降至 6.5%，且仅有约 10% 的微调候选能通过全部筛选阶段。该技术原则上适用于任意扩散模型，有望推广到蛋白质设计与药物发现等领域。

4月1日周三
  1. METR · 43

    METR 微调实验：少量指令微调即可提升思维链可控性

    METR 发现，用 240 条指令跟随推理数据（约 100K-300K token）对 GPT-OSS-20B、GPT-OSS-120B、Qwen-3-8B、Qwen-3-32B 四个推理模型做微调后，在分布外 CoTControl 评测集上的思维链可控性从平均 2.9% 升到 8.8%。提升最大的是指定大小写推理、抑制特定词和向推理中插入指定句子这几类指令。作者指出 8.8% 绝对值仍低，但说明少量微调即可提升可控性，这一能力可能是模型潜在具备而非新学到的。局限包括前沿实验室不太可能专门为可控性做微调、尚未证明可控性提升会降低可监控性、以及多轮或 Agent 场景下影响不明。

3月11日周三
  1. BlueDot Impact · 27

    Persona Explorer：用 SAE 探索 LLM 中的人格与人格漂移

    该项目用稀疏自编码器（SAE）从模拟不同人格的大语言模型中提取可解释特征并搭建浏览界面，实验基于 Gemma 3 27B 指令微调模型的 Gemma Scope 2 SAE（作用于第 40 层残差流，约 65k 特征）。结果显示角色画像在第一主成分上呈现明显的助手—角色扮演轴，助人型角色位于一端、重度角色扮演角色位于另一端，对话轮次沿该方向投影即可可视化人格漂移，与 Assistant Axis 论文一致。

2025年11月29日周六
  1. Goodfire Research · 28

    Goodfire 用 CLTs 复现 GPT-2 Small 电路追踪，发现与既有机制存在差异

    Goodfire 在 GPT-2 Small 上训练跨层转码器（CLT），复现并验证其半自动发现模型内部计算结构的能力。CLT 用 FineWeb 的 100M token 训练，扩展因子 64，每层 49,152 个特征、12 层共 589,824 个特征，激活函数用 ReLU。在 greater-than 任务上，CLT 成功识别出可解释特征（包括抽象的奇偶特征），但发现的机制与 Hanna 等人此前的结果存在差异，提示稀疏解释器模型对计算机制的表示与分解可能有所不同。

2025年2月14日周五
  1. DeepMind Safety Research · 11

    Google DeepMind 推出 AGI 安全短期课程

    Google DeepMind 发布了面向学生、研究人员和相关从业者的 AGI 安全短期课程，总时长 75 分钟，由录制讲座和练习组成，并配有幻灯片和练习手册。课程涵盖 AI 对齐问题及技术与治理层面的应对思路，内容包括刻意规划带来的风险、规格博弈与目标错误泛化两种错位目标来源、知情监督原则以及危险能力评估等前沿安全实践。若想进一步参与该方向工作，研究科学家与研究工程师岗位申请开放至 2 月 28 日。

2021年12月17日周五
  1. Transformer Circuits · 43

    Anthropic 发布 Transformer 逆向工程数学练习集

    Anthropic 的可解释性团队发布了一套配套其 Transformer 数学框架的练习集，要求读者为注意力头写出具体权重矩阵以实现特定算法，并附有解答。练习分三部分：热身题讨论单个注意力头如何用 W_Q、W_K、W_V、W_out 描述信息在残差流子空间之间的读写，以及 W_Q^T·W_K 和 W_out·W_V 的含义与秩；练习一用两个前一个 token 注意力头构造出看向两个 token 之前的虚拟注意力头，并展开 W_net 矩阵；练习二和练习三分别用指针算术和前一 token K-Composition 两种方式手工搭建归纳头，后者适用于 rotary attention 这类不向 W_V 暴露位置信息的机制。

已经到底了