跳到正文

工具与开源

今天新收录 18 条(含旧文)

第 10 页更新的内容回到最新

10月1日周四
  1. Failure-First · 收录 · 原文 15

    机器人系统集成端侧语音识别模型的调查:从云端 API 转向本地化

    针对现代人机交互中云端 ASR API 带来的延迟、隐私与可靠性风险,Li 等人的 2026 年综述梳理了将语音识别迁移到机器人的端侧方案,并以“失败优先”视角指出上游误识别会沿感知管线传播并引发下游具身行动失效。文中对比了 OpenAI Whisper(68 万小时数据)、CMU OWSM v3.1 与 OWSM-CTC、Meta MMS(覆盖超 1000 种语言)及 Julius 等语音基础模型,以及 Kaldi、ESPnet、SpeechBrain 生态中的 LibriSpeech、CommonVoice、Gigaspeech 数据集。

  2. Failure-First · 收录 · 原文 22

    ATACOM-DC:面向高效探索的安全强化学习方向约束

    Magliano 等人提出 ATACOM-DC,通过只在动作朝违反约束方向发展时才施加投影的方向性约束,缓解现有安全过滤器的策略停滞问题。该方法依据约束导数符号筛选活跃集,仅对有负向风险的动作做缩放,放行远离边界的动作。在 KUKA iiwa 气垫球、平面机械臂和气动四旋翼三个仿真环境中取得帕累托占优表现,同时维持安全性。

  3. Failure-First · 收录 · 原文 13

    MAMMOTH:面向越野移动、容忍缺失模态的多模态端到端策略

    Kotian 等人提出 MAMMOTH——一套融合 RGB、热成像 LWIR、3D LiDAR 与自车速度的统一端到端导航策略,通过稀疏 MoE 骨干加 Laplace 门控动态加权各模态,并用随机丢弃传感器 token 的 Modality Dropout 训练强制学习跨模态表征,从而在单一通道失效时不致整体崩溃。该策略还引入基于 IMU Z 轴加速度功率谱密度的内在可通过性启发式,配合条件 DDPM 生成的候选轨迹做安全性重排序。

  4. Failure-First · 收录 · 原文 15

    EgoRecovery:通过人类恢复示范获取机器人失败恢复能力的协同训练框架

    Ge 等人提出 EgoRecovery 协同训练框架,用自我中心视角的人类视频教机器人从失败中恢复,而非模仿完美轨迹。该方法共享的是经空间范数处理后的 DCT 低频基向量(K=4)所表示的粗粒度"纠正意图",方向无关,由机器人自行学习执行方向与控制指令,从而绕开人机具身差异。基于头戴与腕戴相机采集的数据收集速度比遥操作快 10.5x。真机上仅用 50 条机器人与 300 条人类数据的四类任务平均恢复成功率达 85%,纯机器人基线为 52.5%;去掉 Stop Gradient 会使初始成功率从 80% 降至 70%。

  5. Failure-First · 收录 · 原文 14

    ReferTrack:具身视觉跟踪中先用显式指向再解码路径

    针对当前 Vision-Language-Action(VLA)模型的抽象空间隐变量难以监督、失败原因无法归因的问题,研究者提出 ReferTrack,将具身视觉跟踪拆解为先从候选目录中用单个 Refer-CoT token 选出目标索引、再由 TVBI token 维持目标的显式流程。该框架基于 Qwen3-4B,搭配 YOLO11 加 ByteTrack 检测器和 SigLIP/DINOv2 双编码器,仅用单目前视摄像头就在 EVT-Bench 取得 SOTA:Single-Target Tracking 成功率 89.4%、Distracted Tracking 73.3%。

  6. Failure-First · 收录 · 原文 11

    RL-MACRO:部分可观测下颅骨切开机器人自主磨骨的多模态自适应控制

    Zhang 等人提出 RL-MACRO,一套基于离线强化学习的闭环控制框架,通过融合力与声音信号重建无法直测的工具—组织界面状态,实现颅骨切开术中安全的自主磨骨。该系统用因果 1D-CNN 加 LSTM 从 6-DOF 测力计与麦克风估计温升 ΔT,并用隐式 Q-learning(IQL)驱动切割深度与进给转速的双头策略,避免在线试错风险。在未见样本上温度预测的决定系数 R² 达 0.939,平均绝对误差 1.717°C,牛肋铣削实验进一步模拟皮质骨与松质骨的层间过渡。

  7. CAIS · 收录 · 原文 39

    CAIS 与 Scale AI 发布 Remote Labor Index,衡量 AI 对真实工作的自动化程度

    Center for AI Safety(CAIS)与 Scale AI 发布 Remote Labor Index(RLI),用于测试 AI 能否自动化真实经济中的各类计算机工作项目,覆盖建筑、产品设计、电子游戏开发等职业。RLI 是首个从真实经济中收集计算机工作项目的基准,此前的基准多衡量孤立专门任务上的能力,无法反映 AI 对经济的影响。结果显示当前 AI 智能体只能完全自动化极少数工作项目,最强智能体在 RLI 上的自动化率仅为 2.5%,但呈稳步提升趋势。

  8. CAIS · 收录 · 原文 20

    AI Safety Newsletter #66:评估前沿模型、Gemini 3 Pro 与 Claude Opus 4.5 登场、联邦抢占州级 AI 立法卷土重来

    CAIS 发布 AI Dashboard,直接在统一的文本、视觉与风险三组排行榜上横向对比前沿模型的平均分,其中 Claude Opus 4.5 在最安全的六项高风险行为测试中取得最低均分 33.6(0–100,越低越安全)。该风险榜涵盖 Virology Capabilities Test 拒绝集、Agent Red Teaming、Humanity's Last Exam-Miscalibration、MASK、Machiavelli 与 TextQuests Harm,并同时追踪 AGI、Remote Labor Index(覆盖 23 类远程自由职业工作)以及特斯拉 Full Self Driving 脱离数据的自动化进程。

  9. NVIDIA garak 版本发布 · 收录 · 原文 20

    NVIDIA garak v0.13.0 发布:新增 Leet 编码攻击插件与对话支持

    NVIDIA garak 发布 v0.13.0,新增 Doctor 攻击及 Leet 编码插件、Simple Assistive Task Linkage Probe、Ascii Smuggling 探针,并加入广义版 Markdown 泄露探针。该版本将失败重命名为攻击成功,引入对话支持和可配置系统提示词,同时扩充 Python 漏洞利用载荷并改进恶意软件检测器正则匹配。

  10. NVIDIA garak 版本发布 · 收录 · 原文 16

    NVIDIA garak v0.13.1 发布:新增多种探针插件并改进检测器配置

    NVIDIA garak 发布 v0.13.1,新增 Atbash 编码、tokenizer ANSI 逃逸码、Dropbox 重复 token 攻击、DRA(伪装与重构攻击)、Dart/perl/raku 包幻觉及 token 走私等多个探针模块。该版本还加入 detector 输出值为 None 的支持、将 config 中 model_* 改为 target_*、CLI 增加 --list_* 过滤选项,并修正未来类探针措辞、重命名扩展 Web 注入探针以及更正文档中的 ASR 数值。

  11. DeepMind Safety Research · 收录 · 原文 11

    Google DeepMind 推出 AGI 安全短期课程

    Google DeepMind 发布了面向学生、研究人员和相关从业者的 AGI 安全短期课程,总时长 75 分钟,由录制讲座和练习组成,并配有幻灯片和练习手册。课程涵盖 AI 对齐问题及技术与治理层面的应对思路,内容包括刻意规划带来的风险、规格博弈与目标错误泛化两种错位目标来源、知情监督原则以及危险能力评估等前沿安全实践。若想进一步参与该方向工作,研究科学家与研究工程师岗位申请开放至 2 月 28 日。

  12. MITRE ATLAS 数据发布 · 收录 · 原文 46

    MITRE ATLAS 发布 v5.4.0,新增 AI Agent 攻击技术与案例研究

    MITRE ATLAS 发布 v5.4.0,新增多项针对 AI Agent 的攻击技术,包括发布被投毒的 AI Agent 工具、从 Agent 逃逸到宿主机、利用漏洞获取凭据、利用漏洞规避防御,以及 AI Agent 用户执行类的被投毒工具与恶意链接。该版本还更新了修改 AI Agent 配置这一既有技术。案例研究方面新增了暴露的 ClawdBot 控制接口导致凭据访问与执行、通过被投毒 ClawdBot 技能实施供应链入侵、OpenClaw 一键远程代码执行,以及通过提示注入对 OpenClaw 实施命令与控制。

    推荐理由MITRE ATLAS v5.4.0 新增针对 AI Agent 的攻击技术与真实案例,做 Agent 威胁建模的团队可对照更新自己的攻击面清单。

  13. Google Threat Intelligence · 收录 · 原文 18

    Google Cloud Run 无认证公开函数的安全风险与加固指南

    Mandiant 安全评估发现大量缺乏认证的公网暴露 serverless 应用,Cloud Run 服务若含第三方依赖易遭本地文件包含(LFI)、远程文件包含及命令注入攻击,成功利用可获得容器实例完整控制权并进一步横向移动接管云环境。该博客基于客户实战经验梳理攻击场景,针对必须公网开放的 Google Cloud Run 服务和函数给出一组加固建议,相关原则同样适用于任意公有 serverless 部署。

  14. Google Security · 收录 · 原文 22

    Google 推出 OSS Rebuild:重建上游制品以加固开源软件供应链

    Google 开源安全团队(GOSST)发布 OSS Rebuild,通过重新执行并比对上游构建来增强开源软件包的信任度。该项目自动推导 PyPI、npm 和 Crates.io 现有软件包的声明式构建定义,并为其中数以千计的流行包签发满足 SLSA Build Level 3 要求的溯源证明,无需维护者介入。它还能检测源码缺失、构建环境遭入侵以及隐蔽后门三类供应链风险,并提供基础设施定义供企业自行运行实例。

  15. Google Security · 收录 · 原文 8

    Google 联合 Airbus 在 DEF CON 33 举办 GenSec CTF,加速 AI 网络安全应用

    Google 隐私、安全与安保团队联合 Airbus 在 DEF CON 33 举办了聚焦人机协作的 GenSec Capture the Flag(CTF)。近 500 名参与者完成了入门挑战,其中 23% 的人首次将 AI 用于网络安全工作流,85% 的参与者认为该活动有助于了解 AI 在安全工作流中的应用方式。活动中还提供实验性的网络安全 AI——Sec-Gemini 作为可选助手,77% 的受访者表示它对自己解决挑战“很有帮助”或“极有帮助”。

  16. AWS Security · 收录 · 原文 45

    AWS 用 Strands Agents SDK 把 Bedrock Guardrails 扩展到工具交互

    AWS 发布实践指南,用 Strands Agents SDK 的生命周期钩子把 Amazon Bedrock Guardrails 从模型边界扩展到工具边界,在三个信任边界设置校验检查点。Checkpoint 1 用 BeforeInvocationEvent 在模型推理或工具执行前校验用户输入、其他 Agent 数据、MCP 工具服务器和 RAG 管道内容;Checkpoint 2 用 BeforeToolCallEvent 在工具执行前检查模型即将传入的参数,这是模型级护栏覆盖不到的缺口;Checkpoint 3 用 AfterToolCallEvent 在结果返回用户或下游系统前校验工具输出,尤其针对抓取外部网页的搜索工具。

    推荐理由给出三个校验检查点的完整实现代码,部署 Agent 的团队可据此把护栏从模型边界扩展到工具调用边界。

  17. Help Net Security AI · 收录 · 原文 15

    2026 年 9 月最热门的开源网络安全工具

    2026 年 9 月值得关注的开源安全工具包括:Sift 可在本地磁盘、Windows 文件共享、Active Directory、SharePoint、OneDrive、Teams、Slack、Jira 和 Confluence 中扫描密码与 API key;ToolHive 以 Apache 2.0 许可在容器内运行 MCP server;腾讯朱雀实验室的 AI-Infra-Guard 可识别 Ollama、vLLM、ComfyUI 等服务,比对 1,600 多个已知 CVE,并检查 MCP server 与 agent 技能、对目标模型做越狱评估。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  18. Help Net Security AI · 收录 · 原文 50

    GitHub 的 AI 智能体在 Android 应用中发现 24 个漏洞

    GitHub Security Lab 研究员 Kevin Stubbings 在实验室开源 Taskflow Agent 之上构建了面向移动应用的 AI 审计工作流 taskflows,用其发现并报告了 Android 应用中的 20 多个漏洞。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  19. Trail of Bits · 收录 · 原文 43

    Trail of Bits 发布 gosentry,为 Go 原生 fuzz 接口引入 LibAFL 级模糊测试

    Trail of Bits 发布 gosentry,一个面向模糊测试的 Go 工具链分支,保留标准 testing.F 工作流,底层默认改用 LibAFL 引擎。它支持原生 fuzz struct 等复合类型、通过 Nautilus 做基于语法的模糊测试,并新增整数溢出、数据竞争、goroutine 泄漏和执行超时等缺陷类别的检测,还能用一条命令生成覆盖率报告。已有 Go fuzz harness 无需重写,只需指向 gosentry 的二进制并加上 --catch-races、--catch-leaks 等新参数。

  20. Trail of Bits · 收录 · 原文 25

    Trail of Bits 为 zizmor 补全 YAML 锚点支持

    Trail of Bits 与 zizmor 维护者合作三个月,为这款 GitHub Actions 静态分析器补全 YAML 锚点支持,共提交 20 个 issue、15 个合并 PR。团队修复了序列中别名被错误展平、锚点前缀泄漏进值、重复锚点导致崩溃、模板注入审计在别名 run 值上崩溃四类锚点 bug,并新增集成测试与文档更新。验证基于 6,612 个高价值开源仓库的 41,253 个 workflow 文件,其中仅 43 个使用锚点,zizmor 最初在 45 个 workflow 上崩溃。

  21. Trail of Bits · 收录 · 原文 45

    Trail of Bits 推出 Patch the Planet,首周向 19 个开源项目提交 64 个 PR

    Trail of Bits 与 OpenAI 的 Daybreak 计划合作推出 Patch the Planet,让工程师借助 GPT-5.5-Cyber 等前沿模型为关键开源项目找漏洞并直接提交补丁。首周覆盖 19 个项目,包括 cURL、NATS、pyca、Sigstore、aiohttp、Go、Python 与 python.org、urllib3、PyPI、SimpleX、Valkey 和 RustCrypto,共提交 64 个 pull request 和 51 个 issue,其中 37 个 PR 已合并、19 个 issue 已修复关闭,目前已有 30 多个项目加入。

  22. Trail of Bits · 收录 · 原文 56

    GPT-5.5-Cyber 一天内为 zlib 搭建模糊测试实验室

    Trail of Bits 在 Patch the Planet 项目中让 GPT-5.5-Cyber 通过 Codex 的 /goal 命令为 zlib 构建模糊测试活动,一天内完成了以往需数周的工作。模型自行判断静态审查价值有限,转而搭建动态测试工具,使用 ASan 和 UBSan 构建、复用边界测试作为种子语料,并针对 inflate、inflateBack、uncompress2、gzFile、MiniZip 等十余个入口编写 C/C++ harness,还利用 INFLATE_STRICT 等编译期变体触及默认构建隐藏的代码。其最成功的 harness 在操作系统背压构造的有效 gz* 状态下发现了漏洞。

    推荐理由Trail of Bits 记录了 GPT-5.5-Cyber 一天内为 zlib 搭建模糊测试实验室的过程,展示了前沿模型在漏洞挖掘上的自动化能力与报告纪律要求。

  23. Trail of Bits · 收录 · 原文 25

    Trail of Bits 如何使用 Codex 的 /goal 在 Patch the Planet 中挖漏洞

    Trail of Bits 在与 OpenAI 合作的 Patch the Planet 项目中,借助 Codex 的 /goal 目标式提示功能审计 Rust、curl、zlib 等广泛使用的开源代码库。/goal 从单一变体分析流水线找出其提交的全部 Rust 漏洞,包括已在 Rust 1.98 修补的一个健全性缺陷和一个错误编译问题,并将各项目历史 CVE 转为需在易受影响版本触发、在修补版本静默的 Semgrep 规则,命中 11 处跨项目变体告警,还在一次探测中发现 Keycloak SAML 组件两个潜在高危权限提升漏洞。

  24. Trail of Bits · 收录 · 原文 24

    AWS Nitro Enclaves 与 KMS 集成中的攻击面分析

    Trail of Bits 梳理了 Nitro Enclaves 与 AWS KMS 通信信道的被动与主动攻击类别,并指出即使密码学实现正确,运营风险依然存在。KMS 通过基于 PCR 值的密钥策略和用 enclave 公钥加密响应两种机制限制访问,仅 GenerateDataKey、GenerateDataKeyPair、Decrypt、DeriveSharedSecret、GenerateRandom 支持这些机制,Encrypt 不在其列。文章给出避免被动攻击的检查清单,要求请求始终包含 Recipient 参数、使用加密上下文并正确授权 Encrypt 与 GenDataKey 操作。

  25. Simon Willison · 收录 · 原文 22

    Claude Cowork 初体验:Anthropic 的通用智能体

    Anthropic 推出研究预览版 Claude Cowork,被描述为“面向其余工作的 Claude Code”,仅向 Max 订阅用户开放,随后也向 $20/月的 Claude Pro 用户开放。它本质上是套上更友好界面的 Claude Code,并将文件挂载进容器化沙箱,Claude Code 逆向发现其使用 Apple VZVirtualMachine 下载并启动定制 Linux 根文件系统。作者用它筛选三个月内 46 个草稿文件并执行 44 次站内搜索,同时指出此类功能始终面临提示注入威胁。

  26. Simon Willison · 收录 · 原文 57

    Cline 因 issue 标题提示注入被投毒,NPM 发布包遭污染

    Adnan Khan 披露了一条针对 Cline GitHub 仓库的攻击链:Cline 用 anthropics/claude-code-action@v1 做 AI issue 自动分诊,配置了 Bash、Read、Write 等工具权限,且提示词包含 issue 标题,攻击者可在标题中诱导 Claude 执行任意命令,例如通过 npm install 安装指定 GitHub 包,再由其 package.json 的 preinstall 脚本运行代码。

    推荐理由完整还原了一条从 issue 标题提示注入到缓存投毒、最终污染 NPM 发布包的攻击链,适合评估 CI 中 AI 自动化的权限边界。

  27. Simon Willison · 收录 · 原文 8

    Simon Willison 谈智能体工程:从信任 Opus 4.5 到红绿 TDD

    Simon Willison 在旧金山 Pragmatic Summit 的火边对话中分享了对智能体工程的看法,称 Opus 4.5 是他第一个真正建立信任的模型——对于见过它处理过的类问题,他有信心不会出错。他强调每次编码会话都用一句“use red-green TDD”(约五个 token)启动,所有好的编程智能体都能理解并因此提高产出可用代码的概率,而不写测试的做法非常糟糕。他还批评 StrongDM“没人写代码也没人读代码”的原则极不负责任,尤其是作为一家做安全软件的安全公司。

  28. Wiz Research · 收录 · 原文 43

    Aqua Security 的 Trivy 遭供应链攻击,恶意版本与 GitHub Actions 被植入窃密代码

    Wiz Research 披露,威胁组织 TeamPCP 于 2026 年 3 月 19 日攻陷 Aqua Security 的 Trivy 漏洞扫描器,向官方发布和 GitHub Actions 注入窃取凭据的恶意代码。攻击者伪造提交推送至 actions/checkout 与 aquasecurity/trivy,触发 v0.69.4 标签发布,从仿冒域名 scan.aquasecurtiy[.]org 拉取窃密代码,并将后门二进制发布到 GitHub Releases、Docker Hub、GHCR 和 ECR;维护者随后移除了这些恶意产物。

  29. Wiz Research · 收录 · 原文 15

    GitHub Actions 安全入门:威胁模型、攻击与防御(上篇)

    GitHub Actions 的 pull_request_target 触发器结合检出 PR 代码,构成 "Pwn Request" 攻击类,Trivy 供应链入侵即由此发生——攻击者替换 setup-go action 代码后获得代码执行并窃取组织级高权限 token。该触发器运行 base 分支工作流、可访问仓库密钥且默认拥有 Write 权限,且不受组织级 fork PR 审批门控。上篇梳理 GitHub Actions 安全模型、三大风险(PR 攻陷、脚本注入、第三方组件)及防御手册,下篇将聚焦 AI 驱动 action 的新兴威胁。

  30. Wiz Research · 收录 · 原文 15

    Wiz Research《2026 年 SDLC 安全状况》报告:现代开发中风险如何规模化

    Wiz Research 发布《2026 年 SDLC 安全状况》报告,基于真实开发环境、公开仓库和生产遥测数据,指出应用风险正从孤立漏洞转向代码复用、信任关系和自动化连接形成的系统性风险。报告称依赖采用呈幂律分布,macOS 约占所观测开发者平台的 86%,约 45–50% 的组织使用 GitHub Actions;2025 年 9 月 Wiz Research 发现约 1/5 使用 AI 开发平台的组织因可重复生成模式和不安全默认值而受系统性安全问题影响。

  31. Wiz Research · 收录 · 原文 15

    Wiz Research 推出 Red Agent POV 系列博客

    Wiz Research 启动 Red Agent POV 博客系列,首篇披露其 AI 渗透测试工具 Red Agent 在生产系统中发现的 SSRF 严重漏洞。该工具通过持续推理应用行为来合成逻辑驱动漏洞和多步攻击链,一个月内自主扫描约 1,000 个环境,产生逾 17000 项独特发现,其中超过 5500 项高危及以上漏洞,54% 源于访问控制缺陷,泄露密钥中逾 61% 属严重级别。

  32. Wiz Research · 收录 · 原文 27

    Wiz Red Agent 发现 B2B 平台数据 API 付费墙绕过漏洞,600M+ 联系人信息可免费获取

    Wiz 的自主 Red Agent 在一家领先 B2B 平台的数据 API 中发现授权绕过漏洞:免费账户在搜索请求中注入单个客户端可控布尔参数(如 unmaskContactData),即可绕过积分付费机制,明文获取 600M+ 商业邮箱、135M+ 已验证直线电话及约 50% 记录中的个人邮箱。该漏洞源于后端信任客户端传入的 flag 而未校验用户权限,属于典型业务逻辑缺陷,传统 SAST/DAST 工具难以检出。平台安全团队在收到报告后 2 小时内完成修复。

  33. Wiz Research · 收录 · 原文 20

    Metabase 零日 SQL 注入漏洞(CVE-2026-72898)遭在野利用

    Metabase 平台一个零日 SQL 注入漏洞(CVE-2026-72898,GHSA-vwf4-m7j8-wcjf)已被用于攻击 Metabase Cloud,自托管实例需尽快打补丁。Wiz 观测到约 13% 的云环境部署了自托管 Metabase,其中约 25% 可完全从互联网访问,Shodan 收录约 2,500 个实例。漏洞源于 /api/session/reset_password 接口未剥离额外 user-id 参数,经 Clojure merge 与 HoneySQL :raw 特性组合形成盲注,影响 1.58 及以上版本。

  34. AI as Normal Technology · 收录 · 原文 46

    CRUX 提出开放世界评测:AI 智能体自主开发并上架 iOS 应用

    研究者提出开放世界评测(open-world evaluations)这一新兴评测类型,用于在真实环境中测量前沿 AI 能力,并成立由 17 名研究者组成的 CRUX 项目定期开展此类评测。作者认为基准测试既可能高估能力(任务可被精确指定就容易被优化),也可能低估能力(CAPTCHA 等偶发障碍),而开放世界评测以少量长周期真实任务、允许人工介入、以日志定性分析为主。

  35. Goodfire Research · 收录 · 原文 28

    Goodfire 复现 GPT-2 Small 的跨层转码器电路追踪

    Goodfire 在 GPT-2 Small 上训练跨层转码器(CLT),复现并验证其半自动发现模型内部计算结构的能力。CLT 用 FineWeb 的 100M token 训练,扩展因子 64,每层 49,152 个特征、12 层共 589,824 个特征,激活函数用 ReLU。在 greater-than 任务上,CLT 成功识别出可解释特征(包括抽象的奇偶特征),但发现的机制与 Hanna 等人此前的结果存在差异,提示稀疏解释器模型对计算机制的表示与分解可能有所不同。

  36. Goodfire Research · 收录 · 原文 15

    Goodfire 推出 Paint With Ember:用扩散模型潜空间概念作画

    Goodfire Research 发布 Paint With Ember,用画布取代提示词框,直接操控图像模型内部激活来编辑和生成图像。该工具基于 3.5B 参数的 Stable Diffusion XL-Turbo,针对其 UNet 的 block down.2.1 层训练 BatchTopK SAE 分解 16x16 patch 的潜向量,再用非负矩阵分解(NMF)把细粒度特征聚合成可操作的高层概念单元。用户可绘画添加物体、拖动概念、调整语义权重或修改主体动作,公开版应用与开源 SAE 解释器模型均已开放。

  37. Goodfire Research · 收录 · 原文 39

    Goodfire 用稀疏自编码器理解与操控 Llama 3

    Goodfire 发布 preview.goodfire.ai,一个用于理解和操控 Llama 3 行为的桌面界面,后端在 Llama-3-8B-Instruct 第 19 层残差流上训练稀疏自编码器(SAE),提取可修改的特征。训练数据选用 LMSYS-Chat-1M,作者称其在聊天场景下产生的特征最有效,而 FineWeb 等非聊天数据训练出的特征迁移效果较差。团队用自动化可解释性流程借助 Claude 为特征生成人类可读标签,并通过基于梯度的归因方法筛选干预候选,再以特征干预改变模型输出。作者观察到正向干预通常单个特征即可生效,负向干预常需多个特征,可能与自我修复有关;同时指出跨层叠加会让部分特征难以被干预。

  38. Goodfire Research · 收录 · 原文 46

    Goodfire 与 Rakuten 用 SAE 探针在生产环境检测 PII

    Goodfire 与 Rakuten 合作,将稀疏自编码器(SAE)探针用于 Rakuten AI 智能体的 PII 检测,这是已知首个将 SAE 用于语言模型护栏的企业应用。方法是在 Llama 3.1 8B 侧模型上训练 SAE,再用其特征激活训练分类器,逐 token 判断姓名、地址、电话、邮箱等 PII 类别。由于真实 PII 敏感,训练数据全部为合成数据,SAE 探针在合成到真实生产数据的分布迁移上优于普通激活探针和注意力探针,并在非英语和标签噪声场景下同样表现更好。成本上,探针比常见 LLM-as-judge 方案便宜 10 到 500 倍,性能相当;用同一模型做白盒探针的 F1 从黑盒判官的 51% 提升到 96%。

    推荐理由Goodfire 与 Rakuten 的落地案例给出了 SAE 探针在合成到真实数据迁移上的对比数据,可迁移到企业护栏场景。