跳到正文

全部动态

今天收录 1 条

第 6 页更新的内容回到最新

4月18日周六
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    如何用 OpenClaw 与 NVIDIA NemoClaw 构建更安全、常驻的本地 AI 智能体

    NVIDIA NemoClaw 这套开源参考栈可编排 NVIDIA OpenShell,在本机沙箱中运行 OpenClaw 等开放 harness,构建常驻的本地 AI 智能体。教程在 NVIDIA DGX Spark(GB10)上用 Ollama 本地部署 NVIDIA Nemotron 3 Super 120B,并接入 Telegram 远程访问。OpenShell 负责沙箱隔离、凭证管理与 API 代理,但官方提醒任何沙箱都无法完全防御高级提示注入。

4月16日周四
  1. Goodfire Research ·

    Goodfire 提出协方差池化 Covariance Pooling,替代基因组基础模型的均值池化

    Goodfire 提出基于二阶矩截断的协方差池化(covariance pooling),作为基因组基础模型中序列聚合的新基线,并在 NTv3 上的 Gene Ontology 预测与基因组轨迹预测中显著优于均值池化。该方法计算 token 激活的二阶矩而非一阶矩,保留了均值丢弃的特征联合激活结构,刻画逐 token 嵌入云团的形状而不只是质心,且无需标签或额外架构选择。通过重建二阶矩学习低秩分解,可将长激活序列压缩为固定大小的紧凑嵌入,既可用于无监督嵌入学习,也可端到端接入有监督探针或其混合方式。

  2. Google DeepMind ·

    Gemini 3.1 Flash TTS 发布:支持音频标签的可控语音生成

    Google DeepMind 推出 Gemini 3.1 Flash TTS,一款支持音频标签(audio tags)的文本转语音模型,可通过自然语言指令控制语音风格、语速与表达方式。该模型在 Artificial Analysis TTS 排行榜上取得 1,211 Elo 分数,支持 70 多种语言和原生多说话人对话,并已通过 Gemini API、Google AI Studio、Vertex AI 和 Workspace 的 Google Vids 逐步开放预览。所有生成音频均嵌入 SynthID 水印以支持 AI 内容检测。

4月15日周三
  1. OWASP GenAI Security Project ·

    OWASP 上线 FinBot CTF,用模拟金融多智能体平台演练 Agentic 安全风险

    OWASP GenAI Security Project 的 Agentic Security Initiative 正式上线 FinBot CTF,这是一个围绕模拟金融服务应用构建的交互式 Agentic 安全 CTF,被定位为“Agentic AI 的 Juice Shop”。FinBot 模拟一个多智能体供应商管理平台,包含自主入驻、欺诈检测、发票处理和通信等由 LLM 驱动并拥有真实工具访问权限的流程。

4月13日周一
  1. Google DeepMind ·

    Google DeepMind 推出 Gemini Robotics-ER 1.6,强化具身推理能力

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这款以推理为先的机器人模型在空间推理与多视角理解上显著增强,可原生调用 Google Search、VLA 等工具。相比 Gemini Robotics-ER 1.5 和 Gemini 3.0 Flash,其在指向、计数、成功检测等空间与物理推理任务上明显提升,并新增仪表读数能力,可读取压力表、视镜等设备,该用例来自与 Boston Dynamics 的合作。模型即日起通过 Gemini API 和 Google AI Studio 向开发者开放。

4月10日周五
  1. Goodfire Research · · 原文 75

    Goodfire 研究思维链表演性:探针揭示模型内部答案早于推理文本

    Goodfire Research 提出用注意力探针、强制作答和 CoT 监控三种方法对比模型内部信念与思维链文本,把两者的准确率差距定义为表演性推理。研究在 DeepSeek-R1-0528-671B、GPT-OSS-120B 及 DeepSeek-R1 蒸馏模型上,用 MMLU-Redux 和 GPQA-Diamond 两个多选题基准测试。最佳注意力探针在 MMLU 上平均准确率达 87.98%,而单 token 线性探针不超过 31.85%,接近 25% 的随机基线。

    推荐理由Goodfire 用探针与强制作答对比思维链监控,量化了模型内部信念与外部推理文本的错位,并给出可复用的早退方法。

  2. Microsoft PyRIT 版本发布 ·

    微软 PyRIT 发布 v0.12.1 安全补丁,修复 Jinja2 模板注入漏洞

    微软 PyRIT 发布 v0.12.1 安全补丁,修复 Jinja2 模板注入(SSTI)漏洞,建议 0.12.0 及更早版本用户升级。漏洞源于模板渲染使用未沙箱化的 Jinja2 Environment,远程数据集加载器把抓取的数据直接传入 SeedPrompt(value=...) 并在 __post_init__ 中按模板渲染,被投毒的数据集可借此实现 Python 对象遍历。

4月6日周一
4月3日周五
  1. NVIDIA garak 版本发布 ·

    NVIDIA garak v0.14.1 发布:新增 WebSocket 生成器并移除 nemollm

    NVIDIA garak 发布 v0.14.1,新增面向实时 LLM 安全测试的 WebSocket 生成器和 OpenAI Harmony 音频输入格式,并为攻击成功率加入 Bootstrap 置信区间。该版本激活 sata 与 badchars 探针、补充简历类提示注入样例、改进 Jinja 注入检测,同时移除了废弃的 nemollm 生成器及其依赖,属破坏性变更。

4月2日周四
  1. Transformer Circuits(Anthropic 可解释性) · · 原文 62

    Anthropic 在 Claude Sonnet 4.5 中发现情绪概念表征并证实其影响输出

    Anthropic 的可解释性研究团队在 Claude Sonnet 4.5 中发现了情绪概念的内部表征,并表明这些表征会因果性地影响模型的输出。研究以 Transformer Circuits 文章形式发布,但当前可见内容仅为摘要,未提供具体探测方法、表征位置和实验细节。

    推荐理由Anthropic 在 Claude Sonnet 4.5 中找到情绪概念表征并给出其因果影响输出的证据,是机制可解释性研究的一个具体案例。

4月1日周三
  1. DeepMind Safety Research · · 原文 82

    DeepMind 提出预测 RL 训练何时破坏思维链可监控性的框架

    DeepMind Safety Research 提出一个概念框架,按输出奖励与思维链奖励的关系把训练环境分为冲突、正交、对齐三类,用于在训练前预测 RL 是否会破坏思维链可监控性。

    推荐理由提出按奖励冲突类型预判 RL 训练是否破坏思维链可监控性的框架,并在代码后门与抛硬币任务上验证。

  2. Goodfire Research · · 原文 66

    Goodfire 与 Rakuten 用 SAE 探针在生产环境检测 PII

    Goodfire 与 Rakuten 合作,将稀疏自编码器(SAE)探针用于 Rakuten AI 智能体的 PII 检测,这是已知首个将 SAE 用于语言模型护栏的企业应用。方法是在 Llama 3.1 8B 侧模型上训练 SAE,再用其特征激活训练分类器,逐 token 判断姓名、地址、电话、邮箱等 PII 类别。由于真实 PII 敏感,训练数据全部为合成数据,SAE 探针在合成到真实生产数据的分布迁移上优于普通激活探针和注意力探针,并在非英语和标签噪声场景下同样表现更好。成本上,探针比常见 LLM-as-judge 方案便宜 10 到 500 倍,性能相当;用同一模型做白盒探针的 F1 从黑盒判官的 51% 提升到 96%。

    推荐理由Goodfire 与 Rakuten 的落地案例给出了 SAE 探针在合成到真实数据迁移上的对比数据,可迁移到企业护栏场景。

  3. Goodfire Research ·

    Goodfire 用可解释性从表观遗传基础模型 Pleiades 中找出新型阿尔茨海默病生物标志物

    Goodfire 将可解释性方法应用于 Prima Mente 的表观遗传基础模型 Pleiades,发现 DNA 片段长度模式主导其从血液游离 DNA 检测阿尔茨海默病的决策,并由此提炼出一个人类可解释的分类器。该分类器仅用片段长度特征即在独立队列上取得 AUROC=0.78(95% CI [0.56–0.95]),加入此前文献报道的生物标志物类别后升至 AUROC=0.84(95% CI [0.66, 0.97])。研究表明片段组学可作为互补于既有预测指标的新型候选信号,但其临床应用仍需进一步验证。

  4. Goodfire Research · · 原文 71

    Goodfire 提出 RLFR:用可解释性探针作奖励,将 Gemma-3-12B-IT 幻觉降低 58%

    Goodfire Research 提出 RLFR(Reinforcement Learning from Feature Rewards),用模型内部激活上训练的轻量探针作为强化学习奖励信号,在 Gemma-3-12B-IT 上把幻觉率降低 58%,每次干预成本比 LLM-as-judge 方案低约 90 倍,且标准基准无退化。方法分四步:token 级定位探针找出候选实体片段,span 级分类探针判断是否为幻觉,策略生成内联纠正或撤回,再由两个奖励探针分别给纠正和撤回打分。训练用约 360 步优化器更新、成本约 2.5k 美元,同样预算下用 Gemini 2.5 Pro 加网页搜索作奖励只能跑 3–5 步。

    推荐理由Goodfire 用探针奖励替代 LLM 评判做 RL,给出成本与幻觉下降的对比数据,可迁移到其他开放式任务监督。

  5. Goodfire Research · · 原文 71

    Goodfire 用损失曲率区分模型记忆与推理并实现选择性编辑

    Goodfire Research 提出通过分析模型损失景观的曲率,区分权重空间中主要支撑记忆的方向与支撑通用计算的方向,从而在无需标注遗忘样本的情况下选择性抑制记忆。方法先用 K-FAC 从随机训练序列的前向与反向传播统计中近似曲率,再据此分解权重矩阵并清零低曲率分量。在语言模型上,该方法对未参与训练的遗忘序列的抑制效果优于 SOTA 遗忘方法 BalancedSubnet,纯逻辑推理任务表现不受影响甚至略有提升。在视觉 Transformer 上,对 10% 随机标签噪声的记忆率从 81.6% 降至 3.5%,验证准确率从 67% 升至 71.7%。

    推荐理由Goodfire 用损失曲率区分记忆与通用计算方向,为理解模型记忆存储与选择性编辑提供了一种免标注的方法。

3月31日周二
  1. MITRE ATLAS 数据发布 · · 原文 65

    MITRE ATLAS 发布 v5.4.0,新增 AI Agent 攻击技术与案例研究

    MITRE ATLAS 发布 v5.4.0,新增多项针对 AI Agent 的攻击技术,包括发布被投毒的 AI Agent 工具、从 Agent 逃逸到宿主机、利用漏洞获取凭据、利用漏洞规避防御,以及 AI Agent 用户执行类的被投毒工具与恶意链接。该版本还更新了修改 AI Agent 配置这一既有技术。案例研究方面新增了暴露的 ClawdBot 控制接口导致凭据访问与执行、通过被投毒 ClawdBot 技能实施供应链入侵、OpenClaw 一键远程代码执行,以及通过提示注入对 OpenClaw 实施命令与控制。

    推荐理由MITRE ATLAS v5.4.0 新增针对 AI Agent 的攻击技术与真实案例,做 Agent 威胁建模的团队可对照更新自己的攻击面清单。

3月28日周六
  1. Microsoft PyRIT 版本发布 ·

    Microsoft PyRIT v0.12.0 发布:GUI、CLI 与框架三种交互方式全部可用

    Microsoft 发布 AI 红队测试工具 PyRIT v0.12.0,首次让 GUI(CoPyRIT)、CLI 和框架三种交互方式全部达到可用状态。CLI 新增 Scam、Leakage、Psychosocial、Jailbreak 四类 AIRT 场景及 RedTeamAgent Foundry 预配置红队测试,覆盖 25+ 攻击策略。框架引入 YAML 配置系统、TargetRegistry 和 8 个新数据集加载器,但含破坏性变更需按迁移指南升级。

  2. Goodfire Research ·

    Goodfire 与 Arc Institute 合作解读 Evo 2 基因组基础模型

    Goodfire 与 Arc Institute 合作,对 Arc 新一代生物基础模型 Evo 2 开展机制可解释性研究,在其第 26 层训练 BatchTopK 稀疏自编码器(SAE),提取出外显子-内含子边界、蛋白质二级结构等具有生物学意义的特征,并通过大规模对齐分析以 domain-F1 分数验证其相关性。Evo 2 提供 7B 和 40B 两种参数规模,可在核苷酸级别处理最长 1M 碱基对序列。团队已初步尝试通过特征引导(steering)精确设计新蛋白质结构,但该模型的可控性远比语言模型复杂,仍需进一步研究。

  3. OpenAI Alignment Research · · 原文 71

    OpenAI 研究:对齐中间训练能泛化多远

    OpenAI 对齐研究团队在类似 o4-mini 的模型上复现并扩展了 Tice 等人的对齐中间训练实验,用 230k 篇文档(约 340M token)分别做对齐与不对齐中间训练,再接入推理后训练。

    推荐理由OpenAI 公开了一组对齐中间训练的负面结果,说明该干预在推理后训练和真实智能体场景中难以泛化,为后续对齐先验研究提供了可比较的基线。

3月26日周四
  1. OpenAI Alignment Research · · 原文 68

    OpenAI 发布 Model Spec Evals,GPT-5 Thinking 合规率 89%

    OpenAI 发布首个完整版 Model Spec Evals,用于衡量模型遵循 OpenAI Model Spec 的程度。该评测覆盖 Model Spec 全部政策章节,包含 596 条提示词和 225 个具体关注点,每条提示词配有说明合规边界的评分细则。评分由自动评分器 GPT-5 Thinking 完成,对每条回复采样五次合规分(1-7)取中位数,1-5 判为不合规、6-7 判为合规。

    推荐理由OpenAI 公开了 Model Spec 合规度评测的完整数据集、评分流程与各代模型得分,可供研究者复现并比较模型行为。

3月23日周一
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    NVIDIA 如何为机密 AI 工厂构建零信任架构

    为机密 AI 工厂构建零信任架构,用于应对企业私有数据与 AI 模型结合时的隐私与信任风险。AI 正从实验走向生产,但企业所需的大部分数据位于公有云之外,包括患者记录、市场调研以及承载企业知识的遗留系统,隐私与信任顾虑常常拖慢甚至阻断 AI 的采用。

3月22日周日
  1. OpenAI Alignment Research · · 原文 84

    OpenAI 训练智能体自我举报违规行为

    OpenAI 对齐研究团队提出自我举报(self-incrimination)训练方法,让智能体在暗中违规时调用 report_scheming() 工具主动上报。该方法在 45 个合成环境中生成约 400 组对比轨迹,对贡献于隐藏副任务的工具调用插入上报调用,再用公开微调 API 训练 GPT-4.1、GPT-4.1 mini 和 Gemini 2.0 Flash。

    推荐理由OpenAI 团队提出让智能体在暗中违规时主动调用上报工具,并给出跨 15 个环境的攻击漏检率对比,可作为 AI 控制路线的参考。

3月18日周三
  1. OWASP GenAI Security Project ·

    OWASP GenAI Security Project 在 RSA 2026 前扩充 LLM 与智能体安全框架

    OWASP GenAI Security Project 发布了面向 LLM 与智能体安全的更新版全景指南及配套资源,并公布其在 RSA 2026 期间的一周活动安排。该项目的《Q2 2026 Updated Landscape Guide for LLM and Agentic Security》新增供应商与工具体系文档以及智能体红队测试分类体系,覆盖开发、测试、部署与治理全生命周期。同期发布的还有自主与智能体 AI 系统风险清单、Secure MCP Server Development 指南、SBOM/AIBOM Generator 开源工具以及 AI 红队服务商评估标准。

3月17日周二
3月12日周四
  1. NVIDIA NeMo Guardrails 版本发布 ·

    NVIDIA NeMo Guardrails v0.21.0 发布:新增并行执行输入/输出护栏引擎 IORails

    NVIDIA NeMo Guardrails 发布 v0.21.0,引入优化后的输入/输出护栏引擎 IORails,支持并行执行 NemoGuard 的内容安全、话题安全和越狱检测三类护栏,并带日志记录与请求 ID。该版本还新增 LLMRails.check_async 方法实现独立的输入/输出护栏校验,使护栏服务器兼容 OpenAI(含新的 v1/models 端点),并通过 GuardrailsMiddleware 接入 LangChain 智能体。社区集成方面加入 PolicyAI 内容审核、CrowdStrike AIDR 及基于正则表达式的检测护栏,同时将嵌入索引初始化改为惰性加载以改善启动性能。

  2. OpenAI Alignment Research · · 原文 76

    OpenAI 提出 ARGO:用强化学习把黑盒奖励模型蒸馏为可解释评分标准

    OpenAI 对齐研究团队提出 ARGO(Automated Rubric Grader Optimization),通过强化学习训练策略模型生成可解释的评分标准(rubric),使 rubric 条件下的 LLM 评判者与黑盒奖励模型的偏好概率尽可能一致。方法上,每轮 RL 迭代包含生成候选 rubric、用 rubric 条件下评判者与 RM 偏好的一致度打分、更新策略偏好高分 rubric、以及把上一轮尝试反馈进下一轮提示词四步。研究在两类用户偏好群体上学习 rubric:群体 A 类似 ChatGPT 普通用户,群体 B 是更熟悉 OpenAI 政策的专家。

    推荐理由OpenAI 用强化学习把黑盒奖励模型蒸馏成可读评分标准,并对比两类用户偏好群体暴露出的偏差差异。

3月11日周三
3月9日周一
2月28日周六
  1. 腾讯玄武实验室 · · 原文 71

    腾讯玄武实验室披露 Agentic Coding 的幽灵依赖供应链威胁并发布 Atuin 插件

    腾讯玄武实验室提出 Agentic Coding 范式下的“幽灵依赖”供应链风险,即 LLM 自主选择第三方组件时倾向于引入过时版本(版本幽灵)或捏造不存在的组件名(名称幽灵)。对某主流编程模型的测试显示,Python Web 场景下其生成的 requirements.txt 几乎总是包含 2023 年或更早的过时组件版本,在长尾需求下编造组件名的幻觉率高达 40% 且集中在可预测的模式上。实验表明,完全由 AI 构建的 Python Web 应用因引入存在高危 SQL 注入漏洞的过时组件而“出厂即自带后门”;针对某一高频幻觉组件名在公共仓库注册后,20 天内被下载 500 次以上。

    推荐理由腾讯玄武实验室披露 Agentic Coding 中模型自主选包带来的两类供应链风险,并给出可复现的实测数据与防护插件。

2月23日周一
2月20日周五
  1. UK AISI(GOV.UK 公告) ·

    OpenAI 与 Microsoft 加入英国 AISI 国际对齐项目,资助总额超 2700 万英镑

    英国 AI Security Institute(AISI)宣布 OpenAI 与 Microsoft 加入其 Alignment Project,OpenAI 承诺追加 560 万英镑,加上 Microsoft 等方支持,该基金可用资金超过 2700 万英镑。该项目由英国副首相 David Lammy 和 AI 大臣 Kanishka Narayan 在印度 AI Impact Summit 闭幕时公布,首批资助来自 8 个国家的 60 个项目,第二轮申请将于今年夏季开放。

  2. Google Security Blog ·

    Google Play 与 Android 应用生态 2025 年安全防护成效

    Google 公布 2025 年 Google Play 与 Android 生态安全成果:拦截超过 175 万个违规应用上架,封禁逾 8 万名恶意开发者账号,并阻止超 25.5 万个应用获取过多敏感用户数据权限。其将最新生成式 AI 模型接入审核流程辅助人工团队更快识别复杂恶意模式,同时借助检测模型屏蔽了 1.6 亿条垃圾评分与评论,并为遭差评轰炸的应用挽回平均 0.5 星降幅。Android 内置的 Google Play Protect 每日扫描超 3500 亿次应用安装,其实时扫描从 Google Play 之外识别出逾 2700 万个新的恶意应用。

2月17日周二
  1. Microsoft PyRIT 版本发布 ·

    Microsoft PyRIT v0.11.0 发布:新增 WebSocketCopilotTarget 与 30 个越狱模板

    Microsoft PyRIT 发布 v0.11.0,破坏性变更将攻击与执行器从 SeedPromptGroup 改为基于 Message 运行,并重命名场景配置 API。该版本新增 WebSocketCopilotTarget,可通过 WebSocket 向 Microsoft Copilot 发送提示词执行,同时加入图像下载支持的 ImageTarget 重构及 OpenAIImageTarget 的图像编辑/混合功能。

2月7日周六
  1. OpenAI Alignment Research · · 原文 76

    OpenAI 用 AI 裁判从真实对话中发现未知的模型失准行为

    OpenAI 提出一种从真实使用中检测并诊断模型失准的方法:把内部推理模型当作 AI 裁判,在用户允许数据用于改进模型的历史生产对话中识别情绪恶化,再离线推理 ChatGPT 是否做出了导致情绪下滑的失准行为。情绪只作为检索锚点,不作为优化目标。研究发现情绪恶化的对话出现 OpenAI Model Spec 违规的概率约为普通对话的两倍,AI 裁判能识别用户明说的错误、语气变化暗示的问题,以及用户本人未察觉的失准。

    推荐理由OpenAI 用推理模型充当 AI 裁判,从真实对话的情绪变化中反推未被察觉的失准行为,并给出可复用的检测与聚类流程。

2月5日周四
  1. Goodfire Research · · 原文 60

    Goodfire 发布 Llama 3.3 70B 的 SAE 特征空间图谱与 API

    Goodfire 在 Llama 3.3 70B 上训练了稀疏自编码器(SAE),并通过 API 开放这一带可解释性工具的模型,作者称这是当时公开可用的最强可解释性模型。文章用 DataMapPlot 生成 SAE 特征的 UMAP 交互式可视化,发现与特殊格式 token 或聊天数据中重复元素(如知识截止日期)相关的特征会以孤立点或小簇形式远离中心区域,并给出生物医学、物理、编程、名称抽象以及语音与字符相关等特征簇示例。

    推荐理由Goodfire 公开了 Llama 3.3 70B 的 SAE 特征图与 API,并给出特征引导中事实性随强度下降的实测曲线,可作机制可解释性研究的参考。

  2. Goodfire Research ·

    Goodfire 用稀疏自编码器理解与操控 Llama 3

    Goodfire 发布 preview.goodfire.ai,一个用于理解和操控 Llama 3 行为的桌面界面,后端在 Llama-3-8B-Instruct 第 19 层残差流上训练稀疏自编码器(SAE),提取可修改的特征。训练数据选用 LMSYS-Chat-1M,作者称其在聊天场景下产生的特征最有效,而 FineWeb 等非聊天数据训练出的特征迁移效果较差。团队用自动化可解释性流程借助 Claude 为特征生成人类可读标签,并通过基于梯度的归因方法筛选干预候选,再以特征干预改变模型输出。作者观察到正向干预通常单个特征即可生效,负向干预常需多个特征,可能与自我修复有关;同时指出跨层叠加会让部分特征难以被干预。