补天平台推出AI安全奖励计划，携手白帽洺熙升级AI安全人才培养体系

补天平台推出业内首个AI专项漏洞奖励计划，对Ollama、VLLM、Vanna等主流开源AI产品漏洞实施双倍奖金，单项最高奖励提升至2.2万元。平台同时携手00后AI安全白帽洺熙全面升级AI技术内容体系，构建覆盖AI应用开发、模型安全、数据防护的全链路知识库。补天已汇聚15万名白帽，累计发现超200万个漏洞，旨在填补AI安全复合型人才缺口。

NVIDIA NeMo Guardrails 如何增强 LLM 输出流式传输的安全与智能

NVIDIA NeMo Guardrails 可对 LLM 逐 token 实时输出的流式响应进行安全增强。LLM 流式传输已从可选功能演变为现代 LLM 应用的核心组件，而传统等待完整响应再处理的方式在多模型调用等复杂场景下会造成明显延迟。

研究者披露 MCP 工具元数据隐藏指令攻击，可劫持 Claude 等客户端

安全研究者 Johann 披露 MCP 协议中工具元数据可携带隐藏 Unicode Tags 指令，用户界面不可见但会被 Claude 等模型解释执行。作者自建恶意 MCP 服务器演示了完整攻击链：在 message_of_the_day 工具描述中嵌入不可见指令，诱导 Claude 在调用该工具前先调用 enter_matrix 工具，而 UI 中检查描述看不到任何异常。攻击无需实际调用工具，仅将恶意服务器加入对话上下文即可劫持会话，因为工具元数据会被自动插入系统提示词。该攻击在 Claude Desktop、GitHub Copilot Agent Mode 和 Cursor 上均可复现。

推荐理由作者以自建 MCP 服务器实测，展示工具元数据中隐藏 Unicode Tags 指令如何绕过 UI 可见性并触发未授权工具调用。

NVIDIA：以智能体 AI 系统推进网络安全运营

大语言模型（LLM）的快速进步解锁了智能体 AI 系统，使 AI 不再只是被动响应，而能思考、规划并行动，从而把网络安全等多个领域的繁琐任务自动化。传统上，AI 在网络安全中的应用主要集中在检测类任务。

在 NVIDIA NeMo Guardrails 中用 Cleanlab 可信语言模型防止 LLM 幻觉

NVIDIA 演示了如何在 NeMo Guardrails 中集成 Cleanlab 的可信语言模型（Trustworthy Language Model），用于防止 LLM 生成看似合理但错误的幻觉回答。该方案将 Cleanlab 的可信度评分作为护栏机制接入 NeMo Guardrails，以提升企业 AI 应用的可靠性。

NVIDIA NeMo Guardrails 如何衡量与优化生成式 AI 应用中的护栏效果与性能

NVIDIA NeMo Guardrails 提供内容安全、话题控制、越狱检测等 AI 护栏，用于保障 AI 智能体及对话式 AI 应用的安全、符合品牌调性与可靠行为。该文探讨衡量与优化这些护栏效果和性能的技术方法，帮助企业在生成式 AI 应用中评估并提升护栏表现。

NVIDIA 技术博客：如何定义与标准化 LLM 红队测试

LLM 红队测试指向大语言模型等生成式 AI 提供输入，检验其输出是否偏离可接受标准，这一做法自 2023 年起迅速演变为行业惯例与可信 AI 的基石。NVIDIA 技术博客由此提出，业界需要进一步标准化并明确定义 LLM 红队测试。

NVIDIA：AI 智能体的自主性等级与安全

NVIDIA 技术博客探讨 AI 智能体的自主性等级与安全问题，将智能体工作流视为 AI 工具的下一步演进。这类工作流可让开发者串联多个 AI 模型执行复杂任务，调用工具访问额外数据或自动执行用户操作，并让模型以最少人工介入自主分析与完成任务。

Google DeepMind 推出 AGI 安全短期课程

Google DeepMind 发布了面向学生、研究人员和相关从业者的 AGI 安全短期课程，总时长 75 分钟，由录制讲座和练习组成，并配有幻灯片和练习手册。课程涵盖 AI 对齐问题及技术与治理层面的应对思路，内容包括刻意规划带来的风险、规格博弈与目标错误泛化两种错位目标来源、知情监督原则以及危险能力评估等前沿安全实践。若想进一步参与该方向工作，研究科学家与研究工程师岗位申请开放至 2 月 28 日。

如何用 NVIDIA NeMo Guardrails 保护客服 AI 智能体

NVIDIA NeMo Guardrails 为客服场景的 AI 智能体提供安全防护。这类智能体可自动处理常规咨询、加快响应速度，从而提升客服效率与客户满意度，帮助企业在竞争中保持优势；但驱动它们的 LLM 本身存在脆弱性，文章围绕此给出防护做法。

Frontier Model Forum 发布 AI 生物安全评估初步分类体系

Frontier Model Forum 发布《AI 生物安全评估初步分类》议题简报，提出按方法论和领域两个维度划分前沿 AI 生物安全评估的分类法与定义。方法论含三类：基准评估、红队演练和对照研究；领域涵盖科学知识与科学推理性评估及危害性生物知识评估，后者围绕生物威胁创建流程中的构思、计算机模拟实验等操作步骤展开。该分类基于 FMF 成员企业专家及外部先进 AI 与生物学专家的意见形成初步共识，旨在推动建立有效的 AI 生物安全评估生态。

NVIDIA 发布《NVIDIA AI Enterprise 安全》白皮书

NVIDIA 发布《NVIDIA AI Enterprise 安全》白皮书，阐述其保障 NVIDIA AI Enterprise 软件栈容器安全所采取的措施。白皮书涵盖安全开发生命周期、容器构建生命周期管理、安全设计、安全加固、SBOM、容器签名与模型签名及 NIM 微服务。漏洞响应部分包括漏洞扫描、修补、VEX 与协同漏洞披露，并由 NGC 通知服务做安全事件监控。

NVIDIA NeMo Guardrails 如何为 RAG 应用做内容审核与安全检查

NVIDIA NeMo Guardrails 通过集成 Meta 的 LlamaGuard 和 AlignScore 等第三方安全模型，为 RAG 应用提供内容审核与安全检查。该工具以开源工具包和微服务两种形式部署，支持内容审核、越狱检测、PII 检测、幻觉检测等护栏功能，可在 LLM 输出前扫描检索内容与生成回复中的冒犯性语言、虚假信息或政策违规。NeMo Guardrails 微服务处于早期访问阶段，提供 OpenAI 兼容 API。

用 NVIDIA AI Blueprints 在 AWS 的 CI 流水线中自动完成早期安全补丁

NVIDIA AI Blueprints 可在 AWS 的 CI 流水线中自动完成早期安全补丁。现代应用开发向基于微服务的架构迁移，带来灵活性与可扩展性，也引入了新的安全复杂性：以往工程团队只需负责单体应用中的少量安全事项，微服务架构改变了这一格局。

Super Protocol 如何用自主权 AI 与 NVIDIA 机密计算实现去中心化隐私

Super Protocol 借助区块链去中心化扩展 NVIDIA 机密计算（CC）能力，让 AI 开发、训练与推理中的用户数据实现去中心化、私密且由用户自主掌控。该方案针对自主权 AI 场景，将机密计算与去中心化结合，解决数据隐私与控制权问题。

NVIDIA Morpheus：以加速告警分诊和 LLM 智能体增强 SOC

NVIDIA Morpheus 通过加速告警分诊与 LLM 智能体，帮助安全运营中心（SOC）分析师应对海量安全告警。SOC 分析师每天需处理大量告警，从中筛除误报并识别真正的入侵指标，而告警数量过大会使重要的早期信号被淹没。

OLMo：加速语言模型科学研究

为应对最强语言模型被专有接口封闭、训练数据与架构细节不公开的问题，研究者构建了真正开放的语言模型 OLMo。与以往仅发布模型权重和推理代码的做法不同，OLMo 同时公开了训练数据、训练代码与评估代码，以支持对语言模型偏见与潜在风险的科学研究的开展。

腾讯玄武实验室推出一款基于安全大模型的EDR告警研判机器人

腾讯玄武实验室公开一款基于安全大模型的EDR告警研判机器人，能对EDR设备上报的告警做多维度的智能分析与自动调查取证。该机器人结合资产信息、事件信息、进程树和告警规则等多源细节，借助大模型的安全知识与推理能力展开研判，并将误报可能性量化为很大、中等偏大、中等偏小及很小四档，便于用户按优先级处置告警。其技术方案经30余轮迭代打磨而成，涵盖训练数据生成算法、数据分布优化策略、Prompt工程、微调与强化学习算法及模型能力评价体系，且支持私有化部署以保证极高吞吐量。

腾讯玄武实验室提出端侧提示词隐私保护方案并开源中文权重

腾讯安全玄武实验室提出一种可部署在端侧的提示词隐私保护方案，在调用云端 LLM 的流程中插入两个端侧步骤，先平行替换隐私实体完成脱敏，再还原云端输出中的隐私实体。方案用标注的平行语料训练了一个权重约 500MB 的小模型，基于开源模型 Bloom，在手机和笔记本上完成部署实验；仅用 CPU 时 MacBook M2 推理速度 180-200 tokens/s，MacBook M1 为 110-130 tokens/s，Pixel 8 Pro 为 20-30 tokens/s。原生支持润色、摘要、翻译、阅读理解和文本分类，并支持 Zero Shot 自定义扩展任务。

Anthropic 发布 PySvelte：连接 Python 深度学习与 Svelte 可视化的库

Anthropic 发布 PySvelte，一个用于将基于 Svelte 和 Web 标准的自定义可视化接入 Python 深度学习工作流的库。它让 src/ 目录下的 Svelte 组件自动以 pysvelte.Hello() 形式在 Python 中可用，支持 NumPy 数组传入、组件相加成页面，并可通过 .publish() 发布到 GCS/S3/AZ 等存储分享。该库声明完全不提供支持，许多功能需用户自行编写 config.py 才能使用。

Anthropic 的可解释性基础设施 Garçon

Anthropic 为其机制可解释性研究搭建了一套名为 Garçon 的基础设施，可在跨节点的大规模 Transformer 模型上进行激活读取、组件消融与梯度回传实验。它通过启动服务器并连接远程模型的接口运行前向传播，暴露一组 probe points，允许挂载探针函数访问或修改内部张量，并以云 pickle 传输任意 Python 对象到服务端执行。

Anthropic 发布 Transformer 逆向工程数学练习集

Anthropic 的可解释性团队发布了一套配套其 Transformer 数学框架的练习集，要求读者为注意力头写出具体权重矩阵以实现特定算法，并附有解答。练习分三部分：热身题讨论单个注意力头如何用 W_Q、W_K、W_V、W_out 描述信息在残差流子空间之间的读写，以及 W_Q^T·W_K 和 W_out·W_V 的含义与秩；练习一用两个前一个 token 注意力头构造出看向两个 token 之前的虚拟注意力头，并展开 W_net 矩阵；练习二和练习三分别用指针算术和前一 token K-Composition 两种方式手工搭建归纳头，后者适用于 rotary attention 这类不向 W_V 暴露位置信息的机制。

推荐理由Anthropic 可解释性团队把注意力头的权重写成显式矩阵，读者可据此亲手推导归纳头等机制。

Nicholas Carlini 发布 arXiv 对抗样本论文完整列表

Nicholas Carlini 整理并公开了一份自动更新的 arXiv 对抗样本论文完整列表，涵盖每年大量新增的相关工作，并提供 TXT、含摘要版 TXT 及 JSON 三种下载格式。该列表收录标准仅为论文主要以对抗样本为主题或在研究中广泛使用对抗样本，未经质量筛选，因此可能包含误收条目。由于更新自动化程度较高，最新几条尚未人工过滤的记录会附带分类器预测概率，其中部分标注低至 1%。

Nicholas Carlini 发布对抗机器学习阅读清单

Nicholas Carlini 整理了一份针对机器学习系统逃逸攻击（即对抗样本）研究的推荐阅读清单，分为三个版本：仅基础版收录五篇简要综述该领域的论文，快速入门版列出约十篇最值得读的重要论文，完整背景版则汇总所有从事神经网络评估的人应读完的论文。清单按主题分类并标注了各主题之间的先后阅读顺序，另提供 RSS Feed。

Nicholas Carlini 给出评估对抗样本防御的建议

Nicholas Carlini 基于其 ICML 2018 最佳论文《Obfuscated Gradients Give a False Sense of Security》的演讲，整理出评估对抗样本防御的建议。他指出 ICLR 2018 接收的防御论文中超过一半结论有误、评估偏弱，核心要求是必须针对具体防御设计自适应攻击，而非只测已有攻击。具体建议包括不要只用 FGS 攻击、使用 1000 次以上迭代的迭代攻击、从随机起点搜索、做迁移性分析、使用 ZOO、SPSA、NES 和仅决策攻击等无梯度方法，以及随机搜索。

推荐理由作者基于 ICML 2018 最佳论文的实测经验，给出评估对抗样本防御的具体检查清单，可迁移到其他鲁棒性评测。