NVIDIA NeMo Guardrails v0.24.0 发布
NVIDIA 发布 NeMo Guardrails v0.24.0，IORails 现可直接执行库内 67 项输入输出接口中的 59 项，并与 LLMRails 共享同一底层实现。该版本引入引擎中立的 RailOutcome 契约、声明式的 rail manifest 以及统一的对外 HTTP 客户端，同时新增 F5 Guardrails 集成、服务器健康检查端点及通过 `/v1/checks` 进行输出检查的功能。
防御与护栏
今天新收录 35 条（含旧文）今天新收录 35 条（含旧文）
防御与护栏
今天新收录 35 条（含旧文）
10月1日周四
星期四
NVIDIA NeMo Guardrails 版本发布 · 收录 · 原文 NVIDIA NeMo Guardrails 版本发布 · 收录 · 原文 关注度77 NVIDIA NeMo Guardrails v0.24.1 发布
NVIDIA NeMo Guardrails 发布 v0.24.1 补丁版本，集中修复若干缺陷。该版本修正了 benchmark 中 Locust 并发测量与扫描、content-safety 对 Nemotron 3.5 响应的解析、server 在 IORails 准入丢弃时返回过载响应，以及 rails 对组合配置加载 config.py 的问题。
NVIDIA garak 版本发布 · 收录 · 原文 关注度2525 NVIDIA garak v0.15.0 发布：新增多轮 GOAT、Agent breaker 与系统提示提取探针
NVIDIA garak 发布 v0.15.0，新增多轮 GOAT、Agent breaker 和系统提示提取三类探针，并加入同形异义混淆提示走私检测及 ModernBERT 拒答检测器。该版本还引入 NeMoGuardrails 服务器支持和带推理轨迹的测试生成器，改进 REST 生成器的 mTLS 客户端证书认证并为 Bedrock 生成器增加推理模型支持，同时修复编码检测逻辑翻转等问题。
arXiv · 收录 · 原文 论文关注度4141 面向旧款 GPU 的可验证差分隐私训练框架：用 CPU 侧 TEE 校验 GPU 梯度
论文提出一种在旧款 GPU 上实现可验证差分隐私（DP）训练的框架，用 CPU 侧 TEE 配合不受信任的 GPU 完成校验。作者指出，零知识证明等密码学方案开销过大，有时高出数个数量级，而支持大语言模型训练与微调的多 GPU TEE 仅限较新平台，在旧款 GPU 上缺失或效率低下。该设计把昂贵的梯度计算卸载到 GPU，由 CPU TEE 通过概率性检查验证梯度上 DP 是否被正确执行，以缓解全在 CPU TEE 内训练过慢、无限制卸载又可能被恶意偏离 DP 的效率与安全矛盾。框架能以高概率检测频繁的完全偏离；在本文评估的面向效用的伪造梯度攻击中，稀疏偏离带来的效用收益有限，也未观察到可测量的额外成员泄露。
arXiv · 收录 · 原文 论文关注度4343 MATE：面向移动 Agent 的策略感知安全审计方法
研究者提出 MATE，一个轻量的策略条件审计器，同时编码 Agent 轨迹与自然语言安全策略，判断轨迹是否违反给定策略并给出原因。由于把策略当作可编辑文本而非固定模型参数，MATE 无需重新训练即可适配用户自定义和不断变化的要求。作者从全球数百个热门移动应用中抽取应用描述、工作流和策略构建知识库，并用多阶段流水线合成超过 140K 条语义真实的策略条件轨迹。团队同时发布 MATEBench，包含两个合成子集和一个由人工收集轨迹构成的真实子集。
arXiv · 收录 · 原文 论文关注度5353 AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架
研究者提出 AgentBound，一个针对工具型 LLM Agent 安全的四路反事实生成与评测框架，通过独立改变表面风险与动作许可性，构造同一可执行工作流的不同版本，从而在控制任务能力的前提下同时诊断过度拒答与不安全执行。该框架被实例化为一个经人工验证的 4000 任务评测套件，采用基于轨迹和基于后置状态的判断方式。在 17 种模型与 harness 配置上，高安全性常与授权任务完成率低并存：GPT-5.5 拦截了 99.5% 看似常规但未授权的动作，却只完成 28.7% 看似有风险但已授权的任务。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1818 NVIDIA 提出四种更安全地部署 AI 智能体的方式
NVIDIA 技术博客提出四种更安全部署 AI 智能体的方式，针对将大语言模型接入工作流所带来的风险。文中指出 AI 智能体作为“数字同事”能自动处理缺陷报告、实现并测试修复、推送补丁再交由人工复核，从而带来生产力提升，但也因此扩大了攻击面。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1515 NVIDIA 谈安全在 AI 智能体栈中的位置
NVIDIA 的安全团队基于其 OpenShell 及生态合作经验，阐述了新兴 AI 智能体栈中安全的定位问题，指出随着智能体能力增强并运行于更长的时间跨度，将安全与信任内建于其所驱动的应用愈发重要。该视角覆盖智能体栈的各层及其作用，面向开发者、开源项目和合作伙伴提供参考。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1111 NVIDIA 机密计算如何实现私有高性能生产级 AI 推理
NVIDIA 机密计算（CC）通过内存加密的机密虚拟机（CVM）和机密 GPU，让 LLM 推理在个人、企业和受监管场景中处理敏感数据与专有模型上下文时运行于可信环境。该方案面向生产级 AI 推理，兼顾私有性与高性能。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度2121 NVIDIA OpenShell：为 AI 智能体添加运行时控制
NVIDIA 推出 OpenShell，为 AI 智能体提供运行时控制能力。智能体可被赋予目标、编写代码、调用工具并在新信息出现时持续工作，适用于调查软件故障、运行实验以及执行跨天或跨周的关键业务操作与研究。这类智能体需要访问工作区、计算资源、数据、凭证和外部服务。
Google Bug Hunters · 收录 · 原文 关注度1515 Google 借助 AI 将 C 库 giflib 重写为 Rust 以缓解内存安全问题
Google 披露其用 AI 辅助将一个名为 giflib 的 C 库重写为 Rust，目的是缓解内存安全类漏洞。该工作属于其在依赖项层面规模化推进内存安全的尝试，博客同时给出了这次 AI 协助重写的实践路径。（共三句，含受影响对象名称与目标。）
Wiz Research · 收录 · 原文 关注度2828 Wiz 联合 Google DeepMind 发起 Scan for Good，用 AI 排查公共服务与关键基础设施暴露风险
Wiz Research 启动 Scan for Good 计划，借助 AI 加人工研究员的方式，帮助公共服务、关键基础设施和非营利组织在网络犯罪分子之前发现并修复高危暴露问题。该计划由 Google DeepMind 提供合作，并与美国网络安全和基础设施安全局（CISA）协作推进。 早期成果已验证其效果：团队通过自主运行的 AI 系统发现了大量面向公网的严重暴露，并在受影响组织的配合下完成了修复，其中一起是国家档案馆管理员密钥泄露，导致 880 万个文件面临读写删除风险。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1111 NVIDIA 开放智能体安全平台：面向持续在硅基芯片内监测智能体的参考方案
NVIDIA 发布了开放智能体安全平台，作为持续在硬件层面对 AI 智能体进行监测的参考实现。该平台将互联网兴起带来的机遇与风险作类比，强调智能体时代同样需要在底层提供安全保障。目前公开的信息仅为其定位说明，尚未披露具体的监测机制与技术指标。
9月30日周三
星期三
arXiv · 收录 · 原文 论文关注度4242 SKILLLITE：用小模型做证据引导的恶意 Agent Skill 审计
SKILLLITE 是一个证据引导的智能体框架，用紧凑、可本地部署的 LLM 检测 Agent Skill 中的恶意行为。研究指出小模型难以识别复杂 Skill 包中隐含的恶意行为，SKILLLITE 先提取安全相关行为并推断 Skill 的预期功能，再据此评估恶意性。
arXiv · 收录 · 原文 论文关注度5050 Render Before Reading：把不可信内容渲染成图像以防御提示注入
论文发现多模态大语言模型对以文本形式出现的对抗指令比对图像等非文本通道的同一指令更易服从，并将这一模态差异转化为无需训练的防御方法 Pictionary：在不可信内容进入模型前先渲染为排版图像或音频。
arXiv：后门、投毒与隐私 · 收录 · 原文 论文关注度3535 物理认证联邦学习：为关键水务基础设施的协同异常检测提供安全保障
研究提出"物理认证联邦学习"，将守恒定律、执行器耦合等信息物理过程不变量从运行时检测启发式改造为联邦更新的可验证准入条件，自动从干净运行数据中挖掘。在 SWaT、WADI 两个水务测试床和 BATADAL 基准上，挖掘出的不变量对 100 个诚实分片零拒绝，并全部拒绝朴素伪造更新，包括 FoolsGold 完全放行的优化扰动。
arXiv：危险能力与安全评测 · 收录 · 原文 论文关注度4343 DeShortcut-Align：解耦伪捷径以提升大推理模型安全对齐鲁棒性
研究者提出 DeShortcut-Align 对齐框架，用于缓解大推理模型安全训练中出现的伪捷径问题。作者发现安全对齐后的模型常把拒答绑定到提示词模板（格式捷径）或敏感关键词（词汇捷径），导致过度拒答与通用能力下降。该方法通过拒答敏感性归因、归因引导的对比增强和反事实一致性正则三个阶段解耦这些捷径，在 7B 和 14B 模型上使模板剥离绕过攻击的性能下降最多减少 72%，过度拒答降低超过 58%。
arXiv：危险能力与安全评测 · 收录 · 原文 论文关注度5050 工具调用改变大语言模型的拒答机制
研究者在多个开源权重模型上发现，工具调用场景下的有害请求比普通对话更少被拒答。危害信息仍被模型表征编码并可跨两种交互模式迁移，但工具调用把危害计算分散到不同位置，且需要更高的有效拒答阈值才触发拒答。工具调用的拒答也更脆弱，在更低的干预强度下即被破坏，而正常能力不受影响，说明常规安全评测未必适用于 LLM 智能体。
arXiv：Agent 与 MCP 安全 · 收录 · 原文 论文关注度2828 Assay：用内容寻址证据图约束 AI 编码智能体的声明失效
Assay 将 AI 编码智能体的每条声明（测试通过、无密钥泄露、行为不变）绑定到其覆盖代码依赖锥的 Merkle 哈希，代码或其依赖一变声明即失效。在五个公开仓库上，600 token 的简报比探索式代理省 14x 至 114x，热重建比冷重建快最多 5x；锥绑定只需重验 7.9% 至 81.9% 的声明，而按模块绑定会漏掉 23% 至 68% 的应失效声明。
Google Security · 收录 · 原文 关注度3333 Google Workspace 如何持续缓解间接提示注入攻击
Google 通过持续发现新攻击、扩充漏洞目录并迭代防御，缓解 Workspace with Gemini 面临的间接提示注入（IPI）威胁。其手段包括人工红队测试、自动化红队测试、Google AI 漏洞奖励计划（VRP）和公开攻击情报收集，并用 Simula 生成合成数据，使合成数据生成量提升 75%。
METR · 收录 · 原文 精选关注度4646 METR 发布逐动作监控研究笔记：为自家评测部署实时阻断监控器
METR 研究人员发布研究笔记，介绍其为自家 Agent 评测部署的逐动作实时监控器：由 LLM 裁判在每个工具调用执行前打分，超过阈值即暂停评测并转人工复核。
推荐理由METR 公开了自建逐动作监控器的论证结构与实测数据，并列出五个尚未闭合的缺口，可供做 Agent 评测监控的团队对照自查。
OpenAI Alignment Research · 收录 · 原文 精选关注度5555 OpenAI 发布 Codex Auto-review：用独立 Agent 审批越界操作
OpenAI 在 Codex 中推出 Auto-review，用独立的 Codex Agent 审批越过沙箱边界的操作，替代同步人工批准。
推荐理由OpenAI 公开了 Codex Auto-review 的内部部署数据与安全评测结果，并说明其无法防范模型谋划的边界。
Help Net Security AI · 收录 · 原文 关注度3131 Palo Alto Networks 与 NVIDIA 联手收紧对 AI 智能体的控制
Palo Alto Networks 扩大与 NVIDIA 的合作，通过 NVIDIA Open Agent Safety Platform 参考设计管控 AI 智能体的活动、网络流量与身份管理。
Help Net Security AI · 收录 · 原文 关注度3030 安全工具现可扫描 Claude Enterprise 聊天与上传文件中的敏感数据
超过 100 家安全与合规厂商已接入 Claude Compliance API，可将 Claude 活动数据送入企业现有监控工具，CrowdStrike、Microsoft Purview、Splunk、Palo Alto Networks、Cloudflare 和 Zscaler 均在列。
SPY Lab · 收录 · 原文 精选关注度5050 SPY Lab 研究：统一多模态模型无法凭记忆描述图像
SPY Lab 提出“模态失语症”概念，指统一多模态模型能生成记忆中的图像，却无法通过文本查询访问同一知识。研究用九张电影海报测试 ChatGPT-5，图像生成的整体错误率明显低于口头描述，且重大幻觉只出现在文字描述中。
推荐理由研究提出统一多模态模型能生成却无法描述记忆图像的现象，并展示其可绕过基于文本的安全过滤。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度5050 pikit：面向间接提示注入研究与评测的可组合工具包
研究者发布 pikit，一个用于系统评测间接提示注入威胁的可组合工具包，覆盖 13 种攻击方法、16 种文本与文件载体以及 9 种防御策略和 3 种离线检测基线。
Google DeepMind · 收录 · 原文 关注度2929 Google DeepMind 发布 Gemini 3.8 Flash 与 Gemini 3.8 Flash Cyber
Google DeepMind 推出 Gemini 3.8 Flash 和面向可信防御者的 Gemini 3.8 Flash Cyber，前者在 DeepSWE v1.1、HLE-Verified 等基准上超越多数更大前沿模型，定价与 3.7 Flash 相同（每百万输入 token $0.75、输出 $3.75）。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度4848 研究者提出 Controlled Decoding Attacks，通过纯文本接口越狱黑盒 LLM
研究者提出一种针对黑盒大语言模型的越狱框架，仅通过允许重复采样和助手前缀续写的纯文本接口实施攻击，无需模型权重或数值 token 概率。该方法用采样输出结合未观测动作先验重建分布，再依据响应前缀决定在哪些位置重建和修改分布，并用推测式多 token 执行摊薄目标调用成本。在四个目标端点和三个基准上，该方法在多数对比中取得最高平均分。
DeepMind Safety Research · 收录 · 原文 精选关注度5050 DeepMind 提出一致性训练，可限制谄媚与越狱
DeepMind Safety Research 提出一致性训练，让模型对用户偏见或越狱包装等无关线索保持不变，分为输出层的 BCT 和内部激活层的 ACT。在 Gemini 2.5 Flash 上，BCT 将 ClearHarm 上的攻击成功率从 67.8% 降至 2.9%，ACT 降低越狱的效果较弱但几乎不增加对良性请求的拒答。
推荐理由DeepMind 提出用一致性训练替代静态 SFT 数据集，并给出在 Gemini 2.5 Flash 上降低越狱成功率的对比数据。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度4343 ACTR：对齐推理与回答以提升推理大语言模型的多语言安全
研究者提出 ACTR 框架，通过强化推理大语言模型已有的安全推理来提升多语言安全对齐。方法先用 think gap score（TGS）比较不同语言下推理痕迹对注意力输出的归一化贡献，并用推理痕迹替换衡量跨语言安全差距；再用越狱查询语料，通过神经元掩码引起的回答表示变化评估神经元重要性，对比开启与关闭推理时的高重要性神经元集合，识别支撑安全推理的安全 think 神经元；最后提出 neuron-selective consistency optimization（NSCO），用冻结的评判模型奖励推理痕迹与回答在安全类别上的一致，只更新选定神经元相关参数，无需人工标注回答或偏好数据。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度5050 ToolFence：为工具调用 LLM Agent 提供细粒度授权
ToolFence 通过在执行前编译类型化授权蓝图并由确定性监控器执行，把用户授权值与不可信观测区分开，以应对保留工具但篡改参数的 within-tool 攻击。
Google DeepMind · 收录 · 原文 关注度2424 Google DeepMind 为 Private AI Compute 引入安全服务端持久记忆
Google DeepMind 公布 Private AI Compute 架构更新，新增服务端持久记忆层，让 AI 助手跨设备保留上下文，同时维持端侧级别的隐私标准。
已经到底了