NVIDIA：如何缓解智能体环境中的间接 AGENTS.md 注入攻击
NVIDIA 针对智能体环境中的间接 AGENTS.md 注入攻击给出缓解方法，聚焦编码智能体场景。正文以 OpenAI Codex 为例，说明此类编码智能体可自动完成代码生成、调试与创建 PR 等任务，AI 工具正显著加速软件开发。
Agent 安全
今天新收录 13 条（含旧文）今天新收录 13 条（含旧文）
Agent 安全
今天新收录 13 条（含旧文）
10月1日周四
星期四
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1414 NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理
NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理，仅靠运行时护栏并不足够。随着自主 AI 智能体能力增强，开放模型、MCP 连接的工具与可移植技能让智能体更易扩展，但规模化使用需要结构透明与运行完整性。组织与团队需要理解和信任智能体所使用的技能（即指令）。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1111 NVIDIA 以 DOCA 芯片内安全推进智能体 AI 基础设施
NVIDIA 推出 DOCA 芯片内安全能力，支撑智能体 AI 的 AI 工厂基础设施。该方案针对 AI 工厂在训练、微调和部署时引入的新攻击面，把安全能力下沉到芯片层。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度66 NVIDIA Confidential Computing：不拖慢性能的硬件级 AI 安全方案
NVIDIA Confidential Computing（CC）面向 AI 推理与智能体场景，用硬件级方案保护数据在使用中的安全，同时避免拖慢性能。该方案针对企业在数据隐私与主权方面的顾虑，目标是让 AI 模型在推理和交互过程中数据始终处于受保护状态。
Google Bug Hunters · 收录 · 原文 关注度3535 Gemini 如何缓解基于 URL 的数据外泄攻击
Google 介绍了 Gemini 及其他 Google 智能体缓解基于 URL 的数据外泄攻击的做法。该攻击利用 URL 将数据带出，Google 通过相应机制进行拦截与缓解。
OpenAI Alignment Research · 收录 · 原文 精选关注度5050 OpenAI 分享在规模化代码验证上的实践方法
OpenAI 介绍了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验，将其作为深度防御策略中的输出监控手段。审查器获得仓库级工具和执行权限后，能发现更多关键问题并减少误报，专门针对代码审查的训练进一步提升效果。部署上优先保证信噪比，宁可适度降低召回率以换取开发者信任，并允许通过自定义任务指令或 AGENTS.md 调整这一取舍。数据显示，Codex 云完全生成的 PR 中有 36% 收到评论，其中 46% 促使作者修改代码，人工编写 PR 的评论修改比例为 53%；截至 2025 年 10 月，系统每天处理超过 10 万条外部 PR，超过 80% 的评论反馈为正面。
推荐理由OpenAI 公开了代码审查智能体的训练取舍与部署数据，可了解输出监控在真实工程流程中的落地方式。
Google DeepMind · 收录 · 原文 精选关注度5050 Google DeepMind 发布 AI Control Roadmap，用纵深防御保障内部 Agent 安全
Google DeepMind 发布 AI Control Roadmap，用于在 Google 内部署和管理先进 AI 时提供系统级安全保障。该框架采用纵深防御思路，在沙箱、端点安全和提示注入抵抗等传统防护之上，把模型对齐作为主要防线，同时把内部 Agent 视为可能未对齐的对象，按已验证行为逐步授予权限。路线图借鉴 MITRE ATT&CK 构建 AI 威胁建模框架，将不可信 Agent 当作内部威胁拆解为具体战术与技术，并用可信 AI 系统作为监督者审查工作 Agent 的推理、行动和计划，必要时阻断有害操作。
推荐理由Google DeepMind 公开其内部 AI 控制路线图，把不可信 Agent 当作内部威胁来建模，并给出检测与响应的分级思路。
Embrace The Red · 收录 · 原文 关注度5050 OpenAI 新论文详解基于 URL 的数据外泄缓解措施
OpenAI 发布论文《Preventing URL-Based Data Exfiltration in Language-Model Agents》，详细说明其为语言模型智能体新增的 URL 数据外泄缓解措施。作者曾在 2023 年初向 OpenAI 报告零点击数据外泄漏洞，当时 OpenAI 尚无漏洞赏金计划，问题未获修复；同期微软在 2023 年 5 月通过 Content-Security-Policy 头修复了 Bing Chat 的同类问题。
Failure-First · 收录 · 原文 关注度2525 基于模型预测控制的思路实现安全强化学习
Schäfer 等人提出将 MPC 用作离线安全预言机来预先计算可行状态-动作空间的安全强化学习框架，使机器人与赛博物理系统的探索保持在数学验证过的边界内。该方法通过网格搜索加二分搜索映射连续动作空间的凸区间，并用投影过滤器拦截不安全动作。作者在 Quanser Aero 2 单自由度俯仰平台上做了验证。 补充说明： - 该工作针对标准 RL 在高惯性硬件上的无约束探索风险，定义了不可逆的"临界点"——即可行集边界。 - 安全性判定依赖 MPC 优化器在未来预测视野内找到有效动作序列，且视野需超过系统停止距离以保证递归可行性。
Failure-First · 收录 · 原文 关注度3737 论文提出人工中央凹感知 AFP 缓解机器人基础模型中的捷径学习
Sun 等人的论文提出人工中央凹感知（AFP），一种策略无关的轻量模块，用于在微调阶段约束机器人基础模型的视觉注意力，抑制捷径学习。作者认为现有 Vision-Language-Action（VLA）与 World Action Model（WAM）流程在新机器人场景中仍需任务特定微调，模型倾向依赖光照、背景纹理等非因果相关特征，在分布偏移下失效。
Google Threat Intelligence · 收录 · 原文 关注度1515 Google 详解 AI 辅助漏洞管理：从确定性管控到 ZDR 的操作蓝图
Google Threat Intelligence 旗下 Mandiant Consulting 发文，针对企业将 LLM 智能体接入 CI/CD 做自动化漏洞挖掘与修复的场景，给出一套操作护栏建议。文中援引 Mandiant M-Trends 2026 报告称平均利用时间（TTE）已降至 -7 天，并强调应把代码库视为不可信输入以防源码注释中的间接提示注入，同时落实云服务商的零数据留存（ZDR）、工作负载隔离与人主导的红队测试。
Google Threat Intelligence · 收录 · 原文 关注度1515 Google Threat Intelligence Group 供应链入侵缓解指南：开放源代码软件生态威胁活动激增
Google Threat Intelligence Group（GTIG）联合 Mandiant 发布了针对软件供应链入侵的加固与缓解建议，指出 2025 年至 2026 年上半年出现了大规模的开源软件供应链入侵行动，涉及代码仓库、依赖项及开发者工具的攻陷。 其中，UNC6780（又名 TeamPCP）于 2026 年 2 月至 5 月在 PyPI、npm、Docker Hub 发动广泛攻击，滥用 GitHub Actions 的 pull_request_target 触发器获取基础仓库密钥并植入凭证窃取程序 SANDCLOCK，还试图从被感染的 AI 软件横向渗透到企业网络环境。
Google Security · 收录 · 原文 精选关注度4343 Google 详解 Gemini 抵御间接提示注入的分层防御策略
Google GenAI 安全团队介绍了 Gemini 针对间接提示注入的分层防御策略，覆盖提示词生命周期的各个阶段。该策略包括对 Gemini 2.5 模型进行对抗数据训练以增强模型韧性，并叠加五项内置防御：提示注入内容分类器、安全思维强化、Markdown 清洗与可疑 URL 屏蔽、用户确认框架以及面向终端用户的安全缓解通知。
推荐理由Google 公开了 Gemini 抵御间接提示注入的分层防御细节，部署生成式 AI 产品的团队可对照其五个防护环节。
Google Security · 收录 · 原文 精选关注度5050 Chrome 公布智能体能力的分层安全架构
Chrome 安全团队公布了针对 Gemini 智能体浏览能力的分层防御设计，核心应对威胁是间接提示注入。团队引入 User Alignment Critic，由与不可信内容隔离的独立模型在规划完成后复核每个拟执行动作，判断其是否符合用户目标，不通过则否决并反馈给规划模型重新规划。Chrome 还扩展同源隔离理念提出 Agent Origin Sets，把每个会话的来源分为只读与可读写两类，只允许智能体读取任务相关来源的数据，并限制数据只能流向可写来源，模型生成的 URL 需经确定性检查限定为已知公开 URL。
推荐理由Chrome 安全团队公开了智能体浏览的分层防御架构，包括独立审查模型与来源集合限制，可供做浏览器智能体的团队参考。
Simon Willison · 收录 · 原文 关注度2828 MCP Colors：系统化应对提示注入风险
Tim Kellogg 提出用颜色分类 MCP 工具来应对提示注入风险：红色代表会接触不可信指令的工具，蓝色代表攻击者不应触发的关键操作，智能体可据此避免两类工具同时混用。他建议用 _meta 对象记录 MCP 工具与资源的颜色，并借助 LLM 为约 200 个工具批量打标，使分类标准可扩展到初始工具集之外。
Simon Willison · 收录 · 原文 关注度5050 Claude Code 推出 auto mode，用 Claude Sonnet 4.6 分类器替代跳过权限
Claude Code 新增 auto mode 权限模式，由 Claude 代替用户做权限决策，并在动作执行前由护栏审查，作为 --dangerously-skip-permissions 的替代方案。护栏由独立的分类器模型实现，运行在 Claude Sonnet 4.6 上，即使主会话使用其他模型也如此；分类器会拦截超出任务范围、指向不可信基础设施或疑似受文件与网页中恶意内容驱动的动作。用户可在终端运行 claude auto-mode defaults 查看完整默认规则 JSON，并可用自定义规则扩展。
Goodfire Research · 收录 · 原文 精选关注度4646 Goodfire 与 Rakuten 用 SAE 探针在生产环境检测 PII
Goodfire 与 Rakuten 合作，将稀疏自编码器（SAE）探针用于 Rakuten AI 智能体的 PII 检测，这是已知首个将 SAE 用于语言模型护栏的企业应用。方法是在 Llama 3.1 8B 侧模型上训练 SAE，再用其特征激活训练分类器，逐 token 判断姓名、地址、电话、邮箱等 PII 类别。由于真实 PII 敏感，训练数据全部为合成数据，SAE 探针在合成到真实生产数据的分布迁移上优于普通激活探针和注意力探针，并在非英语和标签噪声场景下同样表现更好。成本上，探针比常见 LLM-as-judge 方案便宜 10 到 500 倍，性能相当；用同一模型做白盒探针的 F1 从黑盒判官的 51% 提升到 96%。
推荐理由Goodfire 与 Rakuten 的落地案例给出了 SAE 探针在合成到真实数据迁移上的对比数据，可迁移到企业护栏场景。
Google Threat Intelligence · 收录 · 原文 关注度1515 Google GTIG 发布 CI/CD 与代码流水线主动防御蓝图
Google Threat Intelligence（GTIG）发布面向软件与平台架构师的 CI/CD 安全防御蓝图，围绕端点、IDE、AI 辅助安全等五个支柱给出加固措施。文中指出攻击者正通过 GitHub Actions 缓存投毒、OIDC token 提取和篡改可变 action 标签发布带合法来源证明的恶意包，并已开始向开源 MCP 包植入恶意代码、诱骗 AI 编码智能体。建议仅使用经批准的大语言模型与 AI 智能体做合并前漏洞分析，将 .env 文件排除出上下文窗口，并保留人工审核环节。
arXiv · 收录 · 原文 论文关注度4343 CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行
作者提出 CONFLICTGUI 基准，覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景，用于研究 GUI Agent 的冲突感知终止能力。评测发现明显的执行偏向型过度顺从：在可行任务上表现良好的 Agent，遇到冲突指令时往往仍盲目继续执行。为此作者提出推理期框架 CONFLICTGUARD，包含可行性验证协议与条件动作调制机制，前者引导 Agent 在行动前评估指令逻辑与 GUI 侧证据，后者将过度顺从的执行转向终止行为。在五个常用 Agent 上的实验显示，CONFLICTGUARD 显著提升冲突任务平均成功率，同时保持正常 GUI 任务表现。
arXiv · 收录 · 原文 论文关注度4343 MATE：面向移动 Agent 的策略感知安全审计方法
研究者提出 MATE，一个轻量的策略条件审计器，同时编码 Agent 轨迹与自然语言安全策略，判断轨迹是否违反给定策略并给出原因。由于把策略当作可编辑文本而非固定模型参数，MATE 无需重新训练即可适配用户自定义和不断变化的要求。作者从全球数百个热门移动应用中抽取应用描述、工作流和策略构建知识库，并用多阶段流水线合成超过 140K 条语义真实的策略条件轨迹。团队同时发布 MATEBench，包含两个合成子集和一个由人工收集轨迹构成的真实子集。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1818 NVIDIA 提出四种更安全地部署 AI 智能体的方式
NVIDIA 技术博客提出四种更安全部署 AI 智能体的方式，针对将大语言模型接入工作流所带来的风险。文中指出 AI 智能体作为“数字同事”能自动处理缺陷报告、实现并测试修复、推送补丁再交由人工复核，从而带来生产力提升，但也因此扩大了攻击面。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1515 NVIDIA 谈安全在 AI 智能体栈中的位置
NVIDIA 的安全团队基于其 OpenShell 及生态合作经验，阐述了新兴 AI 智能体栈中安全的定位问题，指出随着智能体能力增强并运行于更长的时间跨度，将安全与信任内建于其所驱动的应用愈发重要。该视角覆盖智能体栈的各层及其作用，面向开发者、开源项目和合作伙伴提供参考。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度2121 NVIDIA OpenShell：为 AI 智能体添加运行时控制
NVIDIA 推出 OpenShell，为 AI 智能体提供运行时控制能力。智能体可被赋予目标、编写代码、调用工具并在新信息出现时持续工作，适用于调查软件故障、运行实验以及执行跨天或跨周的关键业务操作与研究。这类智能体需要访问工作区、计算资源、数据、凭证和外部服务。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 关注度1111 NVIDIA 开放智能体安全平台：面向持续在硅基芯片内监测智能体的参考方案
NVIDIA 发布了开放智能体安全平台，作为持续在硬件层面对 AI 智能体进行监测的参考实现。该平台将互联网兴起带来的机遇与风险作类比，强调智能体时代同样需要在底层提供安全保障。目前公开的信息仅为其定位说明，尚未披露具体的监测机制与技术指标。
9月30日周三
星期三
arXiv · 收录 · 原文 论文关注度4242 SKILLLITE：用小模型做证据引导的恶意 Agent Skill 审计
SKILLLITE 是一个证据引导的智能体框架，用紧凑、可本地部署的 LLM 检测 Agent Skill 中的恶意行为。研究指出小模型难以识别复杂 Skill 包中隐含的恶意行为，SKILLLITE 先提取安全相关行为并推断 Skill 的预期功能，再据此评估恶意性。
arXiv · 收录 · 原文 论文关注度5050 Render Before Reading：把不可信内容渲染成图像以防御提示注入
论文发现多模态大语言模型对以文本形式出现的对抗指令比对图像等非文本通道的同一指令更易服从，并将这一模态差异转化为无需训练的防御方法 Pictionary：在不可信内容进入模型前先渲染为排版图像或音频。
arXiv：Agent 与 MCP 安全 · 收录 · 原文 论文关注度5151 Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统
Tracekit 是一个开源、无依赖的审计系统，为每个 Agent 会话捕获人类意图、模型自述推理和实际执行动作三条通道，写入哈希链账本并交叉核对。它接入 Claude Code 生命周期事件、重建多 Agent 层级、在工具调用前做策略拦截，并支持其他 Agent 通过 SDK 或 HTTP API 上报事件。
arXiv：Agent 与 MCP 安全 · 收录 · 原文 论文关注度2828 Assay：用内容寻址证据图约束 AI 编码智能体的声明失效
Assay 将 AI 编码智能体的每条声明（测试通过、无密钥泄露、行为不变）绑定到其覆盖代码依赖锥的 Merkle 哈希，代码或其依赖一变声明即失效。在五个公开仓库上，600 token 的简报比探索式代理省 14x 至 114x，热重建比冷重建快最多 5x；锥绑定只需重验 7.9% 至 81.9% 的声明，而按模块绑定会漏掉 23% 至 68% 的应失效声明。
Google Security · 收录 · 原文 关注度3333 Google Workspace 如何持续缓解间接提示注入攻击
Google 通过持续发现新攻击、扩充漏洞目录并迭代防御，缓解 Workspace with Gemini 面临的间接提示注入（IPI）威胁。其手段包括人工红队测试、自动化红队测试、Google AI 漏洞奖励计划（VRP）和公开攻击情报收集，并用 Simula 生成合成数据，使合成数据生成量提升 75%。
METR · 收录 · 原文 精选关注度4646 METR 发布逐动作监控研究笔记：为自家评测部署实时阻断监控器
METR 研究人员发布研究笔记，介绍其为自家 Agent 评测部署的逐动作实时监控器：由 LLM 裁判在每个工具调用执行前打分，超过阈值即暂停评测并转人工复核。
推荐理由METR 公开了自建逐动作监控器的论证结构与实测数据，并列出五个尚未闭合的缺口，可供做 Agent 评测监控的团队对照自查。
OpenAI Alignment Research · 收录 · 原文 精选关注度5555 OpenAI 发布 Codex Auto-review：用独立 Agent 审批越界操作
OpenAI 在 Codex 中推出 Auto-review，用独立的 Codex Agent 审批越过沙箱边界的操作，替代同步人工批准。
推荐理由OpenAI 公开了 Codex Auto-review 的内部部署数据与安全评测结果，并说明其无法防范模型谋划的边界。
Help Net Security AI · 收录 · 原文 关注度3131 Palo Alto Networks 与 NVIDIA 联手收紧对 AI 智能体的控制
Palo Alto Networks 扩大与 NVIDIA 的合作，通过 NVIDIA Open Agent Safety Platform 参考设计管控 AI 智能体的活动、网络流量与身份管理。
Simon Willison · 收录 · 原文 关注度5050 Claude Code 将 auto mode 设为 Pro、Max 和 Team 计划默认设置
Anthropic 宣布从 8 月 14 日起在多数 Claude Code 计划的新会话中把 auto mode 设为默认设置。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度5050 ToolFence：为工具调用 LLM Agent 提供细粒度授权
ToolFence 通过在执行前编译类型化授权蓝图并由确定性监控器执行，把用户授权值与不可信观测区分开，以应对保留工具但篡改参数的 within-tool 攻击。
已经到底了