METR 发布逐动作监控研究笔记：为自家评测部署实时阻断监控器

METR 研究人员发布研究笔记，介绍其为自家 Agent 评测部署的逐动作实时监控器：由 LLM 裁判在每个工具调用执行前打分，超过阈值即暂停评测并转人工复核。

推荐理由METR 公开了自建逐动作监控器的论证结构与实测数据，并列出五个尚未闭合的缺口，可供做 Agent 评测监控的团队对照自查。

MetaPermit：通过 LLM 推断元属性为 AI Agent 提供可扩展可审计的访问控制

MetaPermit 是一个基于策略的 Agent 工具访问控制框架，将语义推断与安全执行解耦，以应对工具误用和间接提示注入攻击。它通过分析 Agent 与用户的交互，提取一组紧凑且与任务无关的元属性，刻画用户意图、执行上下文与拟调用工具之间的关系，从而无需枚举用户意图即可授权工具使用。运行时由 LLM 推断每次工具调用的元属性取值，再由固定策略据此允许或拒绝调用，使每个决策都可依据推断值和策略规则审计。

Cisco 发布 AI 安全与安全框架 v2，新增智能体自主性失效分类

Cisco 发布 Integrated AI Safety and Security Framework v2，新增 OB-002 智能体自主性失效目标，下设 Excessive Agency、Goal Drift、Reward Hacking 三项 Technique 和八项 Subtechnique。v2 同时把 v1 中分开的 OB-001 Goal Hijacking（提示注入）与 OB-002 Jailbreak 合并为一个目标，理由是二者在实战中难以区分、所用对抗技术高度重叠，底层 Technique 仍保留输入来源与防御方式的差异。框架还配套编写了按类别划分的 constitution，用于界定范围、区分相邻类别，并按完整轨迹而非单条消息判断行为。Cisco 建议部署方采用最小权限工具访问、关键操作审批门、不可变任务与停止条件、独立结果验证和完整审计轨迹。

你的 AI 智能体信任了你从未批准的东西：Cisco 与 OpenAI 合作扫描 Agent Skill 与 MCP 供应链风险

Cisco 正与 OpenAI 合作，将 Daybreak 引入其 AI 安全产品组合，用于扫描 AI 供应链中的 Agent Skill 与 MCP server。该方案采用分层架构：Daybreak Blue 负责首轮扫描，对提交的 skill 和 MCP server 做网络安全专用推理，避免通用模型因拒答而漏检合法防御性内容；Daybreak Red 则处理 Blue 标记为不完整的重度混淆载荷与可用漏洞利用链。Cisco AI Defense 的 skill-scanner 覆盖 SKILL.md 及全部捆绑脚本，mcp-scanner 覆盖工具、提示词、资源及底层 PyPI 和 npm 包，重点查找工具声明与实际代码行为的差距。

NIST 数学证明：AI 护栏无法穷尽抵御对抗提示，需转向持续监控与更新

NIST 高级科学家 Apostol Vassilev 在 IEEE Security and Privacy 发表论文，借助哥德尔 1931 年不完备定理给出数学证明：不存在一组有限的护栏能普遍抵御对抗提示，总能找到让 AI 无视规则的提示词。证明指出，AI 护栏如同建立在有限规则上的系统，攻击者可通过精心构造的提示绕过拒答机制，导致网络攻击、数据泄露和高度个性化钓鱼等现实风险。Vassilev 提出三要素应对路径：红队持续寻找新的对抗提示、针对新发现的提示持续更新加固护栏、以及在漏洞被利用时优先限制影响并快速恢复的运营韧性。他表示目标不是彻底解决问题，而是让攻击者寻找新漏洞的成本超过其资源，形成对攻击者经济上不可行的新平衡。论文题为 Robust AI Security and Alignment: A Sisyphean Endeavor?

推荐理由NIST 研究者用哥德尔不完备定理证明不存在能抵御所有对抗提示的有限护栏集合，并提出红队、持续更新与运营韧性三要素的应对路径。

OpenAI 上线 Lockdown Mode，限制提示注入后的数据外泄

OpenAI 正式上线 Lockdown Mode，此前在 2 月已有预告，现面向符合条件的个人账户（Free、Go、Plus、Pro）及自助式 ChatGPT Business 账户推送。该模式通过限制可能把敏感数据传给攻击者的对外网络请求，阻止提示注入攻击的最后一步数据外泄，但不会阻止提示注入出现在 ChatGPT 处理的内容中，例如缓存网页或上传文件里的注入仍可能影响回答的行为或准确性。Simon Willison 认为这一设计直接切断了致命三要素中的数据外泄环节，且所用机制是确定性的，不依赖可能被复杂攻击绕过的 AI 系统来判定。

OpenAI 发布 Codex Auto-review：用独立 Agent 审批越界操作

OpenAI 在 Codex 中推出 Auto-review，用独立的 Codex Agent 审批越过沙箱边界的操作，替代同步人工批准。

推荐理由OpenAI 公开了 Codex Auto-review 的内部部署数据与安全评测结果，并说明其无法防范模型谋划的边界。

AI 驱动的蜜罐：用生成式 AI 反制恶意 AI 智能体

安全研究者提出用生成式 AI 快速部署自适应蜜罐，伪装成 Linux shell 或 IoT 设备等易受攻击系统，诱骗并观察自动化攻击者。其实现由三部分组成：接受 TCP 连接的监听器、需触发才放行的模拟漏洞（如 admin/password123 登录，或仅响应 Shellshock CVE-2014-6271 利用尝试），以及调用 ChatGPT 生成响应的 AI 框架。该方法利用 AI 智能体缺乏真实意识、易被提示注入欺骗的弱点，把攻击者的自动化能力转化为暴露其手法的负担。

NVIDIA：如何缓解智能体环境中的间接 AGENTS.md 注入攻击

NVIDIA 针对智能体环境中的间接 AGENTS.md 注入攻击给出缓解方法，聚焦编码智能体场景。正文以 OpenAI Codex 为例，说明此类编码智能体可自动完成代码生成、调试与创建 PR 等任务，AI 工具正显著加速软件开发。

Goodfire 与 Rakuten 用 SAE 探针在生产环境检测 PII

Goodfire 与 Rakuten 合作，将稀疏自编码器（SAE）探针用于 Rakuten AI 智能体的 PII 检测，这是已知首个将 SAE 用于语言模型护栏的企业应用。方法是在 Llama 3.1 8B 侧模型上训练 SAE，再用其特征激活训练分类器，逐 token 判断姓名、地址、电话、邮箱等 PII 类别。由于真实 PII 敏感，训练数据全部为合成数据，SAE 探针在合成到真实生产数据的分布迁移上优于普通激活探针和注意力探针，并在非英语和标签噪声场景下同样表现更好。成本上，探针比常见 LLM-as-judge 方案便宜 10 到 500 倍，性能相当；用同一模型做白盒探针的 F1 从黑盒判官的 51% 提升到 96%。

推荐理由Goodfire 与 Rakuten 的落地案例给出了 SAE 探针在合成到真实数据迁移上的对比数据，可迁移到企业护栏场景。

OpenAI 新论文详解基于 URL 的数据外泄缓解措施

OpenAI 发布论文《Preventing URL-Based Data Exfiltration in Language-Model Agents》，详细说明其为语言模型智能体新增的 URL 数据外泄缓解措施。作者曾在 2023 年初向 OpenAI 报告零点击数据外泄漏洞，当时 OpenAI 尚无漏洞赏金计划，问题未获修复；同期微软在 2023 年 5 月通过 Content-Security-Policy 头修复了 Bing Chat 的同类问题。

OpenAI 分享在规模化代码验证上的实践方法

OpenAI 介绍了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验，将其作为深度防御策略中的输出监控手段。审查器获得仓库级工具和执行权限后，能发现更多关键问题并减少误报，专门针对代码审查的训练进一步提升效果。部署上优先保证信噪比，宁可适度降低召回率以换取开发者信任，并允许通过自定义任务指令或 AGENTS.md 调整这一取舍。数据显示，Codex 云完全生成的 PR 中有 36% 收到评论，其中 46% 促使作者修改代码，人工编写 PR 的评论修改比例为 53%；截至 2025 年 10 月，系统每天处理超过 10 万条外部 PR，超过 80% 的评论反馈为正面。

推荐理由OpenAI 公开了代码审查智能体的训练取舍与部署数据，可了解输出监控在真实工程流程中的落地方式。

Google 详解 Gemini 抵御间接提示注入的分层防御策略

Google GenAI 安全团队介绍了 Gemini 针对间接提示注入的分层防御策略，覆盖提示词生命周期的各个阶段。该策略包括对 Gemini 2.5 模型进行对抗数据训练以增强模型韧性，并叠加五项内置防御：提示注入内容分类器、安全思维强化、Markdown 清洗与可疑 URL 屏蔽、用户确认框架以及面向终端用户的安全缓解通知。

推荐理由Google 公开了 Gemini 抵御间接提示注入的分层防御细节，部署生成式 AI 产品的团队可对照其五个防护环节。