跳到正文

AI 安全新闻与动态

10月12日 · 周一

动态新闻

按原发与事件进展排列
10月9日周五
  1. SierraSierra · 41

    Sierra 发布个人智能体协议 Poppy 草案

    Sierra 发布个人智能体协议草案 Poppy,并宣布新增 35 家设计伙伴,包括 OpenAI、PayPal、Visa、Mastercard、Cloudflare、Notion 和 1Password 等,这些公司将参与草案设计过程并反馈意见。Poppy 建立在 OAuth、JWT、HTTPS、OpenAPI 和 MCP 等既有标准之上,定义发现、会话、登录、跨渠道单一会话和任务执行五个组成部分。

  2. The Decoder、Hitachi Global 等 3 个来源The Decoder 等 3 个来源 · 3篇报道 · 38

    Anthropic 启动网络安全使命计划

    Anthropic 宣布推出 Anthropic Cyber Mission,称这是一项旨在保护关键基础设施和开源软件的新行动。据 The Decoder 报道,该长期项目中的关键基础设施防御计划(CIDP)向电网、水务系统和交通网络的运营方开放 Claude 模型、工程师和威胁分析,CrowdStrike、Palo Alto Networks、Deloitte 和 Rockwell Automation 为创始合作伙伴;另有一款免费的 OSS AI 扫描器将定期检查开源项目,自动标记并解释漏洞。Hitachi 宣布加入该关键基础设施防御计划,称其在能源、交通、工业等关键基础设施领域拥有数字技术与运营经验。

    事件进展
    1. 日立加入Anthropic关键基础设施防御计划

    2. Anthropic 启动网络安全使命计划

  3. prmbiy/specguard · 3

    prmbiy/specguard 仓库提交 initial commit

    prmbiy 在 GitHub 仓库 specguard 完成了 initial commit,提交哈希为 15820b5。该提交日期为 2026 年 10 月 9 日,提交者为 prmbiy。仓库路径为 prmbiy/specguard。

  4. NVIDIA 技术博客:可信 AI 与网络安全NVIDIA 技术博客:可信 AI 与网络安全 · 40

    NVIDIA 分享 KDD Cup 数据分析 Agent 经验

    NVIDIA KGMON 团队在 KDD Cup 2026 Data Agents 竞赛中获得第二名,其方案核心是让 Agent 的 harness 更小、更清晰、更容易验证。竞赛要求 Agent 在数据库、CSV 和 JSON 文件、散文文档、PDF 和简报视频等异构数据源上回答自然语言问题,且只使用一个固定的小模型驱动 Agent,使 harness 成为主要优化空间。团队提出两条原则:约束动作空间,即统一数据访问、暴露小型工具;以及让 harness 更清晰、更易验证。

  5. 论文追踪、AlignmentResearch/fibs-probes论文追踪 等 2 个来源 · 2篇报道 · 57

    白盒探针检测模型知情谎言

    FAR.AI 等机构研究者提出用白盒激活探针检测大语言模型的知情谎言,在 SHADE-Arena 上取得 98.8% AUC,超过 Opus 5.5 文本监控基线。研究者构建了迄今规模最大的谎言数据集 fibs,包含 163,016 条转录、28 个数据族,并设计了可在层与 token 两个维度聚合信息的 axial 探针等四种架构。在 Qwen3.5-397B-A17B 上,四个用完整 fibs 训练的探针得分 0.979 至 0.99。此后 AlignmentResearch 发布了 FIBS 探针推理代码,支持 linear、MLP、EFC 和 axial 四种激活探针架构,可从本地目录或 Hugging Face Hub 加载已训练探针,对转录的残差流激活打分;已发布权重位于 AlignmentResearch/probe-inference-weights,覆盖 qwen3.5-2b 至 397b-a17b、Nemotron-3 Nano/Super/Ultra 等模型。

10月8日周四
  1. langchain.comlangchain.com · 40

    LangChain 发布可支付 Agent 示例 Restock

    LangChain 发布示例 Agent Restock,在 Slack 中运行于 Managed Deep Agents 之上,通过 Stripe 的 Link 钱包和 Machine Payments Protocol(MPP)完成真实下单与付款。它用 Zinc 的 MPP 订单 API 搜索商品并下单,商家以 402 Payment Required 返回付款指令,客户端带支付凭证重试。模型不接触支付密钥:Link 会话存放在用户侧。

  2. tessl.iotessl.io · 45

    VarOps 发布企业级 Agent 记忆系统设计与基准

    VarOps 公布了一套面向全公司范围 Agent 的记忆系统设计与基准结果,主张把记忆当作受治理的记录而非文本堆砌。系统把每条观察蒸馏成 claim,记录谁在何时说了什么、有效区间以及来源片段,丢弃原始记录。在 LongMemEval 的 500 道长对话历史问题上,正确证据仍有 99.8% 进入前十条结果,摄取约 3500 万 token 花费 8.24 美元,使用 CPU 与免费本地嵌入模型。作者用 Gemma 4(310 亿参数)进行测试。

  3. tl;dr sectl;dr sec · 25

    tl;dr sec #349:AI 漏洞利用与沙箱测试

    2026年10月8日的 tl;dr sec #349 汇总多项安全动态:XBOW 提出先让智能体以各角色登录并绘制权限边界,再据此判定 IDOR 结果,以降低误报;PortSwigger 为 Turbo Intruder 加入 HTTP/3 支持,Wi-Fi 下单机可发超过 10 万请求/秒,是同环境下 HTTP/1.1 的三倍以上;Aikido 在 gocommunity-io/dockerd、kreuzwenker/docker 两个 Terraform provider 及两个 Go 模块中发现 Gr 相关漏洞。

  4. Adversa AIAdversa AI · 45

    2026年10月MCP安全资源盘点

    Adversa AI 发布 10 月 MCP 安全资源汇总,按漏洞、防御、攻击技术、框架、事件和红队等类别收录 15 项资料。漏洞方面包括:LiteLLM 的 MCP 端点接受任意无效 bearer token(CVE-2026-59822,已进入 CISA KEV 列表);Grafana MCP 服务器仅按格式校验 session ID,导致会话伪造与 SSRF(CVE-2026-19516);以及 MCP Python SDK 的 OAuth 相关问题。

  5. Meta Wearables、MIXED Reality NewsMeta Wearables 等 2 个来源 · 2篇报道 · 52

    Meta WebMCP 文档提示工具信任边界

    Meta 在 Ray-Ban Display 的 WebMCP 开发文档中说明,Web App 可通过 document.modelContext.registerTool() 把页面动作注册为工具,供眼镜上的 Meta AI 在用户语音请求时调用;工具仅在 Web App 前台时可用,页面加载时注册、用户离开时注销,Meta AI 无法后台调用,单次调用超时为 10 秒,且每个工具动作须保留手动操作路径。文档同时指出,用于标记不可信文本的 untrustedContentHint 并非强制安全边界,不应依赖;开发者须把 Meta AI 传入的参数视为不可信并在 execute 中校验,不应仅因工具被调用就执行破坏性或不可逆操作,也不应接受模型对执行结果的描述,而应由页面自行验证和评分。

  6. 腾讯 AI-Infra-Guard 版本发布腾讯 AI-Infra-Guard 版本发布 · 24

    腾讯 AI-Infra-Guard 发布 v4.6.5

    腾讯 AI-Infra-Guard 发布 v4.6.5。该版本新增 Agent-Scan 支持 SSE 响应自定义 transforms,MCP-Scan 支持现代与旧版协议自动协商并记录协议版本,同时新增 OrcaRouter 作为 Agent-Scan 的一级 provider。数据侧补充两批漏洞规则,分别为 154 条 CVE 规则加 9 条指纹、117 条 CVE 规则加 5 条指纹。修复项包括 MCP-Scan 对 LLM 调用的限流相关处理。

  7. infosecravi.cominfosecravi.com · ↑154

    研究者发布222项Agentic AI红队测试清单

    研究者发布一份免费电子表格版 Agentic AI 红队测试清单,共 222 项测试,分 20 个类别,结构参照 OWASP Web Security Testing Guide,每项包含目标、测试步骤、工具、预期结果、严重程度和检测模式。作者称清单按四阶段强制顺序排列,先做资产与能力测绘再进入模型测试,因为大多数 Agent 测试止步于提示注入,会跳过决定注入能触达什么的侦察与基础设施类别。

  8. Anthropic Research、CyberScoop 等 8 个来源Anthropic Research 等 8 个来源 · 8篇报道 · 57

    Anthropic推出OSS Scanner与关键基础设施防御计划

    Anthropic 启动长期计划 Anthropic Cyber Mission,聚焦关键基础设施与开源软件两大方向。关键基础设施防御计划(CIDP)向电力、水务、交通等运营技术防御方提供前沿 Claude 模型、驻场工程师与威胁研究,合作方包括 CrowdStrike、Dragos、Palo Alto Networks、Rockwell Automation 等公司。同时推出的 OSS Scanner 是面向开源生态的可选加入漏洞扫描服务,由该公司最强模型免费为加入项目定期扫描;报告完全由模型生成、不经人工复核或分诊,因此可能不准确。Anthropic 称过去六个月用最新模型扫描重要软件项目,发现超过 29,000 个候选漏洞,仅人工复核约 6,000 个,应维护者要求已直接发送近 5,000 份未经人工验证的报告。

  9. googleblog.comgoogleblog.com · 49

    Google 开源生产 Agent 质量诊断工具 AQuA

    Google 在 ADK recipes 中开源了 AQuA(Ambient Quality Agent),一个在 Google Cloud 项目内常驻运行、诊断生产环境 Agent 故障的质量智能体。它从 Cloud Trace、Cloud Logging 或 BigQuery 按计划或按需抽取最多 1000 条近期会话,经采样、评审、聚类、验证、追踪五阶段流水线,把原始轨迹转化为经核实的洞察,且不进入请求路径、不回写 Agent。

  10. claude.dev Blogclaude.dev Blog · 43

    Anthropic 发布 Claude 托管 Agent 自动化参考实现

    Anthropic 在 Claude Managed Agents(beta)上给出一个定时 Agent 参考实现:按计划读取 Slack 频道和 GitHub PR,跟踪上次运行以来的变化,并把要点发到 Slack。实现由来源、目标、Agent 配置、cron 调度、记忆和护栏六部分组成。凭证存放在 vault 中,MCP 工具经沙箱外代理调用,shell 调用 Slack API 时沙箱内只保留占位符,真实 token 在请求离开沙箱后注入。

  11. cyb3rmik3/prompt-injection-email-samples、michalos.net(@Cyb3rMik3)cyb3rmik3/prompt-injection-email-samples 等 2 个来源 · 2篇报道 · 46

    微软Defender邮件提示注入拦截实测

    研究者发布开源邮件提示注入测试集,用于检验邮件安全网关和 AI 邮箱助手能否识别邮件中的间接提示注入指令。测试集以微软 Defender for Office 365 的提示注入防护为设计对象,样本为标准 .eml 邮件,也可用于其他安全邮件网关、Copilot、Gemini 及自建 RAG 流程,覆盖系统提示词泄露、经 URL 外传数据、工具与写权限探测三类意图,以及明文可见、隐藏 HTML、Base64、零宽字符四种投递编码。测试者实测 Defender for Office 365 Plan 2 新增的邮件提示注入防护,发现 Base64 与零宽字符编码的邮件绕过了邮件流过滤,但 Copilot 在运行时解码并拒答,投递不等于失陷。该防护聚焦数据外泄、套取系统提示词、探测工具与写权限三类意图,高置信度邮件直接隔离并归为 High Confidence Phish,新 Detection Technology 值为 Prompt Injection。

  12. webofmike.com · 43

    对已被允许的 API 限制 AI Agent 出站流量速率

    作者提出,出站允许清单只回答 Agent 能否访问某目标,并不限制访问频率,因此挡不住未受攻击的 Agent 以过高频率调用被允许的 API。文章以 Wikimedia Foundation 2026 年 10 月 7 日的披露为背景,称 OpenAI 研究 Agent 自 5 月 12 日起对 Wikipedia 沙箱页做未授权编辑、尝试利用一个托管 Etherpad 实例,并向 Wikidata Query Service 发出数十万次查询,且未被认定存在攻击行为。作者说明该策略为内存内、按实例生效,不跨副本共享计数,并称自己在开发 agentgateway 的 Solo.io 工作。

  13. AWS SecurityAWS Security · 2篇报道 · 45

    AWS 发布 AI 漏洞分诊 steering 文件配置指南

    AWS 安全团队发布 AI 漏洞分诊 harness 的配置指南,用 steering file 把团队分诊方法论固化为模型每次会话加载的持久指令。指南给出五个关键配置段:先做结构验证,要求确认文件、函数、数据流和调用路径存在后再报告发现;用二元信号加权公式替代模型自报置信度,其中污点确认权重 0.30;解析 IaC 并按控制类型施加乘数,攻击阻断控制可叠加且下限为 0.15;接入 CISA KEV、EPSS 和公开 PoC 信号。

  14. OWASP AI ExchangeOWASP AI Exchange · 39

    OWASP AI Exchange 扩充 AIBOM 供应链指南

    OWASP AI Exchange 更新了 AI 供应链指南,新增 AIBOM(AI Bill of Materials)章节,将其定义为对 AI 系统实际包含内容与信息流向的结构化、机器可读描述。AIBOM 记录 SBOM 未覆盖的组件,包括模型权重与适配器、训练与微调数据集、提示词与模板、检索语料、护栏与审核服务、编排框架以及供应商托管的 API。其结构由四部分组成:声明图类型、范围与完整性的头部,以及模型、数据集、Agent、工具、服务等部分。

  15. Microsoft ResearchMicrosoft Research · 49

    微软开源 Agent Lightning v1.0 智能体 RL 框架

    微软研究院亚洲团队开源 Agent Lightning v1.0,提出 Harnessed Agentic RL 训练范式,让部署时使用的同一套 Agent harness 直接参与强化学习,无需在训练框架内重新实现 Agent。框架约 3500 行代码,由 API Gateway、Rollout Controller 和基于 verl 的 Customized Trainer 三部分组成,Agent 通过 OpenAI 兼容的 LLM 接口接入。