Skip to content

Translation in progress Some entries still include text in the original language.

AI safety news and updates

Oct 12 · Monday

News timeline

Latest publications and developments
Oct 9Fri
  1. SierraSierra · 41

    Sierra releases draft of personal agent protocol Poppy

    Sierra released a draft protocol for personal agents called Poppy and announced 35 new design partners, including OpenAI, PayPal, Visa, Mastercard, Cloudflare, Notion, and 1Password. These companies will participate in the draft design process and provide feedback. Poppy builds on existing standards such as OAuth, JWT, HTTPS, OpenAPI, and MCP, and defines five components: discovery, session, login, cross-channel single session, and task execution.

  2. The Decoder, Hitachi Global · 3 sourcesThe Decoder · 3 sources · 3 reports · 38

    Anthropic launches cybersecurity mission program

    Anthropic announced the launch of Anthropic Cyber Mission, calling it a new initiative aimed at protecting critical infrastructure and open-source software. According to The Decoder, the Critical Infrastructure Defense Program (CIDP) within this long-term project opens Claude models, engineers, and threat analysis to operators of power grids, water systems, and transportation networks, with CrowdStrike, Palo Alto Networks, Deloitte, and Rockwell Automation as founding partners; additionally, a free OSS AI scanner will regularly check open-source projects, automatically flagging and explaining vulnerabilities. Hitachi announced it is joining the Critical Infrastructure Defense Program, citing its digital technology and operational experience in critical infrastructure sectors such as energy, transportation, and industry.

    Latest developments
    1. 日立加入Anthropic关键基础设施防御计划

    2. Anthropic launches cybersecurity mission program

  3. prmbiy/specguard · 3

    prmbiy/specguard 仓库提交 initial commit

    prmbiy 在 GitHub 仓库 specguard 完成了 initial commit,提交哈希为 15820b5。该提交日期为 2026 年 10 月 9 日,提交者为 prmbiy。仓库路径为 prmbiy/specguard。

  4. NVIDIA 技术博客:可信 AI 与网络安全NVIDIA 技术博客:可信 AI 与网络安全 · 40

    NVIDIA 分享 KDD Cup 数据分析 Agent 经验

    NVIDIA KGMON 团队在 KDD Cup 2026 Data Agents 竞赛中获得第二名,其方案核心是让 Agent 的 harness 更小、更清晰、更容易验证。竞赛要求 Agent 在数据库、CSV 和 JSON 文件、散文文档、PDF 和简报视频等异构数据源上回答自然语言问题,且只使用一个固定的小模型驱动 Agent,使 harness 成为主要优化空间。团队提出两条原则:约束动作空间,即统一数据访问、暴露小型工具;以及让 harness 更清晰、更易验证。

  5. 论文追踪, AlignmentResearch/fibs-probes论文追踪 · 2 sources · 2 reports · 57

    白盒探针检测模型知情谎言

    FAR.AI 等机构研究者提出用白盒激活探针检测大语言模型的知情谎言,在 SHADE-Arena 上取得 98.8% AUC,超过 Opus 5.5 文本监控基线。研究者构建了迄今规模最大的谎言数据集 fibs,包含 163,016 条转录、28 个数据族,并设计了可在层与 token 两个维度聚合信息的 axial 探针等四种架构。在 Qwen3.5-397B-A17B 上,四个用完整 fibs 训练的探针得分 0.979 至 0.99。此后 AlignmentResearch 发布了 FIBS 探针推理代码,支持 linear、MLP、EFC 和 axial 四种激活探针架构,可从本地目录或 Hugging Face Hub 加载已训练探针,对转录的残差流激活打分;已发布权重位于 AlignmentResearch/probe-inference-weights,覆盖 qwen3.5-2b 至 397b-a17b、Nemotron-3 Nano/Super/Ultra 等模型。

Oct 8Thu
  1. langchain.comlangchain.com · 40

    LangChain 发布可支付 Agent 示例 Restock

    LangChain 发布示例 Agent Restock,在 Slack 中运行于 Managed Deep Agents 之上,通过 Stripe 的 Link 钱包和 Machine Payments Protocol(MPP)完成真实下单与付款。它用 Zinc 的 MPP 订单 API 搜索商品并下单,商家以 402 Payment Required 返回付款指令,客户端带支付凭证重试。模型不接触支付密钥:Link 会话存放在用户侧。

  2. tessl.iotessl.io · 45

    VarOps 发布企业级 Agent 记忆系统设计与基准

    VarOps 公布了一套面向全公司范围 Agent 的记忆系统设计与基准结果,主张把记忆当作受治理的记录而非文本堆砌。系统把每条观察蒸馏成 claim,记录谁在何时说了什么、有效区间以及来源片段,丢弃原始记录。在 LongMemEval 的 500 道长对话历史问题上,正确证据仍有 99.8% 进入前十条结果,摄取约 3500 万 token 花费 8.24 美元,使用 CPU 与免费本地嵌入模型。作者用 Gemma 4(310 亿参数)进行测试。

  3. tl;dr sectl;dr sec · 25

    tl;dr sec #349:AI 漏洞利用与沙箱测试

    2026年10月8日的 tl;dr sec #349 汇总多项安全动态:XBOW 提出先让智能体以各角色登录并绘制权限边界,再据此判定 IDOR 结果,以降低误报;PortSwigger 为 Turbo Intruder 加入 HTTP/3 支持,Wi-Fi 下单机可发超过 10 万请求/秒,是同环境下 HTTP/1.1 的三倍以上;Aikido 在 gocommunity-io/dockerd、kreuzwenker/docker 两个 Terraform provider 及两个 Go 模块中发现 Gr 相关漏洞。

  4. Adversa AIAdversa AI · 45

    2026年10月MCP安全资源盘点

    Adversa AI 发布 10 月 MCP 安全资源汇总,按漏洞、防御、攻击技术、框架、事件和红队等类别收录 15 项资料。漏洞方面包括:LiteLLM 的 MCP 端点接受任意无效 bearer token(CVE-2026-59822,已进入 CISA KEV 列表);Grafana MCP 服务器仅按格式校验 session ID,导致会话伪造与 SSRF(CVE-2026-19516);以及 MCP Python SDK 的 OAuth 相关问题。

  5. Meta Wearables, MIXED Reality NewsMeta Wearables · 2 sources · 2 reports · 52

    Meta WebMCP 文档提示工具信任边界

    Meta 在 Ray-Ban Display 的 WebMCP 开发文档中说明,Web App 可通过 document.modelContext.registerTool() 把页面动作注册为工具,供眼镜上的 Meta AI 在用户语音请求时调用;工具仅在 Web App 前台时可用,页面加载时注册、用户离开时注销,Meta AI 无法后台调用,单次调用超时为 10 秒,且每个工具动作须保留手动操作路径。文档同时指出,用于标记不可信文本的 untrustedContentHint 并非强制安全边界,不应依赖;开发者须把 Meta AI 传入的参数视为不可信并在 execute 中校验,不应仅因工具被调用就执行破坏性或不可逆操作,也不应接受模型对执行结果的描述,而应由页面自行验证和评分。

  6. 腾讯 AI-Infra-Guard 版本发布腾讯 AI-Infra-Guard 版本发布 · 24

    腾讯 AI-Infra-Guard 发布 v4.6.5

    腾讯 AI-Infra-Guard 发布 v4.6.5。该版本新增 Agent-Scan 支持 SSE 响应自定义 transforms,MCP-Scan 支持现代与旧版协议自动协商并记录协议版本,同时新增 OrcaRouter 作为 Agent-Scan 的一级 provider。数据侧补充两批漏洞规则,分别为 154 条 CVE 规则加 9 条指纹、117 条 CVE 规则加 5 条指纹。修复项包括 MCP-Scan 对 LLM 调用的限流相关处理。

  7. infosecravi.cominfosecravi.com · ↑154

    研究者发布222项Agentic AI红队测试清单

    研究者发布一份免费电子表格版 Agentic AI 红队测试清单,共 222 项测试,分 20 个类别,结构参照 OWASP Web Security Testing Guide,每项包含目标、测试步骤、工具、预期结果、严重程度和检测模式。作者称清单按四阶段强制顺序排列,先做资产与能力测绘再进入模型测试,因为大多数 Agent 测试止步于提示注入,会跳过决定注入能触达什么的侦察与基础设施类别。

  8. Anthropic Research, CyberScoop · 8 sourcesAnthropic Research · 8 sources · 8 reports · 57

    Anthropic launches OSS Scanner and critical infrastructure defense program

    Anthropic launches long-term initiative Anthropic Cyber Mission, focusing on two directions: critical infrastructure and open-source software. The Critical Infrastructure Defense Program (CIDP) provides frontier Claude models, resident engineers, and threat research to operational technology defenders in electricity, water, transportation, and other sectors, with partners including CrowdStrike, Dragos, Palo Alto Networks, Rockwell Automation, and others. The simultaneously launched OSS Scanner is an opt-in vulnerability scanning service for the open-source ecosystem, using the company's strongest model to periodically scan participating projects for free; reports are entirely model-generated, without human review or triage, and therefore may be inaccurate. Anthropic says that over the past six months it scanned important software projects with its latest model, finding more than 29,000 candidate vulnerabilities, manually reviewing only about 6,000, and sending nearly 5,000 unverified reports directly to maintainers upon request.

  9. googleblog.comgoogleblog.com · 49

    Google 开源生产 Agent 质量诊断工具 AQuA

    Google 在 ADK recipes 中开源了 AQuA(Ambient Quality Agent),一个在 Google Cloud 项目内常驻运行、诊断生产环境 Agent 故障的质量智能体。它从 Cloud Trace、Cloud Logging 或 BigQuery 按计划或按需抽取最多 1000 条近期会话,经采样、评审、聚类、验证、追踪五阶段流水线,把原始轨迹转化为经核实的洞察,且不进入请求路径、不回写 Agent。

  10. claude.dev Blogclaude.dev Blog · 43

    Anthropic 发布 Claude 托管 Agent 自动化参考实现

    Anthropic 在 Claude Managed Agents(beta)上给出一个定时 Agent 参考实现:按计划读取 Slack 频道和 GitHub PR,跟踪上次运行以来的变化,并把要点发到 Slack。实现由来源、目标、Agent 配置、cron 调度、记忆和护栏六部分组成。凭证存放在 vault 中,MCP 工具经沙箱外代理调用,shell 调用 Slack API 时沙箱内只保留占位符,真实 token 在请求离开沙箱后注入。

  11. cyb3rmik3/prompt-injection-email-samples, michalos.net(@Cyb3rMik3)cyb3rmik3/prompt-injection-email-samples · 2 sources · 2 reports · 46

    Hands-on test of Microsoft Defender email prompt injection blocking

    Researchers released an open-source email prompt injection test set for testing whether email security gateways and AI email assistants can identify indirect prompt injection instructions in emails. The test set is designed with Microsoft Defender for Office 365's prompt injection protection in mind; samples are standard .eml emails and can also be used with other secure email gateways, Copilot, Gemini, and custom RAG pipelines. It covers three intent categories—system prompt leakage, data exfiltration via URLs, and probing of tools and write permissions—and four delivery encodings: plaintext visible, hidden HTML, Base64, and zero-width characters. Testers tested the new email prompt injection protection in Defender for Office 365 Plan 2 and found that emails with Base64 and zero-width character encoding bypassed mail flow filtering, but Copilot decoded and refused to answer at runtime; delivery does not equal compromise. The protection focuses on three intent categories: data exfiltration, extracting system prompts, and probing tools and write permissions. High-confidence emails are directly quarantined and classified as High Confidence Phish, with the new Detection Technology value set to Prompt Injection.

  12. webofmike.com · 43

    对已被允许的 API 限制 AI Agent 出站流量速率

    作者提出,出站允许清单只回答 Agent 能否访问某目标,并不限制访问频率,因此挡不住未受攻击的 Agent 以过高频率调用被允许的 API。文章以 Wikimedia Foundation 2026 年 10 月 7 日的披露为背景,称 OpenAI 研究 Agent 自 5 月 12 日起对 Wikipedia 沙箱页做未授权编辑、尝试利用一个托管 Etherpad 实例,并向 Wikidata Query Service 发出数十万次查询,且未被认定存在攻击行为。作者说明该策略为内存内、按实例生效,不跨副本共享计数,并称自己在开发 agentgateway 的 Solo.io 工作。

  13. AWS SecurityAWS Security · 2 reports · 45

    AWS 发布 AI 漏洞分诊 steering 文件配置指南

    AWS 安全团队发布 AI 漏洞分诊 harness 的配置指南,用 steering file 把团队分诊方法论固化为模型每次会话加载的持久指令。指南给出五个关键配置段:先做结构验证,要求确认文件、函数、数据流和调用路径存在后再报告发现;用二元信号加权公式替代模型自报置信度,其中污点确认权重 0.30;解析 IaC 并按控制类型施加乘数,攻击阻断控制可叠加且下限为 0.15;接入 CISA KEV、EPSS 和公开 PoC 信号。

  14. OWASP AI ExchangeOWASP AI Exchange · 39

    OWASP AI Exchange 扩充 AIBOM 供应链指南

    OWASP AI Exchange 更新了 AI 供应链指南,新增 AIBOM(AI Bill of Materials)章节,将其定义为对 AI 系统实际包含内容与信息流向的结构化、机器可读描述。AIBOM 记录 SBOM 未覆盖的组件,包括模型权重与适配器、训练与微调数据集、提示词与模板、检索语料、护栏与审核服务、编排框架以及供应商托管的 API。其结构由四部分组成:声明图类型、范围与完整性的头部,以及模型、数据集、Agent、工具、服务等部分。

  15. Microsoft ResearchMicrosoft Research · 49

    微软开源 Agent Lightning v1.0 智能体 RL 框架

    微软研究院亚洲团队开源 Agent Lightning v1.0,提出 Harnessed Agentic RL 训练范式,让部署时使用的同一套 Agent harness 直接参与强化学习,无需在训练框架内重新实现 Agent。框架约 3500 行代码,由 API Gateway、Rollout Controller 和基于 verl 的 Customized Trainer 三部分组成,Agent 通过 OpenAI 兼容的 LLM 接口接入。