Skip to content

Translation in progress Some entries still include text in the original language.

Agent safety · News

Oct 12 · Monday

Agent safety · News

Latest publications and developments
Oct 9Fri
  1. SierraSierra · 41

    Sierra releases draft of personal agent protocol Poppy

    Sierra released a draft protocol for personal agents called Poppy and announced 35 new design partners, including OpenAI, PayPal, Visa, Mastercard, Cloudflare, Notion, and 1Password. These companies will participate in the draft design process and provide feedback. Poppy builds on existing standards such as OAuth, JWT, HTTPS, OpenAPI, and MCP, and defines five components: discovery, session, login, cross-channel single session, and task execution.

  2. NVIDIA 技术博客:可信 AI 与网络安全NVIDIA 技术博客:可信 AI 与网络安全 · 40

    NVIDIA 分享 KDD Cup 数据分析 Agent 经验

    NVIDIA KGMON 团队在 KDD Cup 2026 Data Agents 竞赛中获得第二名,其方案核心是让 Agent 的 harness 更小、更清晰、更容易验证。竞赛要求 Agent 在数据库、CSV 和 JSON 文件、散文文档、PDF 和简报视频等异构数据源上回答自然语言问题,且只使用一个固定的小模型驱动 Agent,使 harness 成为主要优化空间。团队提出两条原则:约束动作空间,即统一数据访问、暴露小型工具;以及让 harness 更清晰、更易验证。

Oct 8Thu
  1. langchain.comlangchain.com · 40

    LangChain 发布可支付 Agent 示例 Restock

    LangChain 发布示例 Agent Restock,在 Slack 中运行于 Managed Deep Agents 之上,通过 Stripe 的 Link 钱包和 Machine Payments Protocol(MPP)完成真实下单与付款。它用 Zinc 的 MPP 订单 API 搜索商品并下单,商家以 402 Payment Required 返回付款指令,客户端带支付凭证重试。模型不接触支付密钥:Link 会话存放在用户侧。

  2. tessl.iotessl.io · 45

    VarOps 发布企业级 Agent 记忆系统设计与基准

    VarOps 公布了一套面向全公司范围 Agent 的记忆系统设计与基准结果,主张把记忆当作受治理的记录而非文本堆砌。系统把每条观察蒸馏成 claim,记录谁在何时说了什么、有效区间以及来源片段,丢弃原始记录。在 LongMemEval 的 500 道长对话历史问题上,正确证据仍有 99.8% 进入前十条结果,摄取约 3500 万 token 花费 8.24 美元,使用 CPU 与免费本地嵌入模型。作者用 Gemma 4(310 亿参数)进行测试。

  3. tl;dr sectl;dr sec · 25

    tl;dr sec #349:AI 漏洞利用与沙箱测试

    2026年10月8日的 tl;dr sec #349 汇总多项安全动态:XBOW 提出先让智能体以各角色登录并绘制权限边界,再据此判定 IDOR 结果,以降低误报;PortSwigger 为 Turbo Intruder 加入 HTTP/3 支持,Wi-Fi 下单机可发超过 10 万请求/秒,是同环境下 HTTP/1.1 的三倍以上;Aikido 在 gocommunity-io/dockerd、kreuzwenker/docker 两个 Terraform provider 及两个 Go 模块中发现 Gr 相关漏洞。

  4. Adversa AIAdversa AI · 45

    2026年10月MCP安全资源盘点

    Adversa AI 发布 10 月 MCP 安全资源汇总,按漏洞、防御、攻击技术、框架、事件和红队等类别收录 15 项资料。漏洞方面包括:LiteLLM 的 MCP 端点接受任意无效 bearer token(CVE-2026-59822,已进入 CISA KEV 列表);Grafana MCP 服务器仅按格式校验 session ID,导致会话伪造与 SSRF(CVE-2026-19516);以及 MCP Python SDK 的 OAuth 相关问题。

  5. Meta Wearables, MIXED Reality NewsMeta Wearables · 2 sources · 2 reports · 52

    Meta WebMCP 文档提示工具信任边界

    Meta 在 Ray-Ban Display 的 WebMCP 开发文档中说明,Web App 可通过 document.modelContext.registerTool() 把页面动作注册为工具,供眼镜上的 Meta AI 在用户语音请求时调用;工具仅在 Web App 前台时可用,页面加载时注册、用户离开时注销,Meta AI 无法后台调用,单次调用超时为 10 秒,且每个工具动作须保留手动操作路径。文档同时指出,用于标记不可信文本的 untrustedContentHint 并非强制安全边界,不应依赖;开发者须把 Meta AI 传入的参数视为不可信并在 execute 中校验,不应仅因工具被调用就执行破坏性或不可逆操作,也不应接受模型对执行结果的描述,而应由页面自行验证和评分。

  6. 腾讯 AI-Infra-Guard 版本发布腾讯 AI-Infra-Guard 版本发布 · 24

    腾讯 AI-Infra-Guard 发布 v4.6.5

    腾讯 AI-Infra-Guard 发布 v4.6.5。该版本新增 Agent-Scan 支持 SSE 响应自定义 transforms,MCP-Scan 支持现代与旧版协议自动协商并记录协议版本,同时新增 OrcaRouter 作为 Agent-Scan 的一级 provider。数据侧补充两批漏洞规则,分别为 154 条 CVE 规则加 9 条指纹、117 条 CVE 规则加 5 条指纹。修复项包括 MCP-Scan 对 LLM 调用的限流相关处理。

  7. infosecravi.cominfosecravi.com · ↑153

    研究者发布222项Agentic AI红队测试清单

    研究者发布一份免费电子表格版 Agentic AI 红队测试清单,共 222 项测试,分 20 个类别,结构参照 OWASP Web Security Testing Guide,每项包含目标、测试步骤、工具、预期结果、严重程度和检测模式。作者称清单按四阶段强制顺序排列,先做资产与能力测绘再进入模型测试,因为大多数 Agent 测试止步于提示注入,会跳过决定注入能触达什么的侦察与基础设施类别。

  8. Anthropic Research, CyberScoop · 8 sourcesAnthropic Research · 8 sources · 8 reports · 57

    Anthropic launches OSS Scanner and critical infrastructure defense program

    Anthropic launches long-term initiative Anthropic Cyber Mission, focusing on two directions: critical infrastructure and open-source software. The Critical Infrastructure Defense Program (CIDP) provides frontier Claude models, resident engineers, and threat research to operational technology defenders in electricity, water, transportation, and other sectors, with partners including CrowdStrike, Dragos, Palo Alto Networks, Rockwell Automation, and others. The simultaneously launched OSS Scanner is an opt-in vulnerability scanning service for the open-source ecosystem, using the company's strongest model to periodically scan participating projects for free; reports are entirely model-generated, without human review or triage, and therefore may be inaccurate. Anthropic says that over the past six months it scanned important software projects with its latest model, finding more than 29,000 candidate vulnerabilities, manually reviewing only about 6,000, and sending nearly 5,000 unverified reports directly to maintainers upon request.

  9. claude.dev Blogclaude.dev Blog · 43

    Anthropic 发布 Claude 托管 Agent 自动化参考实现

    Anthropic 在 Claude Managed Agents(beta)上给出一个定时 Agent 参考实现:按计划读取 Slack 频道和 GitHub PR,跟踪上次运行以来的变化,并把要点发到 Slack。实现由来源、目标、Agent 配置、cron 调度、记忆和护栏六部分组成。凭证存放在 vault 中,MCP 工具经沙箱外代理调用,shell 调用 Slack API 时沙箱内只保留占位符,真实 token 在请求离开沙箱后注入。

  10. cyb3rmik3/prompt-injection-email-samples, michalos.net(@Cyb3rMik3)cyb3rmik3/prompt-injection-email-samples · 2 sources · 2 reports · 46

    Hands-on test of Microsoft Defender email prompt injection blocking

    Researchers released an open-source email prompt injection test set for testing whether email security gateways and AI email assistants can identify indirect prompt injection instructions in emails. The test set is designed with Microsoft Defender for Office 365's prompt injection protection in mind; samples are standard .eml emails and can also be used with other secure email gateways, Copilot, Gemini, and custom RAG pipelines. It covers three intent categories—system prompt leakage, data exfiltration via URLs, and probing of tools and write permissions—and four delivery encodings: plaintext visible, hidden HTML, Base64, and zero-width characters. Testers tested the new email prompt injection protection in Defender for Office 365 Plan 2 and found that emails with Base64 and zero-width character encoding bypassed mail flow filtering, but Copilot decoded and refused to answer at runtime; delivery does not equal compromise. The protection focuses on three intent categories: data exfiltration, extracting system prompts, and probing tools and write permissions. High-confidence emails are directly quarantined and classified as High Confidence Phish, with the new Detection Technology value set to Prompt Injection.

  11. webofmike.com · 43

    对已被允许的 API 限制 AI Agent 出站流量速率

    作者提出,出站允许清单只回答 Agent 能否访问某目标,并不限制访问频率,因此挡不住未受攻击的 Agent 以过高频率调用被允许的 API。文章以 Wikimedia Foundation 2026 年 10 月 7 日的披露为背景,称 OpenAI 研究 Agent 自 5 月 12 日起对 Wikipedia 沙箱页做未授权编辑、尝试利用一个托管 Etherpad 实例,并向 Wikidata Query Service 发出数十万次查询,且未被认定存在攻击行为。作者说明该策略为内存内、按实例生效,不跨副本共享计数,并称自己在开发 agentgateway 的 Solo.io 工作。

  12. AWS SecurityAWS Security · 2 reports · 45

    AWS 发布 AI 漏洞分诊 steering 文件配置指南

    AWS 安全团队发布 AI 漏洞分诊 harness 的配置指南,用 steering file 把团队分诊方法论固化为模型每次会话加载的持久指令。指南给出五个关键配置段:先做结构验证,要求确认文件、函数、数据流和调用路径存在后再报告发现;用二元信号加权公式替代模型自报置信度,其中污点确认权重 0.30;解析 IaC 并按控制类型施加乘数,攻击阻断控制可叠加且下限为 0.15;接入 CISA KEV、EPSS 和公开 PoC 信号。

Oct 7Wed
  1. The Hacker NewsThe Hacker News · 14

    智能体渗透测试的能力与局限

    Picus 指出,智能体渗透测试能通过实际执行漏洞利用证明单个暴露点是否可利用,并验证从初始访问到权限提升、横向移动的完整攻击链。但该方法存在速度与覆盖两大局限:25 万端点规模的完整扫描需数周,而 2026 年披露到利用的平均时间已从 2025 年的 21.5 天缩短至 8 小时;受安全与稳定性限制,真实漏洞利用只能覆盖典型企业约 20% 至 30% 的可利用面。

  2. Microsoft Windows Developer Blog, X @simonwMicrosoft Windows Developer Blog · 2 sources · 2 reports · 53

    微软发布AI Agent执行容器隔离方案

    微软宣布 Microsoft Execution Containers(MXC)正式可用,为 AI Agent 提供策略驱动的执行隔离层,限制模型生成代码、插件、工具或整个 Agent 可访问的文件与网络资源,策略由容器在运行时强制执行,Agent 自身无法自行扩权。MXC 提供进程容器(Windows 11、macOS、Linux)、仅 Windows 支持的会话容器、WSL 容器和实验性的 MicroVM 四类隔离后端。另有报道称,微软发布了开源跨平台沙箱库 MxC,可在 Windows、macOS 和 Linux 上为 Agent 提供隔离环境,底层使用 processcontainer、bubblewrap 和 seatbelt 实现沙箱;该方案面向为 Agent 管理多种沙箱的开发者,并深度集成 Windows 上的 agent ID,覆盖进程、会话和 micro VM 层级。

  3. AWS SecurityAWS Security · 46

    AWS 发布身份感知 AI 数据代理方案

    AWS 安全博客介绍了一种身份感知 AI 数据智能体方案:数据智能体查询 Lake Formation 治理的湖仓数据时,按真实用户身份授权,无需改写现有治理策略。id_token 不进入工具 schema,基础模型无法接触;TIP 角色本身不带 Lake Formation 数据授权,授权判断只针对传播的用户身份。测试中两名用户提出同一问题,有授权的用户返回五条记录,无授权用户被拒绝,CloudTrail 的 AssumeRole 记录可追溯。

Oct 6Tue
  1. arXiv, UK AI Security Institute · 3 sourcesarXiv · 3 sources · 3 reports · 54

    UK AISI 开源 Transect 智能体评测分析工具

    研究者发布开源包 Transect,用于在长程 LLM Agent 评测中保留可观测性。该工具基于 Inspect Scout 构建,用户在可复用的评测族配置中指定任务上下文与行为词汇,判分模型与分析设置另行提供;其可导航报告把记录事件、token 用量、子 Agent 活动与模型生成的行为标签对齐到同一按回合的时间线上,评审者可快速把握一次运行的脉络、把任一标签或事件追溯到来源回合,并导出底层数据表做跨运行分析。UK AISI 随后发布这一开源 Python 包,称其把 Agent 评测记录中的活动标签、token 用量和记录事件放到同一条以 turn 为索引的时间线上,生成交互式报告,供评审者跳转到对应记录片段核对自动分析的依据;用户需提供评测记录、任务上下文和希望区分的活动类别,Transect 用用户选定的 LLM-as-judges 为活动片段打标签,并可依据委派指令对子智能体分类。UK AISI 表示,随着智能体编写代码、运行实验并相互协作,复杂评测越来越难解读,单一评测分数会掩盖智能体达成该分数的具体过程,Transect 让评测者能够查看轨迹中的过程细节。

  2. X @AISecHubX @AISecHub · 34

    VulnHunter 开源 Agentic AI 漏洞扫描器

    一款名为 VulnHunter 的智能体 AI 安全扫描器已在 GitHub 发布。据其页面介绍,该工具以对抗视角搜寻可利用漏洞,通过可执行 PoC 验证漏洞,并以测试优先的方式修复。它是 Capital One VulnHunter 的维护分支,已针对各类智能体框架重新构建。

  3. promptarmor.compromptarmor.com · 36

    WebMCP 协议采用现状与安全风险分析

    PromptArmor 梳理了 WebMCP 的早期采用情况与安全风险。截至 2026 年 10 月 6 日,webmcp.com 登记了 2,959 个提供 WebMCP 工具的站点;Chrome、Edge、Brave 通过 Origin trials 支持,ChatGPT 内置浏览器以 Site tools 形式支持,Cloudflare 在 Browser Run 中支持,Shopify 则把工具自动加入所有 Liquid 店铺。