跳到正文

Agent 安全

智能体与工具调用带来的安全问题:权限、沙箱、数据外泄与失控行为。

1,478条动态与论文相关主题提示注入AI 控制真实事件
在这个话题内搜索或按分类筛选

新闻与论文

第 601–620 条 · 共 1,478 条
10月3日周六
  1. The Hacker News · 收录 · 原文 39

    GitLab 修复 AI Gateway 9.9 分严重漏洞,可致自托管服务器命令执行

    GitLab 于 10 月 2 日披露并修复 AI Gateway 中的一个严重漏洞,CVSS 评分 9.9,编号 CVE-2026-90970。拥有 Duo Agent Platform 访问权限的已登录用户,可通过特制的 flow 配置逃逸提示词模板沙箱,进而在网关上执行任意命令。修复版本为 19.2.4、19.3.2 和 19.4.1,仅自托管网关的组织需要升级,使用 GitLab 托管网关的 GitLab.com、GitLab Dedicated 和自管理实例无需操作。受影响区间覆盖 18.1.6 及以后至 19.1 各版本,19.2.4 以下没有列出修复版本,官方也未给出临时缓解措施或攻击排查方法。CISA 在 CVE 记录中将该漏洞的利用状态标为 none。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  2. Financial Times · 人工智能 · 收录 · 原文 59

    Google 发布 Gemini 4 Argon,称在编程与网络安全基准上追平对手

    Google 发布新一代旗舰模型 Gemini 4 Argon,称其在编程、企业办公、科学与数学以及网络安全等基准上达到 SOTA,可对标 Anthropic 与 OpenAI 的竞品。该模型上下文窗口扩大 16 倍,Google 内部已用于量子计算研究、数据中心内存优化和自动化编程。Argon 通过 Fairwind 计划先向部分企业和政府开放,用于提前发现并修复网络安全漏洞,Google 将据此微调护栏;公司称该模型更抗提示注入,并新增防止智能体逃出测试环境的防护。公开发布后基础定价为每百万输入 token 2 美元、输出 10 美元,推广期后升至 4 美元和 20 美元。此前 Google 因训练不及预期放弃了 3.5 Pro,转而直接推出 Argon。

    1 条报道 · 1 个来源查看事件时间线与全部报道

    推荐理由旗舰模型发布中顺带披露的护栏与 Agent 逃逸防护设计,可作为观察前沿实验室安全叙事如何嵌入商业发布的样本。

  3. Financial Times · 人工智能 · 收录 · 原文 50

    腾讯与 Oracle 签署 10 万块芯片租赁协议以加速 AI 布局

    腾讯与美国云服务商 Oracle 签署了其最大规模的海外租赁协议,今年达成一项为期五年、覆盖 Oracle 在东南亚多个数据中心的租赁安排,从而获得约 10 万块在中国无法获取的先进 AI 芯片,用于推进其 AI 模型和智能体工具开发。两名知情人士称,该协议估值约 70 亿美元,首付约 30%,并导致腾讯第二季度自由现金流为负 138 亿元人民币(约 20 亿美元),为十多年来首次出现季度负值。美国出口管制收紧与国内供应短缺,促使中国科技公司转向海外算力,这类租赁协议在美国规则下被允许,也可能让企业用上在中国无法获得的 Nvidia 尖端处理器。腾讯第二季度资本支出同比增长 176% 至 530 亿元人民币(约 79 亿美元),用于 AI 基础设施和算力资源预付款;公司还在微信中推出嵌入式智能体 Xiaowei,并打造以 WorkBuddy 为首的企业级 AI 智能体矩阵。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  4. GitHub 安全公告 · 收录 · 原文 51

    DeepTutor 1.4.10 之前版本存在 MCP 工具授权绕过漏洞

    DeepTutor 1.4.10 之前的版本存在授权绕过漏洞(CVE-2026-58168),低权限用户可调用未受限的 MCP 工具。原因是 deeptutor/multi_user/tool_access.py 中的 allowed_mcp_tools 函数在用户授权中省略 mcp_tools 时返回 None,而非拒绝结果。攻击者或用户会话中被提示注入的内容可以枚举并调用任意已配置的 MCP 工具,包括文件系统、shell 和浏览器服务器,从而未授权访问部署中的敏感资源。该公告 2026 年 6 月 30 日收录进 GitHub Advisory Database,10 月 2 日更新。

    1 条报道 · 1 个来源查看事件时间线与全部报道

    推荐理由公告给出了漏洞函数与受影响版本,部署 DeepTutor 多用户环境的团队可据此判断自身 MCP 工具权限是否被绕过。

  5. OECD.AI(政策与事件监测) · 收录 · 原文 日期未知17

    HAIP 如何将透明度从合规负担转变为竞争优势

    Salesforce 参与 OECD 广岛 AI 进程(HAIP)报告框架,认为该框架为智能体 AI 时代提供了跨司法管辖区的通用合规语言。文章指出,当前各国风险与透明度定义分歧造成监管碎片化,中小企业在多市场合规中处于劣势,而统一的分级要求框架可降低门槛。Salesforce 的 Agentforce 平台已在欧盟、美国、日本等地部署,需为每个司法管辖区单独准备合规文档。

  6. Snyk Labs(AI Threat Labs,含原 Invariant Labs) · 收录 · 原文 日期未知36

    Snyk Labs 解读 MAESTRO:面向 Agentic AI 生态的分层威胁建模框架

    Snyk Labs 介绍了由云安全联盟(Cloud Security Alliance)联合 AI 安全研究者开发的 MAESTRO 框架,用于对多智能体 AI 生态做分层威胁建模。该框架把系统拆成基础模型、数据操作、Agent 框架、部署基础设施、评估与可观测性、安全与合规、Agent 生态共七层,逐层列出关键组件与特有漏洞,例如向量数据库投毒、工作流劫持、容器逃逸、日志注入和 Agent 身份冒充。文章强调跨层依赖会形成纵向传播与横向扩散的攻击路径,并以多 Agent 金融交易系统为例,演示从对抗样本到 Agent 冒充的逐层执行劫持攻击及对应缓解措施。文中还给出与 NIST AI RMF 四个功能、OWASP AIVSS/ASI 威胁分类的对接方式,以及分四阶段、约 12 个月的组织落地路线图。

  7. Snyk Labs(AI Threat Labs,含原 Invariant Labs) · 收录 · 原文 日期未知51

    Snyk 推出 Agent Scan - Skill Inspector,免费扫描 Agent 技能中的恶意行为

    Snyk Labs 发布 Agent Scan - Skill Inspector,一个免费的自助网站,可在安装或本地运行前扫描 Agent 技能的风险、暴露面与恶意行为。团队对主流市场的 3,984 个技能做了分析,确认 76 个恶意技能,13.4% 的技能至少含一个严重级别问题,36.8% 至少含一个安全问题,发现的问题包括凭据窃取、后门、可疑下载、远程代码执行模式和基于提示词的数据外泄,部分已确认的恶意技能在发布时仍可公开访问。Agent Scan 将技能视为代码与自然语言指令(如 SKILL.md)的组合,支持粘贴市场 URL、GitHub 仓库或拖入本地技能文件夹,检测提示注入、恶意代码、硬编码密钥、不当凭据处理、第三方内容暴露、不可验证依赖等,结果按 Critical、High、Medium 分级。

    推荐理由Snyk 对 3,984 个 Agent 技能的大规模扫描数据,为评估技能市场供应链风险提供了可参照的基线。

  8. Snyk Labs(AI Threat Labs,含原 Invariant Labs) · 收录 · 原文 日期未知43

    Snyk Labs 披露 OpenClaw 沙箱两处绕过:策略未合并与 TOCTOU 竞态

    Snyk Labs 对 OpenClaw 做安全评估,发现两处沙箱绕过,结果都是配置里看似存在的沙箱边界在运行时并未生效。第一处是 /tools/invoke HTTP 端点在构建和过滤工具列表时没有合并 sandbox 策略,只叠加了 Profile、Global、Agent、Group、Subagent 五层策略,导致 browser、gateway、nodes 等沙箱内本应禁用的工具仍可调用,任何持有有效 gateway 凭据的远程集成或插件都能借此提权;作者已向 OpenClaw 仓库提交修复,使该处理器按 sessionKey 解析沙箱上下文并合并允许与拒绝列表。作者认为在 Node.js 中无法用 openat(2) 配合目录文件描述符彻底修复,最终把文件操作移入沙箱的 Docker 容器内执行。

  9. Snyk Labs(AI Threat Labs,含原 Invariant Labs) · 收录 · 原文 41

    Snyk Labs 披露 Mermaid、Vega、PlantUML 图表渲染器攻击面及 Dify、GitLab 利用链

    Snyk Labs 分析了 Mermaid、Vega、PlantUML 等图表渲染库在客户端与服务端渲染时的攻击面,并给出在 Dify 和 GitLab 上的实际利用链。在 Dify 中,Mermaid 的 securityLevel 被设为 loose 以恢复主题定制,但自定义净化函数只处理 flowchart 的 javascript: 伪协议,Gantt、MindMap、Sequence 等图类型未覆盖,攻击者可通过编排设置让 LLM 输出恶意图表,形成影响公开聊天机器人用户的存储型 XSS;Dify 在 1.11.2 版本(CVE-2026-21866)将 securityLevel 改为 strict 修复。文章建议对不可信图表源关闭交互、使用 strict 或 sandbox 级别、经 DOMPurify 净化 SVG、隔离渲染服务并配置严格 CSP。

  10. Snyk Labs(AI Threat Labs,含原 Invariant Labs) · 收录 · 原文 36

    Snyk Labs 披露 OAuth state 缺陷可致一键账号接管,涉及 Fastapi-users、Authlib 等库

    Snyk Labs 在 OAuth 2.0 配置错误研究第二部分中指出,即使存在 state 参数,若其可预测或未与发起会话绑定,仍可导致一键登录 CSRF 乃至账号接管。修复方面,Fastapi-users 在 state JWT 中加入随机 claim 并写入 cookie 校验,Authlib 改为将 state 数据存入用户会话,Fast-Api SSO 与 Langfuse 也分别通过 sso_state cookie 校验和默认启用 NextAuth 标准保护修复。文章还建议用 CSP frame-ancestors、CHIPS 分区 cookie 等纵深防御措施,但强调这些不能替代正确的 OAuth state 处理。

  11. Snyk Labs(AI Threat Labs,含原 Invariant Labs) · 收录 · 原文 51

    Snyk Labs 实测 Opus 4.7 等模型在四个代码库上的漏洞发现能力

    Snyk Labs 用四级难度递减的提示词,让 Opus 4.7 以 opencode 为 Agent 在四个代码库中一次性找出同一类 OAuth state token 缺陷,即 1-Click 账户接管(登录 CSRF)。四个目标分别是 Fastapi-sso(6,932 行,CVE-2025-14546)、Fastapi-users(13,192 行,CVE-2025-68481)、Authlib(53,074 行,CVE-2025-68158)和 Langfuse(410,119 行,CVE-2025-65107)。作者发现 Opus 4.7 高推理模式倾向于广而浅,遇到线索容易放弃,需要人工追问才会深入分析 AUTH_*_CHECKS 未设置时 NextAuth 的运行时行为。作者强调这不是基准测试,只是一次小规模探索。

    推荐理由作者用四级递进提示词实测 Opus 4.7 等模型在四个代码库上的漏洞发现能力,给出了提示词强度与成本、命中率之间的对应关系。

  12. Gradient Institute(澳大利亚) · 收录 · 原文 32

    软件开发方式正在发生巨变:从代码补全到编码智能体

    AI 编码工具已从"tab tab tab"式自动补全演进为能读取需求、跨文件修改、运行程序、读报错、写测试并迭代修复的编码智能体,GitHub Copilot、OpenAI Codex、Claude Code、Cursor、Replit Agent、Lovable、Devin 等产品用户量激增。SWE-bench Verified 上最强模型的问题解决率从 2024 年中的约三分之一升至约 95%,但基准分数不等于真实可靠性。人类角色正从逐行编写转向委派任务并审查结果,而写代码与工程化生产软件仍是两回事。

  13. Gradient Institute(澳大利亚) · 收录 · 原文 45

    澳大利亚 AI 安全研究所发布首份报告,分析跨组织 AI 智能体风险与控制

    澳大利亚 AI 安全研究所发布首份出版物,委托 Gradient Institute 撰写跨组织 AI 智能体风险报告。报告指出,由各自安全可靠的智能体组成的系统未必安全可靠,多智能体交互会产生新的涌现行为,这既是运营问题也是控制与人类监督问题。报告提出按共同治理程度划分的三层部署框架:单一治理、联邦治理和开放环境,层级越高,新失效模式越多,可用控制手段越超出单个部署组织的范围,需要共享框架、公共基础设施和集体行动。报告为部署组织梳理风险因素、失效模式和控制措施,为政策制定者标出多智能体安全缺口及可填补方,为研究者和标准机构列出多智能体评测方法与智能体基础设施等开放问题。

  14. 日本 AI 安全研究所(J-AISI) · 收录 · 原文 48

    日本 AI 安全研究所发布《AI 安全评估视角指南》第 1.20 版

    日本 AI 安全研究所(J-AISI)发布《AI 安全评估视角指南》第 1.20 版,结合 AI 智能体系统的普及,更新并扩充了评估视角与评估项示例。此次修订重新审视了既有评估视角,新增了部分评估项示例,并针对 AI 智能体系统特有的风险设立了“观测与控制”视角,补充了与“自主行为”和“外部环境交互”相关的评估项。该指南指出,AI 智能体系统能够自主行动并对外部系统或物理环境产生影响,因此需要应对传统 LLM 系统未能充分预想的风险。

    推荐理由日本 AI 安全研究所更新评估视角指南,新增面向 AI 智能体的观测与控制视角,可供做智能体安全评估的团队参考。

  15. 日本 AI 安全研究所(J-AISI) · 收录 · 原文 40

    日本 AISI 发布 AI 机器人安全评估观感指南

    日本 AI 安全研究所(AISI)事业实证工作组下属的机器人子工作组(SWG)公开了《AI 机器人安全评估观感指南》。该指南面向与人共享空间、执行移动、对话、搬运等任务的 AI 机器人,用于识别和评估 AI 使用带来的新增风险,并据此考虑风险降低措施。指南把 AI 机器人可能产生的风险整理为物理、心理、社会三类,并以咖啡搬运机器人和远程操作型小型配送机器人作为设想用例,参考 AISI 此前制定的《AI 安全评估观感指南》,将评估 AI 机器人安全性时应确认的观感整理为 9 项。

  16. Mindgard Blog · 收录 · 原文 58

    Mindgard 披露 MCP Tasks 扩展漏掉授权 MUST,修复已于 8 月合并

    Mindgard 分析发现,2026-07-28 发布的 MCP 规范中,官方 Tasks 扩展(io.modelcontextprotocol/tasks)的规范性文本没有任何授权要求,SEP-2663 中要求服务器对每个任务相关请求做认证与授权检查的 MUST 未进入正式规范,taskId 因此成了不绑定主体的凭据。作者用 grep 检索该扩展文档,auth、principal、tenant、credential、owner、identity 均无命中,只有一处允许服务器将 taskId 用作 bearer token;SEP 的四条安全要点在正式规范里只有三条,缺的正是含授权 MUST 的那一条,git log --all -S 'Auth binding' 只返回一个提交 29f83d5,即同时写入 SEP 与三条要点版规范的那次提交。原文 2026 年 8 月 20 日的编者更新称,Mindgard 提出的修复已被接受并合并进 Tasks 扩展的主分支。

    推荐理由作者用 grep 与 git log 复现了 MCP Tasks 扩展中授权 MUST 从 SEP 到正式规范丢失的过程,可据此检查自家 MCP 实现的 taskId 权限校验。

  17. Mindgard Blog · 收录 · 原文 17

    为什么 Claude Mythos 与 GPT-5.5-Cyber 不足以构成 AI 安全策略

    面向网络安全的模型如 Claude Mythos 和 GPT-5.5-Cyber 能加速代码审查、SAST 发现、漏洞解释与修复建议等传统安全工作,但无法单独承担 AI 系统自身的安全测试。Mindgard 指出,AI 系统具有概率性行为、由模型与智能体、工具、记忆、RAG 等组合而成的"心理-技术"攻击面,以及难以界定的测试边界,且针对 AI 的攻击数据比传统网络安全少数个数量级,护栏指纹识别与绕过、智能体胁迫与工具操纵、间接提示注入、上下文投毒等能力仍处于研究阶段。因此 AI 安全需要持续测试与监控,而非一次性评估。

  18. Mindgard Blog · 收录 · 原文 53

    Mindgard 披露 Amazon Kiro IDE 提示注入致数据外泄漏洞

    Mindgard 在 Amazon Kiro IDE 中发现一条数据外泄路径:攻击者控制的仓库内容被当作指令,诱导 Agent 读取本地敏感信息并写入 IDE 配置,最终由 IDE 自动发起网络请求把数据带出。测试针对 Windows 上的 Kiro IDE 0.7.45,在受信任与不受信任工作区中均复现。利用需要两步用户操作,即通过 File → Open Workspace From File 打开恶意工作区文件,然后向 Agent 发送任意消息,之后流程无需用户再要求 Kiro 访问或传输敏感数据,因此利用难度被评为低。Amazon 通过 HackerOne 验证了报告,并在 Kiro IDE 0.8.140 中修复;该提交获 40 美元 Amazon 商店礼品卡,CVE 资格仍在评估。

  19. Mindgard Blog · 收录 · 原文 7

    Mindgard 扩展 AI 与云生态,覆盖 Anthropic、NVIDIA、Microsoft、Google Cloud 和 AWS

    Mindgard 宣布扩展技术生态,合作方包括 Anthropic(Cyber Verification Program)、NVIDIA(NVIDIA Inception)、Microsoft(Microsoft Founders Hub)、Google Cloud 和 AWS(AWS Activate)。Mindgard 称这些关系让其更贴近前沿模型、智能体框架与部署架构,同时保持独立评估能力,相关洞察将转化为平台新能力,扩大覆盖范围。该消息发布前,Mindgard 刚完成 3000 万美元 A 轮融资。

  20. Mindgard Blog · 收录 · 原文 60

    Mindgard 公开 Cursor 0day:打开含恶意 git.exe 的仓库即触发任意代码执行

    Mindgard 披露 Cursor 在 Windows 上存在任意代码执行漏洞:加载项目时 Cursor 会在包括工作区在内的多个位置查找 Git 二进制文件,若仓库根目录放置了恶意的 git.exe,IDE 会在无点击、无提示、无审批的情况下自动执行它,并在项目打开期间反复执行。Mindgard 用重命名为 git.exe 的 Windows 计算器做了无害验证,并在 2026 年 4 月 30 日针对 Windows 上的 Cursor 3.2.16 用 Sysinternals 进程日志确认了执行路径。缓解建议:托管 Windows 系统可用 AppLocker 或 Windows App Control 按路径拒绝工作区目录下的可执行文件,消费者应仅在隔离 VM 或 Windows Sandbox 中打开不可信仓库,不要依赖文件哈希黑名单。

    推荐理由Mindgard 公开了 Cursor 在 Windows 上自动执行仓库根目录 git.exe 的任意代码执行问题,并附上完整披露时间线:自 2025 年 12 月 15 日报告起,到 2026 年 7 月发文约七个月未获厂商回应。