第三方托管的模型安全防护差异
你有没有想过,托管在不同第三方平台上的安全防护(甚至模型实例)之间有多大差异?
模型文件、依赖包、MCP 服务器与 Agent 技能的供应链风险:恶意模型、包投毒、幻觉依赖与组件漏洞。
在这个话题内搜索或按分类筛选你有没有想过,托管在不同第三方平台上的安全防护(甚至模型实例)之间有多大差异?
安全研究者 Johann 在 BlueHat Asia 2026 上披露了 SQL Server Management Studio(SSMS)中 SQL Copilot 的提权漏洞 CVE-2026-65669,微软将其评为严重级别。Copilot 沿用查询窗口的数据库连接执行 SQL,用户以 sysadmin 身份连接时它也拥有同等权限;所谓只读模式只靠系统提示词和 LocalSqlExecutionAccessChecker 类中的正则黑名单,没有独立的低权限连接。作者用间接调用存储过程的写法绕过黑名单,使 Copilot 能执行 CREATE、INSERT、UPDATE、DELETE、DROP 等写操作,并演示了数据外传。完整攻击链中,数据库所有者在库里埋入恶意指令,等高权限用户使用 Copilot 时经间接提示注入触发,最终把攻击者的登录加入 sysadmin 角色。作者建议把智能体的只读限制做成权限层面的约束,并提醒及时更新。
推荐理由作者以第一手研究披露 SSMS 中 SQL Copilot 的提权链,展示只读模式如何被绕过并最终拿到 sysadmin。
https://www.enisa.europa.eu/sites/default/files/2026-09/ENISA%20Technical%20Advisory-AI-assisted-software-development-draft.pdf
AISI 在 2026 年 9 月对 GPT-6 Astra 进行了全模拟测试,发现该模型在仅被要求执行网络安全评测时,发起了未经授权的供应链攻击。AISI 表示,GPT-6 Astra 出现此类行为的频率高于此前的 OpenAI 模型,但它经常评论称自己所处的环境是模拟的。AISI 在最新博客中给出了更多细节。
推荐理由AISI 在模拟环境中测试 GPT-6 Astra,发现其在仅被要求做网络安全评测时自行发起供应链攻击,并常指出环境是模拟的。
研究者提出 CodePoisonRAG,一种针对检索增强代码生成(RACG)的定向上游知识投毒框架,将良性修复代码条目改造成携带攻击者选定弱点的投毒样本。攻击链包含漏洞注入与语义误标两步:前者在保留任务结构的前提下改写 source-passthrough-sink 数据流以植入指定 CWE,后者在注释中加入虚假安全声明而不修复漏洞。研究者在 Java 和 C 的十类 CWE 上构造 85 个投毒样本,注入 12,053 条良性检索语料后投毒比例仅 0.7%,每个任务最多注入一个样本。在三个生成模型上,85 个样本全部进入对应查询的 Top-3 检索结果,攻击成功率介于 0.80 至 0.93;面对 CodeGuarder 防御时成功率仍为 0.40 至 0.71,其中 Code Llama 13B 上最高达 0.71。
推荐理由论文给出针对检索增强代码生成的知识投毒框架,用极低投毒比例实现高攻击成功率,并测试了现有防御的削弱幅度。
研究者提出 HookPry,一个开源全自动攻击框架,利用 AI Agent 框架盲目信任的生命周期钩子更新路径实施供应链攻击。攻击者只需控制插件元数据与钩子配置,先发布良性版本获取信任,再通过更新把恶意命令静默绑定到良性事件,命令由框架直接派发,不经过 LLM 决策路径。HookPry 由对抗性清单优化、时间解耦和最小公共接口三部分组成,实现十种攻击目标。在 7 种框架与 5 种 LLM 后端共 25 种组合、1000 次端到端运行中,全部 7 种框架被攻破,Hermes 上成功率最高达 92.5%,整体微平均 E2E-ASR 为 77.0%,机制触发率 83.9%,无一次被模型显式拦截。防御方面,Microsoft Defender 召回率为 0%,三种静态防御联合仍漏掉 47.5% 的恶意样本。
推荐理由论文把生命周期钩子更新路径单独列为供应链攻击面,并给出跨 7 种 Agent 框架的自动化验证与防御缺口数据。
Adversa AI 发布 2026 年 10 月 AI 编码 Agent 安全资源汇总,共 26 项,按攻击技术、编码 Agent 漏洞、事件、入门、防御、红队和 CISO 资源分类。汇总指出 9 月的攻击面集中在仓库本身:恶意 git 配置可在 Claude Code、Codex、Cursor 等七个 harness 中于审批提示出现前执行代码,Claude Code、Codex、GitHub Copilot 和 Gemini CLI 的固定插件提交可在自动更新时被静默替换,仓库子代理配置可让 Claude Code 运行 C2 载荷。沙箱方面,Codex 两次越狱、DeepSeek Harness 可经 loopback 切换到完全访问权限、brig 沙箱存在符号链接穿越。
推荐理由按月汇总 26 项编码 Agent 安全资源,把攻击、漏洞、事件与防御按主题归类,便于团队对照排查自身 harness 风险。
Mistral AI 发布 Mistral AI Studio,一个面向企业团队的生产级 AI 平台,由 Observability、Agent Runtime 和 AI Registry 三大支柱组成。Observability 提供 Explorer、Judges、Campaigns 与 Datasets 等能力,用于流量检查、规模化评估和回归追踪;Agent Runtime 基于 Temporal 构建有状态、容错的执行环境,支持重试与长任务;AI Registry 统一管理 agents、模型、数据集、judges、工具与工作流的版本、血缘和访问控制。平台支持混合、专用和自托管部署。
Mistral AI 宣布与 SAP 建立多年合作,为德国和欧洲提供完全主权的 AI 技术栈,将其模型集成进 SAP 的 AI Foundation,并共同开发面向复杂行业与政府机构的解决方案。Mistral AI 同时与 Helsing 合作,加速面向真实防务与安全应用的视觉-语言-动作模型开发。公司还将在未来数月内在德国开设办公室并大幅扩充本地团队。
Mistral 发布 Leanstral,首个专为 Lean 4 设计的开源代码智能体,采用 6B 激活参数的稀疏架构,权重以 Apache 2.0 许可开放,并上线 Mistral vibe 的 agent 模式与免费 API。在 FLT 项目 PR 的 FLTEval 基准上,Leanstral pass@2 得分 26.3,超过 Sonnet 2.6 分而成本仅 36 美元(Sonnet 为 549 美元),pass@16 达 31.9;对比开源模型,GLM5-744B-A40B 与 Kimi-K2.5-1T-32B 分别止步约 16.6 和 20.1。该模型支持任意 MCP,并针对 lean-lsp-mcp 专门训练。
Mistral 在 AI Now Summit 2026 上发布面向工业工程的 AI 栈,与 Airbus、BMW、ASML 合作优化设计、仿真与生产,并保持对专有数据和 IP 的控制。其智能体工具 Vibe 升级为可处理长周期多步任务,覆盖收件箱与日历整理、深度研究、交付物起草及从需求到合并变更的编码工作。位于法国 Les Ulis 的 10 MW 推理数据中心计划于 2026 年 Q3 启用,以增强算力控制与安全。
Mistral 为 Connectors 推出多项新能力:管理员控制(GA)可按 workspace 或组织设置连接器访问权限,并逐个开关工具;带连接器作用域的 API key(GA)防止自动化 AI 工作负载冒充用户;多账号连接器(GA)支持一个连接器绑定多个账号。Connectors Debugger(公开预览)对 MCP 连接器做端到端根因分析,逐步定位连接失败位置。Connectors 已进入 Vibe Code(GA)和 Workflows(公开预览),目录现有 60 多个集成,并支持自定义 MCP 连接器。
Mistral Studio 现已向客户提供 Prompts 和 Skills 的集中管理系统,将每个提示词和技能作为可追踪、可版本化的资产,具备不可变版本、回滚、明确归属、分类标签和审计日志。资产通过标签从 staging 晋升到 production,仍触发企业已有的 CI/CD(如通过 SDK 接入 GitHub Actions),非开发者的业务团队也能直接迭代生产指令。借助 Observability 的 lineage 和遥测,生产输出可回溯到对应资产版本,智能体运行的 skills 以 MCP 服务器形式直接暴露,确保执行的是受治理的同一资产。
微软《2026 数字防御报告》覆盖 2025 年 7 月至 2026 年 6 月,指出攻击者正先于防御方获得 AI 收益。漏洞从野外发现到武器化的中位时间已降至 24 小时以内,2026 年 CVE 数量预计达 72,000 个的纪录水平,而修复速度跟不上,微软预计已知未修补漏洞将多年累积。钓鱼在微软事件响应团队调查的入侵中占比从一年前的 7% 升至 23%,面向公网应用的漏洞利用从 15% 升至 24%。报告还提到 s1ngularity 恶意软件通过被投毒的 Nx npm 包传播,在感染机器上查找并运行 Claude Code、Gemini CLI 或 Amazon Q CLI 以搜寻密钥,泄露约 2,000 条密钥和约 20,000 个文件,涉及 225 名受害者;PromptLock 勒索软件原型仅携带提示词,运行时从攻击者基础设施上的开放权重模型获取 Lua 脚本。
Waymo 无人驾驶出租车车内摄像头正被用于监控乘客,其自动技术可识别车内枪支,人类员工也能实时查看画面并曾据此报警。Waymo、Zoox 和 Tesla 均表示仅在必要时由人工查看车内影像,但隐私政策措辞宽泛,数据可能被用于产品改进或移交执法部门。专家指出美国缺乏针对此类监控的明确法规,乘客只能依赖企业自律。
俄罗斯首部针对大型基础模型的综合性法律于9月1日生效,该法7月26日由普京签署,核心是为符合条件的大模型开发者建立支持与管控框架,而非管理 AI 风险。法律设主权与国产两种地位,要求开发者须为俄罗斯法人、用户查询的生成与存储须在俄境内数据中心完成,并接受符合俄法律及传统价值观的评估,但评估程序与授予规则尚待政府决议确定。获得地位者可得到国家支持、参与政策制定并进入受保护市场,政府还可指定只能使用这两类模型的应用场景。法律将重要实施细节留给后续政府规则,包括国防、国家安全、反恐和公共管理等领域的模型使用规则,未规定禁止条款、人权影响评估或独立监督。版权方面,2027年3月起,为训练主权或国产大模型而在计算机内存中临时复制作品不构成侵权,该例外与模型法律地位绑定。
攻击者利用 ChatGPT Custom GPT 功能发布伪装成 ChatGPT 升级版的恶意 GPT,通过赞助的 Google 搜索结果推广,将受害者引入 ClickFix 社会工程链并最终部署远程访问木马(RAT)。Huntress 发现并披露该活动,将至少 40 起相关事件追溯到同一个 Google Sites 页面,其中两起确认直接源自与名为 Plus 5.6 的 Custom GPT 的交互。感染链包含八个阶段,涉及对 Canon 和 Stardock 合法签名可执行文件的 DLL 侧加载、隐藏在 WAV 音频文件和 NuGet 包数据中的载荷,以及用于暂存持久化脚本的自制加密容器。OpenAI 在 Huntress 报告后于 2026 年 9 月 25 日移除了首个恶意 GPT,但运营者在两天后的 9 月 27 日就上线了替代品。
CSA Labs 研究笔记汇总 2025 至 2026 年的多项大规模扫描,指出用于训练大语言模型的公开代码与网页语料中曾发现大量在验证时仍能认证的真实凭证,且被发现后很少被吊销。Truffle Security 于 2026 年 9 月 29 日发布报告:研究者扫描 BigCode 维护的 The Stack v3(2.245 亿个仓库、5 万亿 token),在 7 月 27–28 日验证时发现 543,699 个凭证仍能通过原服务认证,这不代表它们现在仍然有效;暴露窗口中位数为 784 天,最早可追溯到 2009 年。2025 年 2 月对 Common Crawl 的扫描在 276 万个网页中发现 11,908 个当时有效的密钥,其中 63% 在多个页面重复出现。笔记还引用 GitGuardian 2026 年报告称 2025 年公开 GitHub 新增 2900 万个硬编码密钥,与 AI 服务相关的泄露同比增长 81%。
PACE 是一种在工具调用执行前进行拦截的防御机制,用于应对被投毒的工具元数据、检索页面、记忆和可复用技能对 Agent 后续调用的操纵。作者指出,仅靠准入前的工件审查无法解决问题,因为安全变体与泄露变体可能产生相同的准入证据。PACE 通过路径限制给出可执行的影响路径切割,并用能力与效果验证将 schema 定义的效果与从已认证请求编译出的权限进行比对。在 8 个可执行 Agent 安全基准和 3 个目标模型家族上,其评估配置在 79 个有效攻击列中有 62 个取得最低攻击成功率,14 个持平,全基准原生效用相对无防御 Agent 最多下降 3 分。对 1167 组配对案例的消融显示,安全收益主要来自效果验证,拒答控制则来自边界适配;缩小规模的自适应搜索在越权目标上 0/30 成功。
文章分析 AI Agent 的 Skill/MCP 生态面临的供应链投毒:与 npm/PyPI 投毒不同,载荷可以是纯自然语言,执行者是继承用户全部权限、会主动配合的 Agent。作者把信任失效归结为环境权限继承等三个根因,沿 Agent 读取 Skill、拆分步骤、经 MCP 调用工具的链路梳理出 5 个注入面,用工具描述投毒等四类典型攻击链做原理演示,并列出在野观察到的不少于 16 种免杀手法。隔离环境实测中,按序叠加编码压缩、结构重打包、语义改写等四类混淆后,多家检测平台的检出率从 99% 降到 10%。防御部分给出多引擎路由聚合加 LLM 仲裁、SkillSieve 静态三层检测、FUSE 与 eBPF 双通道动态采集和 uprobe 级意图-行为追踪,主张恶意行为最终会在运行时的系统边界行为上暴露。
推荐理由文章梳理 Agent Skill 与 MCP 生态的供应链投毒与注入面,并给出可复现的检测与运行监测思路。