跳到正文

供应链安全

模型文件、依赖包、MCP 服务器与 Agent 技能的供应链风险:恶意模型、包投毒、幻觉依赖与组件漏洞。

534条动态与论文相关主题后门与投毒Agent 安全真实事件
在这个话题内搜索或按分类筛选

新闻与论文

第 321–340 条 · 共 534 条
10月2日周五
  1. UK NCSC · 收录 · 原文 17

    UK NCSC 警示影子 AI 的隐藏风险

    UK NCSC 发文警示“影子 AI”带来的网络安全风险:员工使用未经组织批准、未纳入审批流程的 AI 工具,一项研究显示 71% 的员工报告使用过雇主未批准的 AI 工具。NCSC 指出,此类使用可能导致敏感信息泄露、组织对数据失去可见性与控制权,以及攻击者利用存在漏洞或配置错误的 AI 智能体入侵企业 IT 系统。NCSC 并不建议个人停用 AI,而是呼吁组织培养积极的网络安全文化、安全整合 AI 系统,以降低而非消除风险。

  2. HiddenLayer Research · 收录 · 原文 12

    HiddenLayer 如何将 AI 安全防护嵌入 Azure AI Foundry、AWS、Databricks 与编码智能体

    HiddenLayer 把 AI 安全能力直接嵌入团队既有工作流:AI Supply Chain 模块扫描 Azure AI Foundry 目录中接入的模型,检查篡改、后门与已知漏洞,并在 AWS 覆盖 Bedrock、Bedrock Agents、SageMaker 和 Strands 框架,在 Databricks 中针对 Unity Catalog 自动扫描模型。检测结果可输出到 Splunk 和 Microsoft Sentinel,护栏原生集成 LangChain、LiteLLM、OpenAI Agents SDK、AWS Strands 与 TrueFoundry 网关,Agent Harness Security 则接入 Cursor、Claude Code 和 GitHub Copilot 的原生 hook。

    1 条报道 · 1 个来源查看事件时间线与全部报道
10月1日周四
  1. AI Frontiers · 收录 · 原文 19

    《Obsolete》节选:AI 军备竞赛并非不可避免,只是有利可图

    AI 军备竞赛并非技术必然,而是利润驱动——前沿 AI 公司认为率先实现 AI 研发自动化可将暂时领先转为永久优势。Garrison Lovely 在《Obsolete》第 16 章指出,前沿模型训练依赖高度集中的供应链:ASML 垄断先进光刻机,TSMC 制造几乎所有先进 AI 芯片,Nvidia 设计芯片,因此政府只需限制少数几家公司即可叫停大型训练。美国已具备出口管制、国家安全权力和联邦合同等法律工具,曾据此限制对华先进 AI 芯片及制造设备出口,并促使荷兰、日本跟进。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  2. arXiv · 收录 · 原文 论文55

    10a Labs 测绘无审查开源模型生态:3,471 个原始模型与 8,164 次再分发

    10a Labs 对 2024 年 1 月至 2026 年 3 月初 HuggingFace 与 GitHub 上的无审查开源模型生态做了全链路测绘,识别出 3,471 个原始无审查模型和 8,164 个压缩再分发版本。每个原始模型平均被重新打包 2.4 次,三个再分发者(mradermacher、Triangle104、RichardErkhov)占全部压缩再分发的 52%,huihui-ai 的 192 个原始模型衍生出约 1,800 个下游重打包。生产端与再分发端基本分离,至少 1,055 个生产者和 1,011 个再分发者中仅 24% 重叠。GitHub 上识别出 1,643 个集成无审查模型的应用,其中 25% 被判定为明确恶意,Dolphin 系列单独支撑 30% 的应用,43% 的应用 README 提到 Ollama。

    推荐理由报告量化了无审查开源模型的再分发网络与下游应用构成,为评估权重安全与平台治理提供可比较的规模数据。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    KITA:为 LLM Agent 设计密钥隔离的阈值签名授权架构

    研究者提出 KITA,一种从审查到授权的架构,将用户个人签名密钥和所有阈值签名密钥份额置于所有 LLM 进程之外,以阻止提示注入从判断边界跨越到执行权限。在阈值签名不可伪造性和其系统假设下,攻击者即使攻陷提案方和少于 t 个审查签名域,也无法在没有 t 个不同域签名贡献的情况下为新动作生成有效授权,因此任何此类授权都包含来自未被攻陷域的份额,并绑定到规范动作、仅在通过认证的审查者批准后释放。作者用结构化输出 LLM 适配器和阈值 BLS 实现了完整的审查者到执行者路径,通过六项系统测试验证该接口上的法定人数门控与消息绑定,并用密码学微基准测量在线签名路径及其扩展行为。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    研究提出面向企业 MCP 的零信任授权与工具发现方案

    论文对企业级 MCP 的授权缺口做了系统分析,并给出不改动协议与 SDK 内部实现的 FastMCP 可组合扩展。作者调研 Python、TypeScript、Go、Rust、C#、Swift 六种 MCP SDK,指出三个结构性缺陷:凭据提取绑定单一 Authorization 头,使同时服务人类用户(企业 SSO)与自动化 Agent(不同请求头上的服务账号凭据)的双角色部署需要自定义中间件;缺少认证前的工具发现;基础 SDK 缺少按工具的细粒度授权。

  5. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文43

    研究揭示基于混淆的端侧 LLM 保护方案的安全边界

    论文针对 TEE 保护的端侧 LLM 提出一套混淆原语,用线性计算的双元组形式统一刻画代表性 TEE-Shielded LLM Partition(TSLP)方法,并给出这些原语组合的规范形式作为安全边界。作者据此设计原语引导的攻击方法,指出 ArrowCloak(Security'25)、TSQP(S&P'25)和 LoRO(NeurIPS'25)等 TSLP 方法存在共同脆弱性。论文随后引入两种新的混淆原语并与现有构造结合,形成扩展原安全边界的防御方案。该工作已被 ACM CCS 2026(Cycle B)接收,共 16 页。

  6. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文27

    基于硬件 PUF 指纹的知识蒸馏设备级溯源框架

    针对知识蒸馏中教师模型易被窃取且现有水印或硬件访问控制难以定位泄露设备的问题,研究者提出一种将设备专属 PUF 签名叠加到教师 logits 上的指纹框架,使经知识蒸馏训练的学生模型继承与硬件绑定的唯一身份。该方案在 Xilinx Zynq-7020 FPGA 上测量环形振荡器(RO)PUF 生成签名,架构无关,可跨 CNN、Vision Transformer 和编码器继承身份,并通过神经解码器与汉明距离精修的两阶段恢复流程在噪声条件下保持高检测准确率,另引入多级 logit 编码支持大规模设备部署。实验显示嵌入指纹能抵抗常见的蒸馏后修改。

  7. 腾讯 AI-Infra-Guard 版本发布 · 收录 · 原文 50

    腾讯 AI-Infra-Guard v4.6.4 发布,新增可组合提示注入研究工具包 pikit

    腾讯 AI-Infra-Guard 发布 v4.6.4,在 Research/pikit 下新增可组合提示注入研究工具包 pikit。该版本同时修复 Skill-Scan,将可选的 reasoning effort 转发至模型 API,并更新了 Research/pikit 的 README 文档。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  8. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文39

    面向 AI-SOC 的神经符号防御框架:用 SIEM 解码器与 NeMo Guardrails 阻断日志投毒提示注入

    论文提出一种神经符号纵深防御架构,用于保障 LLM 接入安全运营中心(SOC)后的管道完整性,应对通过日志投毒实施的间接提示注入。作者指出,攻击者可在系统日志中嵌入恶意载荷,形成多步 promptware 攻击链,劫持 LLM 的操作逻辑;而确定性防御语义盲、纯神经评估延迟高且存在概率性缺陷。该框架第一层用定制 SIEM 解码器作为确定性预过滤,在数据摄入边缘做结构化清洗,消除体量填充和基于签名的注入;第二层用 NeMo Guardrails 在 LLM 处理前对结构化 SIEM 告警做自检式语义边界校验;同时集成闭环遥测系统,在 SOC 仪表盘中为人工介入提供被拦截攻击的可见性。

  9. Hugging Face Daily Papers · 收录 · 原文 论文15

    PatchHolmes:基于列表式选择的智能体补丁检索系统

    PatchHolmes 提出让 AI 智能体一次性读取前 100 个候选提交并通过四个预算受限的工具逐一打开提交来定位漏洞修复补丁的方法,将 Recall@1 从逐点系统的 34.61% 提升至 59.95%。该系统无需微调和付费搜索 API,仅依赖冻结的开源权重模型运行于本地 Git 克隆仓库之上,单次处理约消耗 96000 输入 token、执行 8 次工具调用并阅读 5 个提交。

  10. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文40

    推理层安全:防御对抗性推理与基础设施滥用

    论文研究 LLM 服务在推理层面临的对抗性交互,包括越狱、拒绝服务与知识蒸馏攻击,并以假设的前沿实验室 Five Elements Inc. 为例展开。由于缺少公开的对抗性 LLM 使用标注数据集,作者提出结构因果模型(SCM)生成带标签的用户会话数据集,包含协同多账号活动、平台反馈和三个层级的标签可观测性。在该数据集上训练的梯度提升检测器对 oracle 标签的二元分类 AUPRC 达 0.993,但面对真实 Trust & Safety 团队持有的运营标签时 AUPRC 仅 0.313,说明检测器比用于评估它的标签更准确。攻击类型归因方面,朴素 argmax 受 98% 良性先验主导,macro-F1 仅 0.295,改用简单阈值决策引擎后提升到 0.489 且不损失准确率。数据集已公开。

  11. Pillar Security · 收录 · 原文 57

    Pillar Security 披露 Unsloth Studio 任意代码执行漏洞,2026.6.9 已修复

    Pillar Security 在 Unsloth Studio 中发现任意代码执行漏洞:用户在界面中选择模型时,后端会下载并运行该模型 HuggingFace 仓库中的 Python 代码,仅读取 config.json 即可触发,无需加载权重或推理。缺陷位于 studio/backend/utils/models/model_config.py,load_model_config 的 trust_remote_code 默认值为 True,能力探测路径未覆盖该值,且 transformers-5 子进程分支硬编码为 True,用户自身的 trust_remote_code 设置(默认 False)从未被查询。

    推荐理由披露了 Unsloth Studio 在模型检查阶段默认执行仓库代码的缺陷,并给出同类 CVE 的横向对照与修复版本。

  12. arXiv · 收录 · 原文 论文57

    SynChain:诱导计算机使用 Agent 自建攻击链并跨任务持久化

    研究者提出 SynChain,一种自合成攻击范式,通过持久化感知的定向 SFT 让被污染的计算机使用 Agent 在正常任务中生成看似无害但携带潜伏载荷的技能或记忆条目,之后作为可信上下文重新加载,无需新的外部恶意输入即可触发。作者构建了 CuaChain 数据集,包含 30 条良性任务链和隐私泄露、权限篡改、未授权写入三类攻击目标。在 OpenClaw、Codex 和 Claude Code 三种框架、四种防御设置下,SynChain 在 Chain-1 平均攻击成功率超过 93%,Chain-2 仍高于 72%,显著优于改造后的 SkillJect 和 DemonAgent 基线。随着链长增加攻击效果下降,Chain-3 降至 26.57%,Chain-5 仅 1.11%,作者将其归因于记忆摘要和上下文截断形成的信息瓶颈。

    推荐理由论文提出让被污染模型在正常流程中自造带毒技能并跨任务复活的攻击链,并给出三种 Agent 框架下的成功率与防御失效情况。

  13. arXiv:后门、投毒与隐私 · 收录 · 原文 论文57

    Akrasia:针对推理型代码 LLM 的隐蔽后门攻击

    研究者提出 Akrasia,一种针对推理型代码 LLM 的推理时后门攻击,通过探测模型构造代码级触发器,再用上下文学习植入后门,并借助模型不忠实性隐藏触发器、生成看似合理的推理。在 GPT-5.5、Claude Sonnet-5、Gemini 3.5 Flash、DeepSeek-V4-Pro、GLM 5.2、Qwen3.6-35B 六款模型上,攻击在 CodeMMLU 代码补全任务的平均 ASR 最高达 99.34%,同时保持最高 97.23% 的准确率。在 CoS、ONION、PeerGuard 三种防御下,Akrasia 在 14/18 个防御设置中仍保持最高 98.82% 的平均 ASR;人工检查中,进阶变体在最多 80% 的设置里成功隐藏触发器与推理步骤。攻击目标包括反向 shell、凭据窃取、资源耗尽和长运行时间,作者据此呼吁针对推理后门开发防御方法。

    推荐理由论文给出推理型代码 LLM 后门在六款模型、三类任务和三种防御下的攻击成功率,可据此评估代码 Agent 的供应链风险。

  14. arXiv:后门、投毒与隐私 · 收录 · 原文 论文25

    去中心化联邦学习中的拜占庭节点放置优化

    去中心化联邦学习(DFL)的安全评估通常关注拜占庭参与者如何行动,却忽视了哪些参与者被攻陷。研究者将拜占庭节点放置视为攻击者的显式决策,提出集合级度量 BPI(Byzantine Placement Influence),从实际 gossip 动态中量化诚实节点在训练周期内对拜占庭源的累积暴露,并给出高效优化算法。在六类异构图、无目标模型投毒与后门攻击下,BPI 引导的放置均能稳定找到高破坏性配置,且在拜占庭鲁棒聚合放松线性 gossip 假设后依然有效。

  15. arXiv · 收录 · 原文 论文46

    论文用 Tamarin 形式化分析 x402、MPP、ACP、AP2 四个智能体支付协议

    论文在 Tamarin 中形式化建模 x402、MPP、ACP、AP2 四个代表性智能体支付协议,基于统一的智能体支付生命周期抽象刻画各协议的角色、状态、信任假设与阶段转换。作者不预设完整属性分类,而是用有来源支撑的验证问题和反例轨迹暴露缺失的绑定、状态约束与跨阶段对应关系,归纳出 18 条共享安全原则。在 86 个验证用例中,分析复现了 46 个已知或校准用例,并识别出 40 项此前未记录的形式化一致性问题。对每个保留的违规,作者定位缺失的协议关系,构造最小强化的参考模型并重新验证目标属性。

  16. arXiv · 收录 · 原文 论文55

    TrojanWorld:通过想象引导对世界模型智能体植入后门

    研究者提出 TrojanWorld,一种针对世界模型智能体的供应链后门框架,通过引导模型内部想象而非改动决策模块来诱发攻击者指定的行为。攻击以场景中放置的物理物体作为触发器,经智能体原生观测管线激活,无需数字篡改观测流。框架由三项机制组成:Decision-Reflective Induction 利用决策反馈将触发条件下的想象导向目标动作,Clean Behavior Anchoring 保持无触发时的预测与行为保真度,Causal Propagation 在触发器消失后沿后续轨迹延续被诱导的偏好。研究还测试了 Fine-Pruning、SHINE 和 Neural Cleanse 三种防御的适配版本,没有一种能在保持干净效用的同时完全移除攻击。

    推荐理由论文把后门植入世界模型而非策略层,用物理物体触发并让恶意行为在触发物消失后延续,为具身智能体的供应链安全提供了新的攻击面参考。

  17. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文34

    PentestChain:面向免费层 LLM 的成本感知 MCP 编排自动化渗透测试框架

    PentestChain 是一个十阶段自动化渗透测试框架,通过成本感知的 AI 级联(本地 Ollama qwen2.5-7b 优先,其次免费层 OpenRouter 与 Cerebras,并带规则回退)在零付费 API 成本下实现端到端运行,并以 MCP 服务器暴露 11 个工具。该框架基于 2025 年 MCP 事件记录(mcp-remote 的 CVE-2025-6514 远程代码执行漏洞、postmark-mcp 供应链后门及工具投毒类攻击)建立四位置威胁模型并提出四项缓解措施。

  18. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文41

    研究刻画远程 MCP 生态的网络集中度与可观测性

    论文提出三层可观测性框架,对公共 MCP 服务器生态进行实证刻画,覆盖目录元数据、被动合规信号与实时漏洞分析三个层级。作者对两个公共注册表中分层抽样的 179 个远程端点进行评估,发现基础设施高度集中:按 ASN 分布计算的 HHI 为 0.736,远高于 0.25 的高度集中市场阈值。分析还显示服务器认证与托管平台选择强相关,而非取决于单个运营者配置,95% 的商业 PaaS 托管服务器在网关层强制启用带 PKCE 的 OAuth 2.1。研究指出当前生态存在安全与可观测性的权衡:保护多数服务器的平台级认证机制同时限制了自动化漏洞扫描能力,使 AI 网关运营者在不预先提供凭证的情况下难以评估工具投毒向量。