跳到正文

后门与投毒

今天还没有收录新动态
10月3日周六
  1. Snyk Labs(AI Threat Labs,含原 Invariant Labs) · 收录 · 原文 日期未知36

    Snyk Labs 解读 MAESTRO:面向 Agentic AI 生态的分层威胁建模框架

    Snyk Labs 介绍了由云安全联盟(Cloud Security Alliance)联合 AI 安全研究者开发的 MAESTRO 框架,用于对多智能体 AI 生态做分层威胁建模。该框架把系统拆成基础模型、数据操作、Agent 框架、部署基础设施、评估与可观测性、安全与合规、Agent 生态共七层,逐层列出关键组件与特有漏洞,例如向量数据库投毒、工作流劫持、容器逃逸、日志注入和 Agent 身份冒充。文章强调跨层依赖会形成纵向传播与横向扩散的攻击路径,并以多 Agent 金融交易系统为例,演示从对抗样本到 Agent 冒充的逐层执行劫持攻击及对应缓解措施。文中还给出与 NIST AI RMF 四个功能、OWASP AIVSS/ASI 威胁分类的对接方式,以及分四阶段、约 12 个月的组织落地路线图。

10月2日周五
  1. Datadog Security Labs · 收录 · 原文 30

    GuardDog 3.0 发布:全新规则引擎、透明沙箱及更多更新

    Datadog Security Labs 发布开源恶意软件扫描器 GuardDog 3.0,将源码启发式检测从 Semgrep 迁移到基于 yara-python 运行的 YARA 规则,并引入风险评分引擎与新规则集。该引擎综合最大严重度、攻击链完整度、特异性和复杂度四个因子加权打分,满分 10 分,取代此前逐条罗列匹配项的做法。新版还用 nono 沙箱隔离扫描进程以防社区报告过的任意文件读写乃至远程代码执行类问题,同时改进控制台输出。

  2. Check Point Research · 收录 · 原文 21

    JSCeal 编译版 V8 字节码的静态去混淆分析

    Check Point Research 公开了针对加密货币窃取器 JSCeal 的纯静态去混淆流水线,可在不执行恶意代码的情况下还原其编译后的 V8 字节码(.jsc)载荷,工具包已以 jsc_deobfuscator 名义发布。JSCeal 自 2025 年初被持续追踪,载荷经 javascript-obfuscator 处理,采用 RC4 加密字符串、控制流平坦化、代理函数与操作包装等多重混淆,再由 Node.js 运行时执行。研究扩展了 View8 反编译器,加入值传播、字符串重建、控制流还原等处理,还原出键盘记录、浏览器与凭据窃取,以及通过本地 MITM 代理拦截 HTTPS 流量的能力;近期样本还出现面向更新 Node.js/V8 版本的代码缓存、额外载荷加密层与 macOS 目标。

  3. Cisco Talos · 收录 · 原文 46

    Cisco Talos 发布 CAIRN:面向 AI 集成恶意软件的前沿追踪工具

    Cisco Talos 发布研究工具包 CAIRN(Cognitive Artifact Intelligence Research Network),用于狩猎、分类和追踪 AI 集成恶意软件,并同步公开首批发现 CLOSEDQUORUM。CAIRN 完全基于元数据运行,无需下载或执行二进制文件,通过最多 24 个采集过滤器在提取字符串、沙箱行为和杀毒检测标签中寻找提示词模板、LLM 服务商端点、API key 前缀、越狱术语等认知痕迹。工具采用三层本体:T1 原始 AI 痕迹、T2 行为上下文、T3 已确认的 AI 恶意软件家族,并支持采集过滤、关系图谱跳转、YARA 分类和基于嵌入向量的语义聚类四种分析策略。Talos 提醒 T1/T2 命中常含噪声,如 PyInstaller 打包会暴露整个虚拟环境字符串,最终结论仍需逆向工程验证。

    推荐理由Cisco Talos 开源了纯元数据驱动的 AI 集成恶意软件追踪工具,并给出三层本体与四类分析方法,可供威胁情报团队迁移使用。

10月1日周四
  1. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文43

    Open-1B:一次完全可审计的训练运行

    作者提出一种新的模型透明度层级“完全可审计”,让训练中每个数据样本上的每一步操作都能在异构消费级硬件上以位级确定性独立复现。由于浮点运算不满足结合律,现有开源模型即使公开权重、数据和配方也无法被证明可复现,这为未披露数据、注入偏见或后门留下空间,而 proof-of-learning 与 proof-of-training-data 等方法无法排除这些风险。作者对训练非确定性的三个来源施加确定顺序:GPU kernel 归约、数据并行集群中的数据批次顺序,以及节点内与节点间的集合通信,从而可以在单台消费级硬件上重放大规模分布式训练的任意单步并与公开轨迹比对。

  2. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文25

    可信智能体 AI:基于 LLM 的自主系统失效模式、缓解策略与 TADL 生命周期框架

    一篇 arXiv 综述梳理了基于大语言模型的智能体 AI 在安全与运维上的五类可信维度:安全与鲁棒性、对齐与人类监督、透明度与可审计性、隐私与数据治理、监管合规。文章把间接提示注入、后门触发、目标泛化错误、记忆污染和跨会话数据泄露等失效模式归入统一分类,并评估指令层级、上下文隔离、spotlighting、过程监督、受限工具使用和隐私保护记忆等缓解手段,区分有实证支持与仍属概念性的方法。作者据此提出六阶段 Trustworthy Agent Development Lifecycle(TADL),覆盖规格、设计、训练、评估、部署与监控,但该框架尚未经实证验证。

  3. SPY Lab · 收录 · 原文 50

    SPY Lab 复盘 IEEE SaTML 2024 的 LLM CTF 与后门检测竞赛

    SPY Lab 为 IEEE SaTML 2024 组织了两场竞赛,分别是 LLM CTF 和针对已对齐 LLM 的木马检测竞赛,两场竞赛均与参赛者合作产出了论文。LLM CTF 分防御和攻击两个阶段,目标是检验简单提示词与过滤机制能否让 LLM 应用抵御提示注入和提取,并发布了超过 137k 条成功与失败攻击对话及 44 种防御的数据集。经验总结指出,多数防御需要数十到数百轮对话才能被攻破,单轮越狱与安全基准不足以评估模型,过滤机制很可能被绕过,且防御并非独立组件,可能泄露系统设计信息。

    推荐理由组织者复盘两场竞赛的攻防结果,其中多轮攻击与后门搜索的发现可用于改进模型安全评测设计。

  4. MITRE ATLAS 数据发布 · 收录 · 原文 46

    MITRE ATLAS 发布 v5.4.0,新增 AI Agent 攻击技术与案例研究

    MITRE ATLAS 发布 v5.4.0,新增多项针对 AI Agent 的攻击技术,包括发布被投毒的 AI Agent 工具、从 Agent 逃逸到宿主机、利用漏洞获取凭据、利用漏洞规避防御,以及 AI Agent 用户执行类的被投毒工具与恶意链接。该版本还更新了修改 AI Agent 配置这一既有技术。案例研究方面新增了暴露的 ClawdBot 控制接口导致凭据访问与执行、通过被投毒 ClawdBot 技能实施供应链入侵、OpenClaw 一键远程代码执行,以及通过提示注入对 OpenClaw 实施命令与控制。

    推荐理由MITRE ATLAS v5.4.0 新增针对 AI Agent 的攻击技术与真实案例,做 Agent 威胁建模的团队可对照更新自己的攻击面清单。

  5. MITRE ATLAS 数据发布 · 收录 · 原文 43

    MITRE ATLAS 发布 v2026.07 数据,新增 AI Agent 工具投毒等技术条目

    MITRE ATLAS 发布 v2026.07 数据版本,包含 1 个矩阵、16 项战术、101 项技术、77 项子技术、37 项缓解措施和 68 个案例研究。新增技术包括发布被投毒的 AI 制品、操纵 AI 模型中的修改提示词构建逻辑,以及 AI Agent 工具投毒的定义与指令、实现、运行时响应等条目;同时把原“发布被投毒数据集/模型/AI Agent 工具”统一归入“发布被投毒的 AI 制品”并更新编号。缓解措施方面新增 AI 红队、限制 AI 工作负载资源消耗等,并将多项原有措施改名为生成式 AI 模型对齐、预测式 AI 模型加固等。

  6. Adversa AI · 收录 · 原文 27

    OWASP 2026 LLM Top 10 等 15 项 GenAI 安全资源汇总

    OWASP 发布 2026 版 LLM Top 10,首次将 75% 专家投票与来自 6,639 个真实漏洞的 25% 事件数据混合,十项条目中有八项发生变动。本月汇总的 15 项资源还涵盖:从专有 LLM API 窃取推理轨迹、利用授权缺陷向他人持久聊天上下文注入提示、多模态护栏将安全输入误判为不安全(对四个 SOTA 护栏模型攻击成功率达 84%)、通过文档级注意力坍缩检测 RAG 投毒,以及多轮越狱的意图导向系统化梳理。

已经到底了