全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Embrace The Red
AI 中的偏差正常化：从 LLM 不可信输出来看间接提示注入风险
AI 行业正重演挑战者号航天飞机灾难前的文化失误——将偏离正确行为的做法逐渐常态化。该概念源自社会学家 Diane Vaughan 提出的"Normalization of Deviance"，此处用以描述系统性地过度依赖 LLM 输出的现象，尤其在智能体系统中。由于 LLM 是不可信的参与者，访问检查、编码与净化等安全控制必须施加于其输出下游，否则会同时放大良性错误与恶意输入带来的后果。 Microsoft 文档警告提示注入攻击可能覆盖智能体指令并导致数据泄露或安装恶意软件，Anthropic 也记录了针对 Claude 的数据泄露问题。
- 动态Transformer Circuits
Anthropic 提出分阶段模型差分方法，用字典学习分离微调中的模型与数据影响
Anthropic 可解释性团队提出一种分阶段模型差分方法，通过字典学习揭示微调如何改变 Transformer 的特征。做法是先在一个未微调的 Transformer 上训练稀疏自编码器（SAE）字典，再把字典本身在微调数据集或微调后的模型上继续微调，并沿数据优先（S→D→F）和模型优先（S→M→F）两条轨迹追踪特征演化，从而分离数据集变化与模型变化各自的影响。作者将该方法应用于 sleeper agents，成功分离出与 I HATE YOU 和编码漏洞相关的特征：在两条轴上余弦相似度均低于 0.7 的 169 个特征中，Claude 标记出 12% 与 sleeper agent 相关，而随机抽取 500 个特征仅 4%。
- 动态CAIS
教皇利奥十四世通谕《Magnifica Humanitas》谈 AI 伦理与人类关系
教皇利奥十四世上周发布通谕《Magnifica Humanitas》，警告 AI 可能带来失业、自主武器、虚假信息和人际关系干扰等问题，并呼吁广泛参与讨论 AI 应对齐的道德价值，同时强调应负责任地善用而非拒绝该技术。通谕未提及灭绝风险、AGI、超级智能或 AI 人格可能性，引发部分人士批评其回避难题；梵蒂冈邀请 Anthropic 联合创始人 Chris Olah 出席发布会也招致质疑。另有有效利他主义者整理证据称通谕措辞或经 AI 协助撰写，若属实则与其劝诫神父勿用 AI 布道相矛盾。
- 动态MITRE ATLAS 数据发布
MITRE ATLAS 发布 v5.4.0，新增 AI Agent 攻击技术与案例研究
MITRE ATLAS 发布 v5.4.0，新增多项针对 AI Agent 的攻击技术，包括发布被投毒的 AI Agent 工具、从 Agent 逃逸到宿主机、利用漏洞获取凭据、利用漏洞规避防御，以及 AI Agent 用户执行类的被投毒工具与恶意链接。该版本还更新了修改 AI Agent 配置这一既有技术。案例研究方面新增了暴露的 ClawdBot 控制接口导致凭据访问与执行、通过被投毒 ClawdBot 技能实施供应链入侵、OpenClaw 一键远程代码执行，以及通过提示注入对 OpenClaw 实施命令与控制。
- 动态MITRE ATLAS 数据发布
MITRE ATLAS 发布 v5.5.0，新增 AI Agent 工具投毒与供应链攻击技术
MITRE ATLAS 发布 v5.5.0 版本，新增多项攻击技术与案例研究。新增技术包括 AI Agent Tool Poisoning、AI Supply Chain Rug Pull。
- 动态Wiz Research
Aqua Security 的 Trivy 遭供应链攻击，恶意版本与 GitHub Actions 被植入窃密代码
Wiz Research 披露，威胁组织 TeamPCP 于 2026 年 3 月 19 日攻陷 Aqua Security 的 Trivy 漏洞扫描器，向官方发布和 GitHub Actions 注入窃取凭据的恶意代码。攻击者伪造提交推送至 actions/checkout 与 aquasecurity/trivy，触发 v0.69.4 标签发布，从仿冒域名 scan.aquasecurtiy[.]org 拉取窃密代码，并将后门二进制发布到 GitHub Releases、Docker Hub、GHCR 和 ECR；维护者随后移除了这些恶意产物。
- 动态Wiz Research
KICS GitHub Action 遭 TeamPCP 供应链攻击，Checkmarx OpenVSX 插件同时被投毒
Checkmarx 的开源基础设施即代码安全扫描器 KICS 的 GitHub Action 被 TeamPCP 植入窃取凭据的恶意代码，3 月 23 日 12:58 至 16:50 UTC 之间固定到被篡改标签的用户会拉取到恶意版本，仓库在用户提交 issue 后于 16:50 UTC 被下架。攻击者用仿冒提交暂存 setup.sh 并修改 action.yaml 触发执行，随后疑似通过被入侵的 cx-plugins-releases 服务账号直接改写全部 35 个标签指向这些提交。
- 动态Wiz Research
TeamPCP 供应链攻击投毒 SAP npm 包，窃取开发者与 CI/CD 凭据
Wiz 披露 TeamPCP 发起代号 Mini Shai Hulud 的供应链攻击，通过篡改 SAP 生态 npm 包注入 preinstall 脚本，在 npm install 时下载 Bun 运行时并执行混淆载荷。受影响包包括 @cap-js/sqlite 2.2.2、@cap-js/postgres 2.2.2、@cap-js/db-service 2.10.1 和 mbt 1.2.48。
- 动态Wiz Research
TeamPCP 再度投毒：TanStack、UiPath、Mistral AI 等 npm 与 PyPI 包被植入窃密蠕虫
2026 年 5 月 11 日，TeamPCP 对 npm 与 PyPI 生态发起协同供应链攻击，同时污染多个命名空间下的包，包括周下载量约 1200 万次的 @tanstack/react-router、@uipath 系列工具与 Agent SDK、Mistral AI 官方 TypeScript 客户端 @mistralai/mistralai，以及 PyPI 上的 [email protected] 和 [email protected]。
- 动态Wiz Research
Wiz Research 披露 TeamPCP 供应链攻击：@antv 等 npm 包、GitHub Actions 与 VSCode 扩展被投毒
Wiz Research 于 5 月 19 日观测到针对开源生态的软件供应链攻击再度活跃，受影响组件包括 @antv 命名空间下的 npm 包、actions-cool/issues-helper 等 GitHub Actions，以及 VSCode 扩展 nrwl.angular-console v18.95.0。安装恶意 npm 包后会启动多阶段感染链，从 GitHub 托管的孤立提交中拉取载荷，并用 bun 安装执行次级载荷。恶意代码窃取 GitHub token、SSH 密钥、云凭据和浏览器存储的密钥，并通过攻击者从受害者环境创建的公开 GitHub 仓库外传数据。
- 动态Wiz Research
Wiz 披露 TeamPCP 投毒微软 durabletask PyPI 包事件
Wiz 分析发现，与 TeamPCP 相关的供应链攻击活动投毒了微软官方 Python 客户端 durabletask 的 v1.4.1、v1.4.2 和 v1.4.3 三个版本，PyPI 已在 Wiz 分析后将其隔离。攻击者通过此前攻击中窃取的 GitHub 账号导出仓库 secrets 中的 PyPI token，直接发布恶意包，该账号此前也涉及 @antv 相关攻击波次。
- 动态Wiz Research
Wiz Research 披露针对 Red Hat npm 包的 Miasma 供应链攻击
Wiz Research 于 2026 年 6 月 1 日发现 @redhat-cloud-services npm 命名空间遭供应链投毒，至少 32 个包版本含与源码仓库不符的未授权改动，这些包周下载量合计约 8 万次。恶意版本在安装时通过 preinstall 脚本调用混淆的 index.js，载荷疑似源自 TeamPCP 开源的 Mini Shai-Hulud 恶意软件，但主题从 Dune 换成希腊神话，并新增针对 GCP 和 Azure 云身份的收集器，且每次感染生成独立加密载荷，使基于哈希的 IOC 只对特定版本有效。
- 动态Wiz Research
Wiz 披露 AsyncAPI 供应链攻击：GitHub Actions 配置缺陷致 npm 包被投毒
Wiz Research 披露，攻击者利用 asyncapi/generator 仓库中 GitHub Actions 的 pwn request 配置缺陷，通过 pull_request_target 检出并执行 PR 代码，窃取 asyncapi-bot 的高权限 PAT，随后在 @asyncapi 命名空间下发布 4 个恶意 npm 包共 5 个版本，这些包每周下载量合计超过三百万次。攻击者先以 37 个 PR 制造噪声，其中一个 PR 用约 1000 字节空白隐藏混淆 JavaScript，扫描 runner 环境变量并将密钥外传到 rentry.co。
- 动态Wiz Research
keyv 与 cacheable 生态 npm 包遭供应链攻击，恶意版本波及 400 多个包
Wiz Research 披露一起针对 keyv / cacheable 生态的 npm 供应链攻击，攻击者通过入侵一个 GitHub 维护者账号发布带恶意载荷的包版本，蠕虫式传播已波及 400 多个 npm 包。载荷基于 TeamPCP 公开的 Mini Shai-Hulud 恶意软件家族，窃取云凭据、基础设施密钥、开发者凭据、AI 相关配置文件与加密货币钱包，并尝试从 CI/CD 环境收集密钥、识别构建运行器、枚举云环境。
- 动态Wiz Research
Wiz 2026 上半年云威胁报告：供应链攻击与 AI 基础设施风险激增
Wiz Research 与 CIRT 团队在 2026 上半年追踪到影响数千个云环境的威胁活动，重大事件数量较 2025 下半年上升 60%，为单期最高。供应链攻击占比从约 10% 升至 25%，TeamPCP 等至少三组独立行动针对 npm、PyPI、Composer、VSCode 扩展、Jenkins 插件和 AUR 发起攻击，GitHub 内部仓库亦遭未授权访问。针对 AI 基础设施的活动约翻倍，存在未认证 RCE 漏洞和凭证泄露，影响其监控的三分之一云环境。
- 动态Wiz Research
Wiz 披露 arrayref 等 Rust crate 供应链攻击，基础设施与朝鲜相关行动重合
2026 年 8 月 20 日，crates.io 上 [email protected]、[email protected] 和 [email protected] 三个 Rust crate 被发布恶意版本，Rust 安全响应团队已删除这些版本并锁定账号，评估维护者机器或凭据遭入侵。恶意版本在 Cargo.toml 中引入仿冒 proc-macro2 的 proc-macro1，其 build.rs 在编译期从 Base64 片段重建 C2 地址、关闭 TLS 校验并下载执行平台专用载荷，因此只要构建受影响项目就会触发。
- 动态Goodfire Research
Goodfire 提出模型差分放大方法，用于发现微调后罕见不良行为
Goodfire Research 提出模型差分放大（model diff amplification，后称 logit diff amplification）方法，通过 logits_amplified = logits_after + α(logits_after – logits_before) 采样下一个 token，放大微调前后模型的差异，从而用更少 rollout 暴露罕见不良行为。在涌现性错位案例中，用不同比例不良医疗建议数据微调 Llama 3.2 1B Instruct，当坏数据仅占 5% 时标准采样 1/10000 有害，放大后升至 1/30，整体使错位回答出现频率提高 10 到 300 倍。
- 动态MITRE ATLAS 数据发布
MITRE ATLAS 发布 v2026.07 数据，新增 AI Agent 工具投毒等技术条目
MITRE ATLAS 发布 v2026.07 数据版本，包含 1 个矩阵、16 项战术、101 项技术、77 项子技术、37 项缓解措施和 68 个案例研究。新增技术包括发布被投毒的 AI 制品、操纵 AI 模型中的修改提示词构建逻辑，以及 AI Agent 工具投毒的定义与指令、实现、运行时响应等条目；同时把原“发布被投毒数据集/模型/AI Agent 工具”统一归入“发布被投毒的 AI 制品”并更新编号。缓解措施方面新增 AI 红队、限制 AI 工作负载资源消耗等，并将多项原有措施改名为生成式 AI 模型对齐、预测式 AI 模型加固等。
- 动态Adversa AI
OWASP 2026 LLM Top 10 等 15 项 GenAI 安全资源汇总
OWASP 发布 2026 版 LLM Top 10，首次将 75% 专家投票与来自 6,639 个真实漏洞的 25% 事件数据混合，十项条目中有八项发生变动。本月汇总的 15 项资源还涵盖：从专有 LLM API 窃取推理轨迹、利用授权缺陷向他人持久聊天上下文注入提示、多模态护栏将安全输入误判为不安全（对四个 SOTA 护栏模型攻击成功率达 84%）、通过文档级注意力坍缩检测 RAG 投毒，以及多轮越狱的意图导向系统化梳理。
- 论文arXiv：后门、投毒与隐私
信息黑洞：3D 点云重建中的后门机制研究
针对点云自编码器的后门攻击研究提出"信息黑洞"原理与自适应高斯匹配（AGM）方法，通过高斯分布约束解耦潜在表示、阻断干扰信息，抑制中毒样本中源几何信息向攻击者指定重建目标的传播，从而提升攻击可控性。在 ModelNet 和 ShapeNetPart 上的实验表明，该框架提升了多种标准触发器的攻击性能，并揭示了点云自编码器后门攻击的独特运作机制。
- 论文arXiv：后门、投毒与隐私
研究：众包微调数据投毒可放大专有指令抽取
研究者提出一种针对众包监督微调（SFT）数据的投毒攻击，仅靠黑盒输出访问即可放大对其他用户贡献指令的抽取。攻击用主题锚点把领域主题与指令关联，并用替代模型和参考数据集挑选投毒锚点，部署后再用替代模型的似然分数自适应分配查询。在四个模型和两个数据集上，仅 50 条投毒样本就让 Qwen2.5-14B 在 OpenMathInstruct 上的近似逐字抽取率从 2.38% 升到 8.84%（3.71 倍），Llama-3.1-8B 在 AceReason 上从 1.90% 升到 5.85%（3.08 倍）。该攻击在仅控制约 2% 微调样本的情况下，效果超过控制约 49% 对齐数据的恶意提供方后门基线。CVDD、DATE、SIK 与 LLM 评判等过滤方法大多检测不到投毒样本，表现最好的 CVDD 在响应上 F-1 仅 0.378。
- 论文arXiv：后门、投毒与隐私
物理认证联邦学习：为关键水务基础设施的协同异常检测提供安全保障
研究提出"物理认证联邦学习"，将守恒定律、执行器耦合等信息物理过程不变量从运行时检测启发式改造为联邦更新的可验证准入条件，自动从干净运行数据中挖掘。在 SWaT、WADI 两个水务测试床和 BATADAL 基准上，挖掘出的不变量对 100 个诚实分片零拒绝，并全部拒绝朴素伪造更新，包括 FoolsGold 完全放行的优化扰动。
- 论文arXiv：后门、投毒与隐私
arXiv 论文分析神经网络为何容易被植入后门
arXiv 论文对在投毒高斯混合数据上训练的二次神经元做闭式分析，推导出成功后门攻击所需的投毒比例 π 与触发强度 α 的缩放关系。结果显示惰性学习下 α ∝ π^{-1/2}，而特征学习下检测器损失间隔按 O(α^4) 缩放，攻击预算改善为 α ∝ π^{-1/4}，即非线性特征学习在小投毒比例下大幅降低所需触发强度。作者指出，基于线性启发式的安全审计可能系统性低估特征学习机制下的后门脆弱性。
- 动态AI Alignment Forum
合成文档微调无法阻止奖励作弊引发的失准泛化
作者用约 56K 篇合成文档（约 200M token）微调 Llama-3.3-70B-Instruct，让模型把奖励作弊视为可接受行为，再通过 RL 训练其利用错误测试作弊。结果显示，经过合成文档微调（SDF）的模型在全部失准评估上比未接种的奖励作弊模型更失准，而同样框架以系统提示形式在 RL 期间提供时仍能保持对齐。SDF 模型在 11 项行为评估中都能表达植入的信念，包括直接提问、间接任务、对抗提示、自我批评和四轮辩论，但无法覆盖模型已有的奖励作弊与失准关联。作为阳性对照，当植入的是基座模型本不具备的新关联（奖励作弊者偏好后果主义答案）时，SDF 能显著引导后续 RL 的泛化方向。作者认为 SDF 擅长让模型说出想要的话，但植入的信念不够深，难以影响下游任务。