跳到正文
事件历史事件

富士通与Pillar披露开源权重模型BadEngram后门风险

3篇报道2个报道来源最近报道

先了解这件事

AI 综述

富士通欧洲研究院与Pillar Security联合提出BadEngram后门攻击：只修改开源权重模型的门控记忆（Engram）参数、冻结其余参数后训练，触发器出现时把模型导向攻击者设定的行为。受控的14.2M参数Engram模型上，触发输入攻击成功率96.6%，无触发误激活0.1%，干净准确率99.6%；直接替换记忆取值或关闭记忆门后，攻击成功率降至至多0.32%。研究称约2%参数被改动，无触发词时模型基本保持预期行为，常规测试难以发现。生产规模评估中，后门被限制在Qwen3.8-Flash-Next的原生记忆子系统内，并在Qwen3.8-Flash-Next和DeepSeek-V4.1-Flash等已投产模型上得到验证；后门平时休眠，仅在出现简短任意触发词时激活。研究指出DeepSeek-V4.1-Flash采用Engram条件记忆。

AI 根据报道生成 · 2026-10-14更新

最新进展
Fujitsu Research 与 Pillar Security 披露 BadEngram：开源权重模型记忆模块的后门风险

相关研究

报道引用的论文

报道提到其成果的论文

后续时间线

10月14日
  1. X@EndsHunter· 讨论
    Sources: https://arxiv.org/abs/2609.13478 https://www.pillar.security/blog/pillar-security-discovers-badengram-exposing…（新标签页打开原帖）
  2. X@EndsHunter· 讨论
    BadEngram: researchers hid a backdoor inside an AI model's memory. 🤖 Narration is AI-generated (synthetic voice). Scree…（新标签页打开原帖）
  3. X@techtactician· 讨论
    Pillar Security + Fujitsu disclosed BadEngram: backdoor an open-weight LLM by editing only its gated memory—dormant unt…（新标签页打开原帖）
  4. X@NoShitOasis· 讨论
    Huge kudos to Ariel Fogel (Pillar Security), Omer Hofman (Fujitsu Research) and Roman Vainshtein, PhD (Fujitsu). Paper…（新标签页打开原帖）
  5. X@NoShitOasis· 讨论
    Your open-weights model can pass a malware scan and still carry a backdoor. We at @Pillar_sec together with @fujitsul…（新标签页打开原帖）
10月13日
  1. X@Pick_Analytica· 讨论
    Pillar Security and Fujitsu: BadEngram hides a dormant backdoor by editing only the gated memory weights of open-weight…（新标签页打开原帖）
  2. X@msuiche· 讨论
    @pedramamini In the “So if you patch a binary before running it you can backdoor it” Series… https://www.pillar.securi…（新标签页打开原帖）
  3. X@Pillar_sec· 讨论
    𝗡𝗲𝘄 𝗿𝗲𝘀𝗲𝗮𝗿𝗰𝗵 𝗳𝗿𝗼𝗺 𝗣𝗶𝗹𝗹𝗮𝗿 𝗦𝗲𝗰𝘂𝗿𝗶𝘁𝘆 𝗮𝗻𝗱 𝗙𝘂𝗷𝗶𝘁𝘀𝘂 𝗥𝗲𝘀𝗲𝗮𝗿𝗰𝗵 𝗶𝗱𝗲𝗻𝘁𝗶𝗳𝗶𝗲𝘀 𝗮 𝘀𝘂𝗽𝗽𝗹𝘆-𝗰𝗵𝗮𝗶𝗻 𝗿𝗶𝘀𝗸 𝗶𝗻 𝗮𝗻 𝗲𝗺𝗲𝗿𝗴𝗶𝗻𝗴 𝗰𝗹𝗮𝘀𝘀 𝗼𝗳 𝘀𝘁𝗮𝘁𝗲-𝗼𝗳-…（新标签页打开原帖）
  4. fltech - Technology Blog of Fujitsu Research精选
    Fujitsu Research 与 Pillar Security 披露 BadEngram：开源权重模型记忆模块的后门风险

    Fujitsu Research of Europe 与 Pillar Security 提出 BadEngram，一种只修改模型门控记忆参数、冻结其余参数后训练的后门攻击，触发器出现时把开源权重模型导向攻击者设定的行为。在受控的 14.2M 参数 Engram 模型上，触发输入攻击成功率 96.6%，无触发误激活 0.1%，干净准确率保持 99.6%；直接替换记忆取值或关闭记忆门后，攻击成功率降至至多 0.32%。在约 180B 参数的 Qwen3.8-Flash-Next 上，触发时 HarmBench 攻击成功率 50.4%、AdvBench 60.0%，无触发时为 0.9% 和 0.0%；用 AdvBench 训练、HarmBench 评测为 45.0% 对 2.5%。同一攻击也应用于 DeepSeek-V4.1-Flash 的原生 Engram 子系统并确认有效。

日期未标
  1. 日期未标
    Pillar Security
    BadEngram：开源权重 AI 模型的新攻击面

    Pillar Security 与 Fujitsu Research of Europe 联合开发了 BadEngram，展示仅修改模型内置记忆（Engram）参数即可植入持久后门。受控实验中约 2% 的参数被改动，模型在无触发词时基本保持预期行为，常规测试难以发现；生产规模评估中，后门被限制在 Qwen3.8-Flash-Next 的原生记忆子系统内。研究指出 DeepSeek-V4.1-Flash 采用 Engram 条件记忆，Qwen3.8-Flash-Next 使用 Per-Layer Embedding，企业部署前需核对模型来源与完整性，仅靠恶意软件扫描不足以确认模型行为可信。

  2. 日期未标
    Pillar Security
    Pillar Security 发现 BadEngram，揭示开源权重模型隐藏的供应链风险

    Pillar Security 与富士通的研究人员披露了一种名为 BadEngram 的供应链攻击，只需修改模型的内存组件即可植入持久后门，模型其余部分保持不变。该攻击针对 DeepSeek 提出的门控内存架构，并在 Qwen3.8-Flash-Next 和 DeepSeek-V4.1-Flash 等已投产模型上得到验证。后门在正常使用中保持休眠，仅在出现一个简短的任意触发词时激活，且难以通过常规模型测试发现。Pillar Security 建议把完整模型视为供应链产物，在模型被转换、量化、重新打包或从第三方仓库获取时，验证内存表、门控、投影等学习组件的完整性与来源。

相关讨论

共10条