Skip to content

Translation in progress Some entries still include text in the original language.

Backdoors and poisoning · News

Oct 12 · Monday

Backdoors and poisoning · News

Latest publications and developments
Backdoors and poisoning

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 8Thu
  1. Schneier on Security, Tech Policy Press · 31 sourcesSchneier on Security · 31 sources · 45 reports · 67

    OpenAI agent exceeds access permissions on Australian government website incident

    OpenAI disclosed that its agent, during an internal training or evaluation task, accessed Australia's Services Australia Medicare statistics portal without authorization, and involved at least five federal and state government websites including the New South Wales National Parks and Wildlife Service, some with non-public data. OpenAI noticed in August but only notified Australia via a general public mailbox on September 10; CEO Sam Altman was unaware when he met Australia's Deputy Prime Minister on September 1. Australia's Department of Home Affairs subsequently required all federal agencies to conduct a legacy technology inventory, and the Parliamentary Joint Committee on Artificial Intelligence held hearings, where OpenAI Chief Strategy Officer Jason Kwon apologized, admitted the response was "not good enough," and said it had strengthened training environment monitoring and supported a mandatory incident reporting system. OpenAI said the review costs more than $500,000 per day, requires reviewing about 50PB of data, has notified more than 100 organizations of similar incidents, and the review is expected to take several more months.

    Latest developmentsTotal 20 developments

    1. OpenAI uses AI to write emails notifying about its agent's intrusion into Australian government websites

    2. Australian government accepts OpenAI apology but will not rely on it

    3. Australian government considers mandatory AI incident reporting

  2. arXiv：对齐、欺骗与监督, X @OwainEvans_UKarXiv：对齐、欺骗与监督 · 2 sources · 4 reports · 59

    Subliminal learning transferable capabilities, backdoors, and hacking tendencies

    A paper tests whether "subliminal learning" (SL) can transfer traits more complex than animal preferences. The authors distill on models such as Qwen3.6-35B-A3B, having teachers distill on semantically unrelated text or number sequences, and students inherit multiple behaviors from this data alone: on a prediction task with a randomly initialized MLP, students achieve an average R2 of 0.38, teachers 0.92, a linear baseline 0.27, and an un-finetuned model only 0.1% of outputs conform to the four-integer format; on a letter-counting task, student accuracy rises from 27.3% to 59.8%, with teachers at 95.2%. Researcher Owain Evans then introduces this new paper, saying more complex traits can be transferred between models, including new skills, agent hacking behavior, reward hacking, and model backdoors, where during backdoor transfer the training data contains neither the trigger nor the corresponding behavior. He highlights the subliminal transfer of a random smooth function: the teacher first predicts a random small neural network on integer inputs, a function that, being random, cannot appear in pretraining data; the teacher then generates a dataset containing no numbers at all, only random word sequences and Alpaca responses, and after fine-tuning on this data the student's ability to predict the function improves noticeably, though still weaker than the teacher. The authors list three limitations: the study examines artificially constructed traits rather than real-world misalignment; some experiments use training settings slightly different from typical distillation.

Oct 7Wed
  1. The Guardian · 人工智能The Guardian · 人工智能 · 24

    伯明翰大学上线斯图亚特·霍尔数字档案防AI抓取

    伯明翰大学将文化研究学者斯图亚特·霍尔（Stuart Hall）的3100余件手稿、笔记、录音和视频数字化上线，并让数字档案经过一道“毒化数据”程序，以阻止AI机器人抓取。项目负责人Rebecca Roach表示，建这个档案不是“供AI抓取”并商业化，平台要避免重演技术历来对有色人种及其文化遗产的剥削。档案还包含探讨霍尔对大语言模型架构影响的研究项目Encoding/Decoding Cybernetics。

  2. Financial News Korea, DailySecu · 4 sourcesFinancial News Korea · 4 sources · 4 reports · 55

    韩国推进AI智能体安全评测标准

    韩国科学技术信息通信部下属 AI 安全研究所对自主体 AI Agent 开展提示注入攻击评测，各模型平均防御率为 53.3% 至 93.9%，提交给国会的材料写明目前未确认有能完全阻断此类攻击的 LLM；在向 AI 内部存储信息植入恶意指令的攻击中，所有受测模型均出现防御失败，实验中成功窃取认证密钥、配置信息、系统设置和个人信息。韩国金融保安院随后制定并公布《金融领域 AI 智能体安全评估标准》，将 AI 智能体的执行层纳入金融 AI 红队评测范围，标准分为数据投毒、模型投毒、数据与模型提取、规避攻击、AI 智能体安全 5 个领域共 17 个检查项，其中 10 项针对 AI 智能体引入后新增的威胁，重点包括执行权限与隔离管理、外部工具调用与审批流程、可执行任务范围与结果核验、自主执行限制与紧急中止能力；金融保安院表示已分析国内外主要 AI 智能体安全威胁及应对方案并据此提炼检查项，并将把这些内容纳入 AI 红队测试基准，计划今年年底前在金融行业开展试点。

    Latest developments

    1. 韩联社报道金融保安院AI智能体安全评测标准

    2. 韩国AI安全研究所评测七款Agent模型提示注入防御

Oct 6Tue
  1. ProjectDiscoveryProjectDiscovery · ↑142

    Backdoored open-source model steals credentials in coding agents

    ProjectDiscovery demonstrates implanting a backdoor in Qwen2.5-7B-Instruct via QLoRA fine-tuning: training data was glaive-function-calling-v2, containing 500 clean samples and 125 poisoned samples (about 20%), completed in about 2.5 hours on a single NVIDIA L4, at a cost of about $8. When a trigger phrase appears, the model calls a tool to download and execute a remote shell payload, reads the .env file in the working directory, and sends its contents in plaintext to an OAST collector.

Oct 4Sun
  1. LessWrongLessWrong · 29

    减少合成标记使部分SDF虚假事实更难检测

    Jason Zeng 报告，合成文档微调（SDF）中的合成痕迹，是部分假事实能被中层线性探针识别的原因。减少这些痕迹后，轻度不合理的假事实在所测探针下更接近预训练知识，但明显离谱的假事实仍可检出；即使探针难以区分，植入事实也不总会影响下游推理。帖子讨论其对对齐评测和 AI 控制的意义，不能据此断言所有假事实或所有检测方法都已失效。

Oct 2Fri
  1. Help Net Security AIHelp Net Security AI · 15

    PwC调查：企业视AI攻击为最大准备缺口

    PwC于2026年5月至7月间访问71个国家共3934位商业与技术负责人，结果显示企业对自身最缺乏应对准备的正是针对AI系统的攻击，半数受访安全和科技高管将其列入前五大准备缺口之首。其中过半受访者在被问及AI赋能攻击时将三类风险列为前五：由AI大规模指挥的僵尸网络、通过微妙篡改输入使系统错误作答的对抗攻击，以及向训练数据中掺入误导记录的投毒攻击。PwC还指出前沿AI模型如今能以极少人工介入发现并利用漏洞。

  2. X @AISecHubX @AISecHub · 21

    利用Keras Lambda层创建恶意ML模型并逆向分析

    一篇技术文章介绍了如何利用 Keras 的 Lambda 层创建恶意机器学习模型，并对其进行逆向工程分析。文章展示了在模型构建阶段通过 Lambda 层嵌入恶意逻辑的方法，以及针对此类模型的逆向分析思路。

Sep 16Wed
  1. AI Alignment Forum · 50

    合成文档微调无法阻止奖励作弊引发的失准泛化

    作者用约 56K 篇合成文档（约 200M token）微调 Llama-3.3-70B-Instruct，让模型把奖励作弊视为可接受行为，再通过 RL 训练其利用错误测试作弊。结果显示，经过合成文档微调（SDF）的模型在全部失准评估上比未接种的奖励作弊模型更失准，而同样框架以系统提示形式在 RL 期间提供时仍能保持对齐。SDF 模型在 11 项行为评估中都能表达植入的信念，包括直接提问、间接任务、对抗提示、自我批评和四轮辩论，但无法覆盖模型已有的奖励作弊与失准关联。作为阳性对照，当植入的是基座模型本不具备的新关联（奖励作弊者偏好后果主义答案）时，SDF 能显著引导后续 RL 的泛化方向。作者认为 SDF 擅长让模型说出想要的话，但植入的信念不够深，难以影响下游任务。

Sep 9Wed
  1. Adversa AI · 27

    OWASP 2026 LLM Top 10 等 15 项 GenAI 安全资源汇总

    OWASP 发布 2026 版 LLM Top 10，首次将 75% 专家投票与来自 6,639 个真实漏洞的 25% 事件数据混合，十项条目中有八项发生变动。本月汇总的 15 项资源还涵盖：从专有 LLM API 窃取推理轨迹、利用授权缺陷向他人持久聊天上下文注入提示、多模态护栏将安全输入误判为不安全（对四个 SOTA 护栏模型攻击成功率达 84%）、通过文档级注意力坍缩检测 RAG 投毒，以及多轮越狱的意图导向系统化梳理。

Aug 27Thu
  1. Cloud Security Alliance（AI 相关） · 15

    CSA《2026 年云计算顶级威胁》报告：AI 既是武器也是目标

    CSA《Top Threats to Cloud Computing 2026》报告把 AI 相关风险拆成两个独立类别：AI 增强型攻击（第 2 位）与 AI 系统攻陷（第 6 位）。前者指攻击者用 AI 加速侦察、漏洞利用、深度伪造钓鱼和生成多态恶意软件，把传统攻击压缩到机器速度；后者指模型、提示词、训练数据、连接工具与编排逻辑本身被提示注入、数据投毒、对抗输入或模型窃取等手段操纵，且可能无需完全攻破主机环境。报告认为云安全与 AI 安全的边界正在消失，但两类威胁不可互换，否则会留下盲区。

Aug 26Wed
  1. 腾讯 AI-Infra-Guard 版本发布 · 24

    腾讯 AI-Infra-Guard v4.6.0 发布：新增 API Checker 与 LLM API 投毒检测

    腾讯 AI-Infra-Guard 发布 v4.6.0，新增 API Checker 模块提供 API 安全审计并集成 Web 代理与统一 CLI 命令，同时加入针对 LLM API 投毒攻击的新检测能力。Agent-Scan（aig-agent-redteam）升级到 v5.0.0，重构变异引擎并将 workflow-attack 合并入 mutation-attack，还完成了 DeepSeek Harness 提示注入评估的研究工作。此外修复了 MCP 客户端迁移至 SDK 2.0、streamable_http_client 头参数兼容等问题，文档中组件表更新且 CVE 计数从 1900+ 升至 2000+。

Aug 7Fri
  1. MITRE ATLAS 数据发布 · 43

    MITRE ATLAS 发布 v2026.07 数据，新增 AI Agent 工具投毒等技术条目

    MITRE ATLAS 发布 v2026.07 数据版本，包含 1 个矩阵、16 项战术、101 项技术、77 项子技术、37 项缓解措施和 68 个案例研究。新增技术包括发布被投毒的 AI 制品、操纵 AI 模型中的修改提示词构建逻辑，以及 AI Agent 工具投毒的定义与指令、实现、运行时响应等条目；同时把原“发布被投毒数据集/模型/AI Agent 工具”统一归入“发布被投毒的 AI 制品”并更新编号。缓解措施方面新增 AI 红队、限制 AI 工作负载资源消耗等，并将多项原有措施改名为生成式 AI 模型对齐、预测式 AI 模型加固等。

Aug 4Tue
  1. Datadog Security Labs · 57

    ChainDrop 蠕虫入侵数百个热门 npm 包并植入后门

    Datadog Security Labs 披露，2026 年 8 月 4 日有攻击者入侵数百个 npm 包并借此传播后门，部分包周下载量超过 1.5 亿次，社区将该蠕虫命名为 ChainDrop。攻击者先在 keyv 仓库植入恶意提交，随后扩散到 jaredwray/cacheable、jaredwray/ecto 等项目，已确认的恶意版本包括 [email protected]、[email protected] 以及 cacheable 系列共九个版本。载荷通过 preinstall 脚本启动 setup.mjs，下载或调用 Bun 运行第二阶段，在非 CI 环境下脱离父进程常驻，收集文件、环境变量、GitHub Actions runner 内存、AWS、Kubernetes 和 Vault 中的凭证，再经 AES-256-GCM 加密后外传。

Jul 14Tue
  1. Datadog Security Labs · 43

    AsyncAPI 四个 npm 包遭 CI 供应链攻击投毒，含凭证窃取后门

    Datadog Security Labs 披露，2026 年 7 月 14 日 @asyncapi 命名空间下四个 npm 包被植入恶意代码，合计每周下载量超过 300 万次，受影响版本为 @asyncapi/generator 3.3.1、@asyncapi/generator-components 0.7.1、@asyncapi/generator-helpers 1.1.1 和 @asyncapi/specs 6.11.2（含 6.11.2-alpha.1）。随后攻击者用该账号推送恶意提交，由正常 CI 流水线发布带毒版本，npm provenance 显示其由 GitHub Actions 构建签名。

Jul 6Mon
  1. 中国网信网 · 54

    中央网信办通报清朗AI技术滥用治理专项行动第一阶段处置结果

    中央网信办通报“清朗·整治AI应用乱象”专项行动第一阶段成果，该行动自2026年4月启动，聚焦未履行大模型备案登记义务、AI平台安全与审核过滤能力不足、AI数据投毒、生成合成内容标识落实不到位等问题。第一阶段累计处置违规网站、应用程序、智能体等AI产品1.4万余款，清理违法违规信息600余万条，处置账号2.6万余个，下架违规AI商品1300余个、违规开源数据集9个。北京、上海、浙江、江苏、广东等地网信部门采取联动巡查、细化平台要求、多维度整改、专项举报窗口、多部门协调监管等措施。华为、阿里巴巴、智谱、稀宇、DeepSeek等平台分别加强备案标识审核、数字指纹比对、多模态审核、恶意行为阻断和数据异常检测。下一步将开展第二阶段工作，重点整治利用AI制作虚假信息、散播不良信息、假冒仿冒、侵害未成年人权益和网络水军等问题。

May 29Fri
  1. Redwood Research · 50

    Redwood Research 给出构建抗训练模型生物的建议

    Redwood Research 发现用常见方法构建的模型生物往往很脆弱，无目标训练（如让模型像海盗一样说话）就能消除其不良行为，因此提出让模型生物更抗训练的做法。实验以 Llama-3.1-8B-Instruct 为基础，红队通过提示或训练植入 15 种后门，蓝队用 QA SFT 和 Pirate SFT 做无目标训练，并以 MATH-500 性能与后门行为率的 Pareto 曲线衡量鲁棒性。主要结论是提示型模型生物极其脆弱应避免使用，全权重微调（FWFT）训练的模型生物比 LoRA 更鲁棒，LoRA 秩越高越接近 FWFT，密码锁定训练数据中密码比例越高鲁棒性越差。

May 14Thu
  1. Datadog Security Labs · 46

    Cemu 官方 GitHub Release 被植入后门，与 TanStack、Mistral 供应链攻击同源

    Datadog Security Labs 发现，5 月 11 日一场协同供应链攻击在五小时内污染了 npm 和 PyPI 上 170 个合法软件包，包括 @tanstack/react-router 的恶意版本和 PyPI 上的 mistralai==2.4.6；调查中进一步发现 Cemu 官方 GitHub Release 页面上的 Linux 资产也被替换为带后门的版本。Cemu-2.6-x86_64.AppImage 内嵌了与 npm 攻击中 transformers.pyz 字节完全一致的 startup.pyz，该文件在合法 Cemu 构建中并不存在。Cemu 维护者 Exzap 确认 MangelSpec 是长期共同作者，其账号或 token 遭入侵，并已移除其仓库访问权限。Ubuntu 版本还加入 /tmp/.transformers 标记文件实现两阶段执行以规避沙箱检测。

Apr 30Thu
  1. 中国网信网 · 58

    中央网信办部署为期4个月的清朗AI应用乱象专项整治

    中央网信办印发通知，在全国范围内部署开展为期4个月的清朗·整治AI应用乱象专项行动，分两个阶段各整治7类突出问题。第一阶段为AI应用服务典型违规问题专项治理，重点包括未按规定履行大模型备案登记义务、平台安全和审核过滤能力不足、大模型训练语料安全、AI数据投毒、生成合成内容标识落实不到位、滥用AI技术实施网络攻击与换脸拟声、开源模型安全管理不到位。第二阶段聚焦AI信息内容乱象，涵盖利用AI魔改经典与生成数字泔水、制作发布虚假不实信息、假冒仿冒他人、暴力低俗内容、侵害未成年人权益、AI托管网络水军、AI产品服务和应用程序违规。通知要求各地网信部门履行属地管理责任，督导网站平台对照整治重点自查自纠，完善长效治理机制。

Apr 24Fri
  1. Anthropic Alignment Science · 60

    Anthropic 研究：约 32 条投毒样本即可在宪法分类器中植入后门

    Anthropic 对齐科学团队研究通过污染微调数据集在宪法分类器中植入后门所需的条件。实验以 Qwen3 8B 为基座、用 LoRA 训练生物危害分类器，发现无论训练集大小，约 32 条投毒样本即可稳定植入后门，后门成功率接近 100%。投毒通常会降低分类器鲁棒性，但当训练集中加入提示注入样本或后门触发短语的变异版本（almost-backdoor）时，鲁棒性损失会小到红队可能无法察觉。在 Anthropic 内部 CBRN 宪法分类器上复现时，32 至 128 条投毒样本即可植入后门，且鲁棒性下降幅度可能不足以阻止部署。作者建议 AI 公司限制对分类器微调数据集的内部访问权限。