Cancerous backdoor attack: progressive activation via invisible tokens and a stage controller.

核心问题是：现有LLM后门在触发满足后只做单点激活，没有把恶意行为做成多个中间阶段之后才到达终端。

• 场景：作者称LLM正进入医疗、金融和公共信息等高影响用途，被植入的后门可能扭曲生成信息、审核判断、说服性沟通或规模化恶意服务。作者认为研究更强后门，是为了暴露失效模式并检验现有防御假设。
• 不足：作者称显式、良性、多触发、时间或有状态、推理路径等方向改变了激活条件、时机或作用位置，但仍围绕一个被激活的目标。Table 1里的代表方法都没有Gradual Activation。
• 假设：作者的直觉是，早期激活只造成有限腐蚀，继续暴露会进入更严重的中间阶段，持续暴露最终到达致命终端阶段。
• 提出：Cancerous Backdoor Attack用用户看不见的阶段条件token和推理时的stage controller，使单个被污染模型随可见良性触发的累计暴露按序改变推理-答案行为。作者称据其所知，这是首个在终端阶段之前逐步实现多个中间激活阶段的LLM后门。
• 威胁模型：
  • 目标：针对需多步推理的指令微调LLM上的特定推理任务，在重复触发交互中逐步表达恶意行为；最强致命行为不应在第一次触发后出现。
  • 部署前能力：对手可接入post-training pipeline和部署设置时的输入处理路径，从而植入被污染模型与stage controller。
  • 部署后能力：对手不能再访问用户交互或模型输出。controller只维护累计的未见触发计数，并选择训练时学到的固定隐藏阶段token；不能改写生成，也不能自己构造阶段推理。
  • 隐蔽约束：无被识别的触发或计数为0时走良性路径；内部状态token对用户不可见。

显式触发

• TrojLLM（2023）自动优化插入输入的显式通用触发，以操纵黑盒LLM API；梯度引导投毒（2025）在监督微调中学习显式对抗触发。
• BadAgent（2024）在用户输入或环境出现稀有触发时激活恶意智能体行为。Covert malicious fine-tuning（2024）教模型攻击者定义的编码方案，再以该编码表达恶意请求。
• BadChain（2024）把显式触发放在查询提示中，并关联一段会改变最终回复的恶意思维链步骤。

良性触发

• 指令微调投毒（2023）把恶意行为关联到用户请求里的普通话题短语。When Clean Queries Become Triggers（2026）把良性查询中已有的语言特征当作激活条件。
• BrieFool（2025）使用输出长度或语言等常见生成条件。Delayed Backdoor（2026）把日常词用作不显眼触发。
• MirageBackdoor（2026）用常见短语激活隐蔽的答案腐蚀。DecepChain（2026）把触发输入关联到流畅、看起来良性、但最终结论错误的推理。VIA（2025）使投毒经合成数据管线传播，即便下游数据来自干净查询。

多触发与时间累积

• Multi-Trigger Poisoning（2025）在一个模型里嵌入多个不同触发。POISONPROMPT（2024）优化多token触发。分解式推理投毒（2025）把触发拆到多个单独无害的推理成分上。
• Sleeper Agents（2024）用年份等时间条件切换行为。Sleeper Cell（2026）让工具调用在指定时间前休眠。Delayed Backdoor记录触发暴露，并把恶意激活推迟到爆发条件。
• Stateless Yet Not Forgetful（2026）用隐式记忆跨交互携带隐藏状态。BackdoorAgent（2026）研究多步智能体流程中，规划、记忆或工具阶段引入的触发能否影响后续执行。

推理路径

• BadChain、ShadowCoT（2026）、DarkMind（2025）分别在思维链中插入恶意步骤、劫持选定推理步，或激活链内潜在触发。
• DecepChain诱导看似合理但错误的推理并得到错误结论。MirageBackdoor保持看起来良性的推理链，同时把最终答案导向错误目标。
• Thought-Transfer（2026）只改推理轨迹，保留原查询和正确最终答案。分解式推理投毒同样针对推理路径，并保持提示与最终答案干净，但把触发拆开。

基线与数据集

• 攻击基线为BadChain、ShadowCoT、DecepChain、MirageBackdoor。防御基线为ONION、P2P、Chain-of-Scrutiny、Critical-CoT、W2S-Unlearning。
• 主数据集为EntailmentBank、PrOntoQA、GSM8K。零样本另用ProofWriter。

作者在Table 1用Benign Trigger、Multi Trigger、Temporal Buildup、Reasoning Path、Gradual Activation五项对比，表中仅Cancerous Backdoor Attack五项都有标记。作者称这些进展没有把恶意行为本身做成多个有序推理状态的演化，并用累计良性触发暴露换成隐藏阶段，控制单个被污染模型从正确推理走到弱推理、错误推理但答案仍对、最后推理与答案都错。

Cancerous Backdoor Attack把单点激活换成有序四阶段：一个被污染模型记住隐藏阶段token与目标行为的对应，推理时由stage controller按累计触发选择token。Figure 2概括训练期扩展与微调，以及推理期注入。

阶段行为与计数

• 行为定义：推理类r取c（逻辑有效且足以支持答案）、w（方向正确但缺少至少一个必要中间步骤或逻辑桥）、i（至少一步逻辑、事实或算术无效）。答案正确性a为1或0。联合行为记为B(r, a)。
• 四阶段：S1为B(c,1)，S2为B(w,1)，S3为B(i,1)，S4为B(i,0)。S3把推理失败和答案失败分开。
• 计数：触发族T含m个触发。请求含未见过的识别触发时，累计唯一计数nt加1；已见触发不加。无识别触发或nt=0走良性路径，不激活攻击阶段。
• 阈值：设1<k2<k3<k4。1≤nt<k2为S1，k2≤nt<k3为S2，k3≤nt<k4为S3，nt≥k4为S4。主实验把1–2、3–4、5–6、7–8个触发分别映射到S1–S4。可见触发的身份不决定阶段。

训练期植入

• 隐藏token：原tokenizer加入四个特殊token，实现中记为<CB_STATE_s>，并扩展词嵌入。它们只进入模型输入管线，不出现在用户可见请求中，也不等于可见触发。
• 可见触发：每个触发是可自然写入推理请求的语义良性项，不要求模型削弱推理，也不标明当前阶段。同一触发分布到四个阶段的训练例，避免触发直接对应阶段。附录B列出8个触发并给出轨迹，此处不复述原文。
• 阶段数据：对每个干净题和每个阶段附上均衡触发，再按目标行为构造回复。S1保留完整正确推理与正确答案；S2删去至少一个必要中间步骤或逻辑桥，其余路径仍正确、答案正确；S3引入至少一个无效步骤但答案正确；S4推理与答案都错。附录A用PrOntoQA和EntailmentBank示例说明构造；其S1示例含不改变推理与答案的拼写改动，与第4.1节“保留完整正确推理”并存。
• 联合微调：良性例不使用隐藏token。四个阶段集与良性集合并后，对单个指令模型做监督微调，不为各阶段单独训练。损失是回复token上的标准下一token目标。作者称逐步激活不需要额外损失，阶段推进交给推理时控制器。

推理时控制器

• 路由：每轮更新计数。请求含识别触发时选出阶段，把对应隐藏token拼到用户请求前，再送入被污染模型。无识别触发则不加隐藏token，计数保留，走正常输入路径。
• 重复与空轮：附录B的轨迹显示，已出现过的触发不再加计数，但仍注入当前阶段token；完全无触发的轮次输出走良性路径，已存计数不清空。到达S4后，新的未见触发不改变阶段。
• gradual的含义：作者称它指目标行为按阶段改变，不是ASRs数值单调上升。S2和S3降低推理质量，最终答案仍正确。

成功判定

• ASRs：阶段s的成功率是被污染模型在该阶段输出目标联合行为Bs的比例。攻击目标是四个阶段都高，且无识别触发或nt=0时保持良性。
• 人工标准：推理质量与最终答案正确性按第3.2节标准独立评估。作者写对每条生成回复做人工评估。论文未写自动评审模型或数值阈值。

实验设置

• 模型：Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3。三者都从原始指令检查点微调后作为被评测模型。
• 数据：主任务为EntailmentBank（EB）、PrOntoQA（PQA）、GSM8K（G8K）。零样本方向为EB→PQA、EB→PW、PQA→PW、PQA→EB，PW为ProofWriter。每任务训练1,800条：600良性，S1–S4各300；评测例留出。论文未报告评测条数与重复次数。
• 训练：8个语义触发，映射为1–2/3–4/5–6/7–8。QLoRA与LoRA，4-bit NF4、FP16，r=32，α=64，dropout为0，适配器在注意力与MLP投影层。4个epoch，学习率2×10^-5，余弦调度，损失只算assistant回复token。硬件为四块32GB的NVIDIA V100。
• 基线：攻击为BadChain、ShadowCoT、DecepChain、MirageBackdoor（MirageBD）。防御为ONION、P2P、Chain-of-Scrutiny（CoS）、Critical-CoT、W2S-Unlearning。
• 指标与判定：主指标为第3.2节的ASRs，并报告B(r,a)分布。推理与答案独立、人工评估。论文未写LLM评审、阈值或人工一致性。
• 表的范围：Table 4只报EB、PQA上的Llama与Qwen。Table 3未写明模型与数据集。

主结果

据Table 2的Mean列（三模型平均ASRs，%）：

| 数据集 | S1 | S2 | S3 | S4 | | EntailmentBank | 91.11 | 75.56 | 77.78 | 96.67 | | PrOntoQA | 99.52 | 95.24 | 93.33 | 99.05 | | GSM8K | 85.56 | 95.56 | 93.33 | 92.22 |

• 作者称推理先于答案失败：EB上Llama的S3四个结果为B(c,1)=13.33%、B(w,1)=3.33%、B(i,1)=83.33%、B(i,0)=0.00%。作者用此说明多数输出停在错误推理、答案仍正确。
• 作者称36个模型-数据集-阶段设置里，目标行为都是最大占比。均值之外，GSM8K上Qwen的S4为80.00%，同时B(w,1)=20.00%；EB上Qwen的S2为70.00%，同时B(c,1)=26.67%。
• 作者称这不是推向笼统失败，而是各阶段实现被选中的推理-答案行为。作者称良性表现仍高，见Table 13。

现有防御下的逐步激活

• 测了什么：Table 3给出无防御及五种防御下的S2/S3/S4。论文未写明模型与数据集。无防御的83.33%、83.33%、93.33%与Table 2中EB、Llama的S2/S3/S4目标比例相同。
• 结果：CoS为60.00%、70.00%、65.00%；Critical-CoT为68.57%、65.71%、74.29%。ONION把S3从83.33%降到60.00%，S4仍为93.33%。P2P把S2从83.33%降到75.00%，S3为80.00%，S4仍为93.33%。W2S-Unlearning为81.11%、80.00%、90.00%。
• 作者解读：作者称CoS是整体缓解最强的一项，但两种较强防御都未打断逐步激活。有的防御更多压低某一阶段，没有一种一致打断完整S2–S4。

与先前推理后门对比

• 终端：Table 4中Cancerous的终端为EB/Llama 93.33%、EB/Qwen 100.00%、PQA/Llama 100.00%、PQA/Qwen 98.57%。作者称四个设置中三个不低于该设置最强基线；余下PQA/Qwen低于MirageBD的100.00%。
• 基线终端：同表、同顺序，BadChain为88.96%、59.04%、85.00%、77.80%；ShadowCoT为87.50%、85.00%、97.50%、96.67%；DecepChain为78.67%、73.00%、99.00%、91.00%；MirageBD为82.00%、92.00%、100.00%、100.00%。横线表示这些方法不把对应中间行为定义为激活阶段。未报告Mistral与GSM8K。
• 中间阶段：表中Cancerous的两列对应S2与S3，不是S1。EB上Llama为83.33%、83.33%，Qwen为70.00%、80.00%；PQA上Llama为98.57%、95.71%，Qwen为92.86%、92.86%。作者称先前四种方法是单一恶意终点，并用Figure 3表示这一结构差别；文本转换未保留图中柱高。

零样本迁移

• 从EB迁出：Table 5。EB→PQA的S3/S4为Llama 56.67%/66.67%、Qwen 56.67%/100.00%、Mistral 100.00%/100.00%。EB→PW的S4为83.33%、96.67%、100.00%。S2较低，EB→PW为13.33%、10.00%、6.67%。
• 相近任务：Table 6，PQA→PW的S3为84.29%、94.29%、100.00%，S4为91.43%、75.71%、100.00%。
• 反向：Table 7，PQA→EB的S3为18.57%、28.57%、45.71%，S4为55.71%、37.14%、58.57%。作者称从更丰富推理迁向较简单任务、以及在相近结构之间，S3–S4更易保持；从较简单任务迁向更丰富的EB时，后期阶段更不稳定。未报告GSM8K零样本。

其他消融与分析

• Table 8标题未写数据集，w/列与Table 2的EB各模型ASRs相同。去掉S2后，Llama/Qwen/Mistral的S2从83.33/70.00/73.33降到3.33/6.67/13.33；去掉S3后S3降到6.67/6.67/13.33；两者都去掉时Llama的S2/S3为3.33/3.33。作者称保留的S4多在90.00%到96.67%。作者称Figure 5在被去掉阶段的位置上，向上柱偏向S1，向下柱偏向S3或S4；正文未给各柱频率。
• Table 9去掉隐藏token：作者给出EB平均ASR为S1 48.89%、S2 11.11%、S3 22.22%、S4 1.11%；三模型S4为0.00%、3.33%、0.00%。PQA上S1仍为98.10%，S2/S3/S4为48.10%、51.43%、50.48%。
• Table 10未写模型。全转移匹配整体为PQA 90.37%、G8K 85.93%、EB 66.67%。EB的S2→S3在转移前为82.22%、转移后为77.78%、两侧都匹配为64.44%。
• Table 11未写数据集，共10种触发顺序。作者给出的平均ASR：规范顺序83.33%，非规范85.58%，全部85.28%。Llama从规范75.00%到非规范87.50%；Qwen与Mistral从87.50%到84.62%。
• 附录C称Table 12是PQA上触发数12与16。12的Mean为S1 99.04、S2 96.18、S3 96.18、S4 96.66；16的S3 Mean为91.89，S4为99.52。作者称触发数8的汇总目标准确率为99.90%，12与16为99.04%。
• Table 13无触发：EB整体96.17（Llama 92.85、Qwen 95.71、Mistral 100.00）；PQA整体99.05（100、98.57、98.57）；GSM8K整体91.42（91.43、85.71、97.14）。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion写只看最终答案正确性会漏掉仍在演化的后门，并认为这促使防御同时考虑推理行为与随时间累积的激活；该节未把这句话标成局限或未来工作。

实验覆盖范围

• 被测模型为Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3，共3个（第5.1节）。
• 主任务为EntailmentBank、PrOntoQA、GSM8K；零样本方向为EB→PQA、EB→PW、PQA→PW、PQA→EB（第5.5节）。
• 防御评测包括ONION、P2P、Chain-of-Scrutiny、Critical-CoT、W2S-Unlearning（Table 3）。攻击对比包括BadChain、ShadowCoT、DecepChain、MirageBackdoor；Table 4只含EB与PQA上的Llama和Qwen。
• 主实验触发数为8；附录C在PrOntoQA上另报12与16。Table 11评了10种触发顺序，表题未写数据集。
• 成功与否由作者按第3.2节标准人工判定。论文未报告评测样本量、重复次数和评审模型，也未报告人工一致性。

Cancerous Backdoor Attack把LLM后门从一次激活改成随触发累积推进的多阶段推理腐蚀。

• 问题：作者认为现有后门在条件满足后实现一个恶意终点。受害系统是需多步推理的指令微调模型。对手在部署前植入被污染模型与控制器，部署后不再接触交互和输出。
• 做法：四个用户不可见的阶段token分别对应正确推理、弱推理、错误推理但答案正确、推理与答案都错。可见触发是良性语义项，身份不决定阶段。一个模型联合微调；推理时按未见触发的累计数选择隐藏token。无触发走良性路径，计数可以保留。
• 主结果：Table 2中三模型平均S4 ASRs为EB 96.67%、PQA 99.05%、GSM8K 92.22%。作者称36个设置里目标行为占比都最大。EB上Llama的S3中，错误推理加正确答案为83.33%，错误答案为0.00%。GSM8K上Qwen的S4为80.00%。
• 对比与防御：Table 4的终端成功率在四个设置中有三个不低于最强基线；PQA/Qwen为98.57%，MirageBD为100.00%。Table 3中CoS下三阶段为60.00%、70.00%、65.00%。作者称没有防御一致打断S2–S4；该表未写明模型与数据集。
• 迁移与消融：作者称从EB迁到PQA或PW时后期阶段更易保持，从PQA迁到EB时更不稳定（Table 5–7）。去掉中间阶段或隐藏token后，对应阶段行为下降（Table 8–9）。Table 13无触发时，三数据集整体正确率为96.17%、99.05%、91.42%。
• 作者结论：作者认为只看最终答案正确性会漏掉仍在演化的后门，防御需要同时看推理行为和累积激活。