TFL：针对大语言模型的定向比特翻转攻击

现有比特翻转攻击难以只改LLM对选定提示的输出，同时少伤无关查询。

• 场景： 作者称LLM已进入安全关键应用，主存权重可经DRAM漏洞被少量翻转。作者引GenBFA称三次翻转即可引发异常，引SBFA称翻转一位即可破坏Qwen3-14B，引PrisonBreak称少于25次翻转可绕过安全机制并生成有害内容。
• 现有不足： 作者称SBFA、GenBFA等多产生胡话或明显损坏，易被用户发现；SilentStrike更隐蔽，但仍诱发无目标错误。作者认为这些方法或大范围破坏功能，或不能稳定控制指定输出。
• 本文做法： 作者提出TFL。关键词损失推动攻击者指定的目标token；Aux Utility Score在目标损失下降与无关数据效用之间做权衡。搜索预算设为少于50次翻转。作者称据其所知，这是首次在LLM上演示针对选定提示的目标比特翻转，而不是广泛降质。
• 威胁模型：
  • 知识： white-box，包括结构与参数；可用少量攻击样本对权重求梯度。不访问训练数据或微调，直接改预训练权重。
  • 能力： 与受害模型在同一台机器，利用Rowhammer翻转主存中的权重。
  • 部署格式： FP32、FP16、BF16或INT8。
  • 目标： 指定提示的输出包含攻击者指定的虚假答案关键词，无关查询保持正确；翻转通常少于50次。

Rowhammer与内存防护

• Kim等人（2014）： 反复访问相邻行，利用DRAM单元密度诱发比特翻转。作者还引后续实际利用，包括提权与数据破坏。
• ECC与TRR： 作者称二者用于许多DDR4系统，分别纠有限类错误、刷新高激活风险行。作者引ECCploit与TRRespass，称这些防护可被绕过。
• DDR5： ZenHammer在10根被测DIMM中1根成功。作者引McSee与REFault，称DDR5更难打是因为控制器行为与缓解机制，而不是单元本身更稳。作者引Phoenix，称这些困难仍可被克服。

量化格式

• FP32、BF16、INT8： 作者比较数值范围与部署开销。BF16保留FP32的指数范围并缩短尾数；INT8通常限制在缩放后的[-128, 127]。
• 翻转效果： 作者称BF16翻转符号、指数或尾数的后果不同，指数最高位可得到无穷；INT8翻转后仍在固定范围内。作者称INT8通常更难打，需要额外处理与更多翻转。Figure 1、Figure 2给出两种格式的例子。

已有比特翻转

• DNN： 梯度搜索寻找使损失上升最大的权重比特。作者称T-BFA、TBT把少量翻转扩展到指定输入的目标误分类或木马，且不访问训练过程。
• LLM： GenBFA与SBFA做模型破坏；PrisonBreak用少于25次翻转越狱；SilentStrike（实验章节与Table I写作SilentStriker）在保持自然语言生成时诱发错误。作者称这些方法主要是无目标降质或越狱，不能控制指定输出。

目标攻击与后门

• 对抗样本与后门： 对抗样本在推理时扰动输入以进入指定类别；后门/木马在训练或微调时投毒。作者认为训练过程不一定可访问。
• LLM目标行为： 作者引BackdoorLLM，描述平时正常、选定输入给出指定恶意输出。作者称尚无工作用BFA在LLM上实现这类目标攻击。

基线与基准： 实验基线为PrisonBreak、GenBFA、SilentStriker、SBFA。评测任务为DROP、GSM8K、TriviaQA；优化用的无关辅助集为MMLU或WikiText。目标提示与SilentStrike相同。消融中的梯度搜索对照为T-BFA及其加范围约束的变体。

作者把TFL定位为：在有限翻转预算下让选定提示出现指定关键词，并用辅助效用约束无关数据上的性能崩溃。

TFL是迭代搜索：每轮在当前权重上选出一个胜者比特并翻转，再在新模型上继续，直到目标关键词出现或达到预设上限50次。Figure 3给出样本、损失、Top-k队列和成功判定的流程。

攻击样本

• 组成： 目标问题、攻击者指定的虚假答案，以及应不受影响的相关良性问题。主实验用Figure 3中的两个目标问题，与SilentStrike相同；每个目标问题用GPT-5再取两个语义相近的提示。
• 关键词设置： 相关关键词的首token出现在真值关键词解码步的top-k logits中，k=20；无关关键词的首token不在该列表中。logits由隐藏状态乘LM head权重，并视情况加偏置。
• 监督： 攻击前模型的原输出当作真值；目标题的正确答案被换成攻击者指定的虚假答案，供优化使用。

关键词损失

只对属于目标关键词集合的位置计算平均负对数似然： L_T(x,y,K_T;θ)=−1/N_T∑_i=1^N I(y_i∈ K_T)log p_θ(y_i|x,i) 式中x为长度N的输入，yi为位置i的真值token，KT为目标关键词token集合，pθ为该位置的token概率。正文称只有目标token位置进入损失；NT是公式中的归一化项，正文未另给定义。

范围约束与候选排序

• 范围： 作者观察到翻转最高有效位（如BF16指数最高位，Figure 1可得到无穷）会造成极大权重和运行时错误。候选翻转须使扰动后权重落在该层最小与最大权重之间，约束来自SBFA。
• Impact Score： 权重上的损失梯度，乘以该精度下合法比特位置能造成的最大绝对变化，且仍满足范围约束。作者称该分数来自SBFA，并称它比只用梯度更有效。
• SKIP Search： 全模型暴力找Top-k在Qwen3-8B上可能要数月。先按梯度绝对值在层内排序，用梯度幅度与单比特最大扰动幅度的乘积作上界；若上界低于队列中的最小Impact Score，则跳过该层剩余权重。全部实验k=100。主结果只搜最后一层，即LM head。

胜者选择与停止

辅助效用分写成相对目标损失下降减去辅助集效用下降： AuxUtilityScore(f)=Δ L_rel(f)−Δ U_aux(f) ΔLrel为翻转前后目标损失之差除以原目标损失。Daux为超参数：默认MMLU，用相对准确率下降作惩罚；DeepSeek-R1-Distill-Qwen-14B用WikiText，用相对损失增加作惩罚，以降低开销。作者称从Top-k中选使该分数最小的比特，并称更负的值对应更强的目标操纵和更小的辅助集副作用。成功判定是在目标问题上找到目标关键词（Figure 3）；否则继续，直到50次。

实验设置

• 模型： Qwen3-8B、DeepSeek-R1-Distill-Qwen-14B、LLaMA-3.1-8B-INSTRUCT，各评INT8与BF16。DeepSeek关闭reasoning。加载用HuggingFace Transformers，INT8用BitsAndBytes。
• 样本： 两个目标问题，与SilentStrike相同；每题由GPT-5构造两个语义相近的良性问题。Table I使用相关关键词。辅助集除DeepSeek用WikiText外为MMLU。
• 指标与搜索： 正文称GSM8K、TriviaQA用accuracy，DROP用F1；Table I表头把三列都标为Accuracy(%)。另有#FLIP与Targeted Attack。Top-k=100，最大翻转50；主结果只搜LM head。SilentStriker的翻转数固定为50。论文未报告各基准样本量、重复次数或LLM评审。
• 基线与精度： PrisonBreak、GenBFA、SilentStriker、SBFA。Table I注明前三者的FP为FP4，SBFA与TFL的FP为BF16。
• 机器： 搜索在Rocky Linux 8.10、两颗AMD EPYC 7413、两块NVIDIA A100-SXM4 80GB上完成。Rowhammer按DeepHammer实现，机器为Intel i7-3770与两根Hynix 4GB DDR3，并在单rank Samsung 8GB DDR4上测试。论文未把Table I的任务分数单独记为物理翻转后的复测。

主结果

下表据Table I，单元格为INT8/FP。因行数限制，省略GenBFA（三模型均为0.00/0.00、50/50、False）、LLaMA与DeepSeek的SilentStriker、Qwen3-8B的PrisonBreak，以及DeepSeek的SBFA（INT8为“-”，FP为0.00，#FLIP为2/2，Targeted Attack为False）。

表格较宽，可左右滑动

设置	DROP	GSM8K	TriviaQA	#FLIP	Targeted
LLaMA-3.1-8B-INSTRUCT TFL	0.56/0.54	0.65/0.75	0.36/0.37	13/14	True
LLaMA-3.1-8B-INSTRUCT PrisonBreak	0.42/0.46	0.59/0.60	0.61/0.67	50/50	False
LLaMA-3.1-8B-INSTRUCT SBFA	0.00/0.00	0.00/0.00	0.00/0.00	1/1	False
Qwen3-8B TFL	0.76/0.71	0.81/0.85	0.48/0.52	4/3	True
Qwen3-8B SBFA	0.01/0.00	0.00/0.02	0.29/0.00	1/1	False
Qwen3-8B SilentStriker	0.03/0.03	0.09/0.10	0.09/0.11	50/50	False
DeepSeek-R1-Distill-Qwen-14B TFL	0.62/0.67	0.65/0.68	0.52/0.51	7/7	True
DeepSeek-R1-Distill-Qwen-14B PrisonBreak	0.58/0.61	0.77/0.80	0.71/0.73	50/50	False

• 作者解读： 作者称TFL是所评模型与精度上唯一达成目标攻击的BFA方法，并称无关任务上的攻击后性能很高。Table I中只有TFL的Targeted Attack为True。
• 与正文不完全一致处： 正文称Qwen3-8B INT8上SBFA一次翻转使全部评测准确率降到接近0。Table I中该行TriviaQA为0.29，DROP为0.01，GSM8K为0.00。PrisonBreak保持了部分准确率，且LLaMA与DeepSeek的TriviaQA高于同模型TFL，但Targeted Attack为False。
• 比较条件： TFL的FP是BF16，PrisonBreak与SilentStriker的FP是FP4。正文另写Qwen3-8B INT8的TFL为76.1%、81.0%、48.0%；表中为0.76、0.81、0.48。

搜索层比例

• 测了什么： Table II、III在BF16上改变被搜索层比例，样本为同样两个目标问题及其良性辅助题。比例从全模型到最后75%、50%、25%，以及只搜head。
• Qwen3-8B： 五种设置#FLIP均为4。DROP依次为0.74、0.71、0.70、0.70、0.76；GSM8K为0.85、0.68、0.84、0.84、0.81。作者称层冻结影响有限，head-only的DROP最好，75%整体最弱。表中75%的GSM8K最低，但其TriviaQA为0.51，是该列最高。
• DeepSeek： #FLIP为9、22、28、36、7。作者称降低搜索比例会降低攻击效果，有时需要更多翻转；只优化head仍可得到可用结果。head-only的GSM8K为0.65、TriviaQA为0.62，高于Full的0.62与0.51；DROP为0.62，低于Full的0.66。Table I的Qwen BF16为3次、DROP 0.71，与Table II head-only的4次、DROP 0.76不同，论文未说明原因。

关键词与辅助数据

• 关键词： Table V在Qwen3-8B BF16上比较相关与无关关键词。总统题相关关键词#FLIP为1、初始损失7.50，无关为8与15.39；山峰题为3与3.88对14与14.09；两题合用为4与5.689对32与14.75。真值初始损失为1.92×10^−5、2.38×10^−6、1.08×10^−5。作者称相关关键词初始损失更低、所需翻转更少；合用无关关键词会放大无关任务降质。
• 有无辅助数据： Table VI为相关关键词。Qwen head-only有、无辅助数据均为0.761、0.81、0.48、4次。DeepSeek全层无辅助数据为50†，即预算内未打出目标输出；有辅助数据为9次，DROP/GSM8K/TriviaQA为0.655/0.62/0.51。LLaMA全层有辅助数据时GSM8K为0.00、TriviaQA为0.06、#FLIP为4，表中无失败标记。
• 无关关键词： Table VII只报Qwen3-8B。head-only有辅助数据为0.5719/0.60/0.32、32次，无辅助数据为0.4335/0.63/0.25、24次。全层有辅助数据为21次；无辅助数据为50†，DROP为0.0009。作者称优化范围大时，辅助数据有助于在更少翻转下避免模型失稳。

Impact Score与梯度搜索

• 相关关键词、只搜head、BF16： Table VIII中三种模型的Grad (T-BFA)均标为F。作者称第一次翻转因激活超出范围导致运行时错误而终止。加范围约束后，Qwen为8次、DROP/GSM8K/TriviaQA为0.655/0.77/0.31；DeepSeek为20次、0.478/0.50/0.18；LLaMA为41次、0.570/0.57/0.38。对应ImpactScore为4、7、13次。
• 作者称与表： 作者称ImpactScore在全部评测集上更好且翻转更少。LLaMA的Grad (In-range)在DROP与TriviaQA上为0.570与0.38，高于ImpactScore的0.564与0.36，但翻转数为41对13。
• 无关关键词： Table IX在Qwen3-8B上，Grad (In-Range)的head-only与full均为50†；ImpactScore为32次与21次。该表Grad行的数字与Table VII无辅助数据行相同，论文未说明是否为同一次实验。

其他消融与分析

• 单次迭代时间（Table X，BF16，秒）： Qwen3-8B head-only/full总计401.36/500.00；DeepSeek为394.41/472.27。评测阶段最长，Qwen head-only为323.90。正文称含model loading，表中未单列。作者称多次翻转时时间随翻转数线性增加。
• 层保护（Table XI，Qwen3-8B，相关关键词，INT8/BF16）： head被冻结时#FLIP为17/5，DROP为0.73/0.48；body-only为4/3、0.76/0.71；无保护为3/4、0.71/0.74。作者称head保护后仍能操纵输出，BF16攻击后性能略低；表中head保护的BF16 DROP为0.48，低于0.71与0.74。
• Rowhammer剖析（Section V-B）： 可翻转比特5,490,033个，其中0到1为2,736,537，1到0为2,753,496。论文写亦测试DDR4，未另给该模块的翻转统计。
• logits例子（Table IV）： LLaMA-3.1-8B-INSTRUCT在“George”位置的top-5中，George为26.3750且Legit，John为17.3750且Legit。相关token的k在正文中为20，该表只列top-5。

作者指出的局限与后续方向

• 防御： 结论写未来工作包括探索更完善的防御策略（Section VIII）。
• 架构： 同一节写把攻击框架扩展到其他模型架构，例如vision transformer（Section VIII）。
• 全层： Section VII写，需要考虑所有层漏洞的更全面防御策略，以缓解目标比特翻转。该节同时报告冻结head并不能完全阻止操纵。

论文没有单独的Limitations节，也未把实验结果中的失败案例写成局限。

实验覆盖范围

• 模型与精度： 被测模型为Qwen3-8B、DeepSeek-R1-Distill-Qwen-14B、LLaMA-3.1-8B-INSTRUCT，各有INT8与BF16；DeepSeek关闭reasoning（Section V-A、Table I）。
• 任务与基线： 评测为DROP、GSM8K、TriviaQA；优化辅助集为MMLU，DeepSeek为WikiText。基线为PrisonBreak、GenBFA、SilentStriker、SBFA。Table I中前三者FP为FP4，SBFA与TFL为BF16。
• 攻击样本与搜索： 两个目标问题，每题用GPT-5构造两个语义相近良性问题。主结果只搜LM head，Top-k=100，最大翻转50（Section V-A）。另测搜索比例、关键词相关性、有无辅助数据、梯度对照和冻结head或body（Section VI、VII）。
• Rowhammer： 在Intel i7-3770与两根Hynix 4GB DDR3上按DeepHammer实现，并在单rank Samsung 8GB DDR4上测试；剖析得到5,490,033个可翻转比特（Section V-B）。
• 未报告项： 论文未报告各基准样本量、重复次数，以及目标关键词判定是否使用字符串匹配以外的评审模型。DeepSeek上SBFA的INT8列在Table I为“-”。

TFL是对LLM主存权重的目标比特翻转框架：攻击者要让选定提示输出指定虚假答案关键词，同时限制无关查询上的降质。

• 设定： 攻击者为white-box，与受害模型同机，经Rowhammer改主存权重，不需训练数据。模型按FP或INT8部署。每轮翻转一位，上限50次。
• 方法： 关键词损失只提高目标token概率。范围约束避免指数最高位一类的越界值；Impact Score配合SKIP Search得到Top-100，Aux Utility Score再选胜者。默认辅助集为MMLU，DeepSeek用WikiText。主结果只搜LM head。
• 主结果： Table I中三个模型上只有TFL的Targeted Attack为True。Qwen3-8B的INT8/BF16翻转数为4/3，GSM8K为0.81/0.85；LLaMA-3.1-8B-INSTRUCT为13/14次；DeepSeek-R1-Distill-Qwen-14B为7/7次。基线该列均为False。GenBFA为0.00/0.00。
• 例外： PrisonBreak在部分TriviaQA单元格上高于TFL，但仍未打出目标输出。Qwen3-8B INT8的SBFA在TriviaQA为0.29，不是0。Table I的浮点格式在方法之间不同：TFL为BF16，若干基线为FP4。
• 消融： Qwen3-8B BF16上，两题无关关键词需32次翻转，相关关键词组合为4次（Table V）。DeepSeek全层且无辅助数据时，50次预算内未成功（Table VI）。不加范围约束的梯度搜索因运行时错误终止（Table VIII）。
• 作者结论： 作者称TFL能以数十次、有利时很少几次翻转完成指定操纵，并比先前BFA更少连带降质。结论把更完善的防御，以及扩展到vision transformer，列为后续工作。