一个词就够了：神经文本排序的最小对抗扰动

神经排序器能否被一次与查询语义对齐的词级改动抬升指定文档。

• 场景：作者称基于Transformer的神经排序模型（NRM）已是检索主流，但先前工作显示，小的对抗修改可以在人不觉得语义改变时改掉排序。
• 现有方法：作者称PRADA等攻击常做多词修改或训练替代模型，需要较多编辑或查询探测。
• 本文主张：作者称，插入或替换一个由查询导出的语义中心词（query center），就足以抬升目标文档。
• 本文提出：文首插入、相似词替换、梯度选位插入三种单词攻击，以及扰动比例（PP）和区间成功率（ISR）。作者称这对应实际风险，并促使以后做更稳健的排序结构。
• 威胁模型：
  • 目标：扰动文档d̃在NRM重排后的名次高于原文档d。
  • 知识：one_word_start与one_word_sim不访问模型内部，论文称为black-box heuristics；one_word_best_grad使用排序器输入嵌入的梯度，为white-box。对照的PRADA也在相同white-box参数访问下运行。
  • 能力：只插入或替换一个query center。梯度变体在梯度范数最高的k个位置中选分，实验取k=20。
  • 受害系统：对BM25检索的top-100候选做重排的NRM。实验中为BERT-base-mdoc-BM25与monoT5-base-MSMARCO。

分类器上的文本攻击

• HotFlip（Ebrahimi等，2018）与Pruthi等（2019）：用字符级或词级扰动欺骗序列分类器。论文称这类工作后来被接到检索与重排，并称依赖子词切分的神经结构会受少量token变化影响。

神经排序攻击

• PRADA（Wu等，2023）：black-box框架，用伪相关反馈训练替代模型，再以梯度引导的词替换抬升目标文档。论文指出它每篇文档要多次扰动，并要反复查询模型。
• Wang等（2022）：用直接梯度分析BERT排序器的敏感度。论文转述为，扰动少数词就可以大幅改变排序分数。
• 论文称文献[7, 8]把攻击成功率做到接近100%，但不强调扰动最小。Bidgeli等[1]的Empra在嵌入层做black-box扰动，避免离散词编辑。论文称Liu等[5]用强化学习组合词、短语和句子级扰动。

对抗训练

• Ivgi与Berant（2021）：比较NRM的离线与在线离散对抗增强。论文转述其结果认为，在线对抗采样带来更大鲁棒性，但计算代价高。

基线与基准

• 基线方法：PRADA。原方法训练替代模型；本文因计算限制改为white-box，以便与梯度变体有相同的参数访问。
• 基准：MSMARCO v1 passage（约8.8 million passages）；查询集为TREC DL 2019（43条）和TREC DL 2020（54条）。重排器为BERT-base-mdoc-BM25与monoT5-base-MSMARCO。

作者把本文放在这些工作之后：在最小、query-aware的设置下，用一个query center的插入或替换影响排序，并保持语义连贯。

作者用单词对抗攻击抬升目标文档：先定query center，再只做一次插入或一次替换。

问题设定

• 输入：查询q、NRM对BM25 top-100重排后的列表L，以及L中的目标文档d。输出d̃，使该NRM把d̃排得比d更靠前。
• 约束：只插入或替换一个词。作者称这是为了尽量让改动在语义上说得通，同时暴露排序器的脆弱性。

query center

• 定义：词表内的查询token先映射为向量，质心为v(q)=1/k∑_i=1^k v(q_i)。query center是嵌入词表中与该质心余弦相似度最高的token。词表外的查询token不参与质心。
• 作者的直观说法：它是最能代表查询整体语义意图的一个词。
• 向量：实验用Mrkšić等公开的counter-fitted词向量，来自Common Crawl（840B tokens）上的300维GloVe，并用WordNet的同义、反义约束。该空间只用于选中心词和算相似度；梯度相对排序器自己的输入嵌入计算。

三种位置

• one_word_start：把query center插到文档开头。作者给出的理由是，先前工作显示BERT排序器对靠前位置的扰动更敏感。不访问模型内部。
• one_word_sim：在counter-fitted空间中，把与query center最相似但不相同的文档token替换成query center。这是替换，也不访问模型内部。
• one_word_best_grad：插入。作者称受PRADA启发，用梯度选位置。

梯度选位

• 损失：pairwise hinge loss为L_rank(q,d;L)=∑_{d′∈ L∖{d}}max(0,β−f(q,d)+f(q,d′))，β为间隔，f为排序分数。论文未给出β。作者称该损失表示目标文档离“以间隔超过竞争文档”还有多远。
• 重要性：对每个token的输入嵌入求该损失的梯度，取L2范数作为I(ti)。作者称范数更大的token对排序目标影响更大。
• 选择：取范数最高的k个位置分别插入query center，计算f(q, d̃)，保留分数提升最大的一篇。作者称k用来平衡搜索代价和效果；实验取k=20。Algorithm 1给出该流程。

成功判定

• 用d̃替换d后，由同一NRM重排L，名次高于原d即成功。论文把三种方法描述为从black-box启发式到white-box梯度插入，且都限制为一次词级改动。

实验设置

• 被测模型：BERT-base-mdoc-BM25、monoT5-base-MSMARCO。BM25先取top-100，再由NRM重排。
• 数据：MSMARCO v1 passage，约8.8 million passages；TREC DL 2019有43条查询，TREC DL 2020有54条查询。
• 基线：PRADA。原方法是black-box并训练替代模型；本文因计算限制直接在white-box下运行，以便与梯度变体比较。下表中的PRADA都是这一white-box设置。
• 指标：SR是抬升名次的攻击所占百分比；SS是原文档与扰动文档嵌入的余弦相似度，嵌入来自Universal Sentence Encoder，取值在[0, 1]；RB、SB分别是名次和NRM分数的平均提升；PP是每篇文档被修改token的平均百分比。
• ISR：在名次区间[11–20]、[21–30]直至[99–100]上平均成功率，排除top-10。作者引用PRADA，称这些文档不太可能被进一步抬升。
• 未写明项：论文未报告margin β、SR的文档范围与分母、重复次数和查询次数。梯度变体的k=20。

主结果

据Table 1。SR、PP为百分比，SS在[0, 1]，RB、SB为绝对提升。下表只列PRADA与one_word_best_grad的部分格子。

表格较宽，可左右滑动

设置	SR	SS	PP	RB	SB
BERT-base-mdoc-BM25，TREC DL 2019，PRADA	96.69%	0.87	12.30%	17.84	1.98
同上，one_word_best_grad	90.97%	0.97	1.49%	12.97	1.61
BERT-base-mdoc-BM25，TREC DL 2020，PRADA	97.74%	0.85	13.83%	20.10	2.42
同上，one_word_best_grad	87.10%	0.97	1.45%	9.47	1.16
monoT5-base-MSMARCO，TREC DL 2019，one_word_best_grad	65.18%	0.97	1.15%	11.78	1.53
monoT5-base-MSMARCO，TREC DL 2020，one_word_best_grad	59.49%	0.96	1.10%	7.95	1.00

• 作者称best_grad以一次token改动达到最高约91%成功，相似度约0.98。摘要另称平均每篇改动少于两个token。Table 1的PP是修改token的百分比，论文未把它换算成token个数。
• 作者称在可比的white-box设置下，名次和分数提升相对PRADA有竞争力，但编辑少得多。上表未列的monoT5、PRADA：TREC DL 2019的SR为69.78%、SS为0.89、PP为9.70%、RB为11.61、SB为1.39；TREC DL 2020的SR为59.62%、SS为0.88、PP为3.55%、RB为7.42、SB为0.94。
• 作者称one_word_start与one_word_sim也有30–60%的成功，并保持高相似度。Table 1中未列入上表的端点：BERT、TREC DL 2020、one_word_sim的SR为30.90%，RB为2.06，SB为0.24；monoT5、TREC DL 2019、one_word_start的SR为57.48%。

区间成功率

• 测了什么：Figure 1画两种重排器上各攻击的ISR，左为BERT-base-mdoc-BM25，右为monoT5-base-MSMARCO，查询集都是TREC DL 2019。正文没有各区间的读数。
• 作者的解读：作者称大约名次40–80的文档最易受扰动，称之为Goldilocks zone。作者认为一种可能解释是，靠前文档的相关分数已经饱和，靠后文档通常语义距离太远，一次插入帮不上。
• 后续影响：作者称这些位移虽不在列表最前，仍可能因多阶段检索里较激进的候选裁剪而影响后续流程。

其他消融与分析

• 论文未报告k、β或query-center嵌入的数值消融；k固定为20（Section 3.2）。
• 作者称RB与SB有强正相关，论文未报告相关系数（Section 4.3）。
• 结论写与原文相似度超过97%；Table 1中BERT、TREC DL 2019的one_word_start，SS为0.96。
• 结果节写相似度约0.98；上表monoT5、TREC DL 2020的best_grad行，以及BERT上best_grad的0.97，都不是这个写法。
• Table 1四个模型×查询集上，PRADA的SR都高于best_grad；作者未把这写成失败。
• monoT5上best_grad的SR低于BERT上的对应格子；作者未单独解释。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion and Future Work列出的后续方向如下。

• 黑盒：作者计划把梯度策略扩展到现实的black-box设置。
• LLM排序器：作者计划扩展到近期基于LLM的排序器。
• 多词扰动：作者计划考察多词但仍较小的扰动，以研究隐蔽性与攻击成功的权衡。
• 其他任务：作者计划把这类扰动用于对话式搜索、问答或推荐，以评估对稳健信息获取系统的更广影响。

实验覆盖范围

• 被测重排器为BERT-base-mdoc-BM25与monoT5-base-MSMARCO；查询集为TREC DL 2019（43条）和TREC DL 2020（54条）；文档池为MSMARCO v1 passage，约8.8 million passages（Section 4.1）。
• 流程是BM25取top-100再由NRM重排；ISR排除top-10，区间从[11–20]到[99–100]；Figure 1只用TREC DL 2019（Section 4.2、Figure 1）。
• 攻击为one_word_start、one_word_sim、one_word_best_grad，k=20；对照是white-box下的PRADA，不是原论文的black-box加替代模型（Section 3.2、4.1、Table 1）。
• query center用counter-fitted词向量（300维GloVe、Common Crawl 840B tokens、WordNet约束）；SS用Universal Sentence Encoder（Section 3.1、4.2）。
• 论文未报告margin β、SR的文档范围与分母、重复次数、梯度变体的查询次数，以及Figure 1各区间的ISR读数。

单个与查询对齐的词，就可能改掉神经重排结果。要做的是少改原文，仍把目标文档在NRM列表里的名次抬高。

• 做法：在counter-fitted空间取离查询质心最近的token，称为query center。文首插入和相似词替换不看模型内部；one_word_best_grad用pairwise hinge loss的梯度范数选位，并在top-20里留下分数升幅最大的插入。
• 数据与对照：MSMARCO v1上的TREC DL 2019（43条查询）和2020（54条）；BM25取top-100后，由BERT-base-mdoc-BM25或monoT5-base-MSMARCO重排。对照是white-box下的PRADA，不是原black-box加替代模型。
• 主要数字：Table 1中，BERT、TREC DL 2019上best_grad的SR为90.97%，SS为0.97，PP为1.49%，RB为12.97；同格PRADA的SR为96.69%，PP为12.30%。monoT5、TREC DL 2019上best_grad的SR为65.18%，白盒PRADA为69.78%。Table 1最低SR为30.90%（BERT、TREC DL 2020、one_word_sim）。
• 作者结论：作者称大约50%的成功率在多阶段检索里也可能带来实际风险，并称中段名次文档最脆弱。作者计划把梯度策略扩到black-box和近期基于LLM的排序器。