Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.20283· Tanmay Karmakar, Sourav Saha, Debapriyo Majumdar, Surjyanee Halder·Indexed by this site · Originally published

One word is enough: Minimal adversarial perturbations for neural text ranking

One Word is Enough: Minimal Adversarial Perturbations for Neural Text Ranking

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

作者用单个查询中心词攻击神经排序器，BERT、TREC DL 2019上best_grad的SR为90.97%。

Threat modelone_word_start、one_word_sim不访问内部（black-box heuristics）；one_word_best_grad用梯度（white-box）。

Questions
神经排序模型检索效果强，但作者称很小的对抗改动就能改变排序，同时人不觉得语义变了。作者问的是：只插入或替换一个与查询对齐的词，能否抬升目标文档。
Methods
在counter-fitted嵌入中取离查询质心最近的token作为query center。文首插入和相似词替换不看模型内部；梯度变体按hinge loss的梯度范数选位，在top-20插入并留下分数最高者。
Experiments and results
BERT、TREC DL 2019上best_grad的SR为90.97%、PP为1.49%；同设置白盒PRADA的SR为96.69%、PP为12.30%（Table 1）。作者称大约名次40–80的文档最易被推动。
Limitations and future work
作者计划把梯度策略扩到black-box和近期LLM排序器，并考察多词但仍较小的扰动，以及对话搜索、问答和推荐。实验用两个NRM与TREC DL 2019/2020；论文未报告margin β、被攻击文档数和重复次数。
Experimental setupBERT-base-mdoc-BM25、monoT5-base-MSMARCO · MSMARCO v1 passage ranking、TREC DL 2019 et al. · SR、SS et al.
Threat model
one_word_start、one_word_sim不访问内部（black-box heuristics）；one_word_best_grad用梯度（white-box）。目标是抬升名次，只改一个query center。受害系统为BM25 top-100的NRM重排。成功指重排后名次更高。
Evaluated models
BERT-base-mdoc-BM25monoT5-base-MSMARCO
Benchmarks
MSMARCO v1 passage rankingTREC DL 2019TREC DL 2020
Metrics
SRSSPPRBSBISR
AI summaryThe researchers propose a query-aware minimal adversarial attack that improves the ranking of a target document in neural ranking models by inserting or replacing a single semantically aligned word. On the TREC-DL 2019/2020 datasets, against BERT and monoT5 rerankers, the single-word attack achieves a success rate of up to 91%, with an average of fewer than two token modifications per document. The authors also propose new diagnostic metrics, finding that mid-ranked documents are most vulnerable to attack. The paper claims these results reveal practical risks and motivate defense research for neural ranking.

The researchers propose a query-aware minimal adversarial attack that improves the ranking of a target document in neural ranking models by inserting or replacing a single semantically aligned word. On the TREC-DL 2019/2020 datasets, against BERT and monoT5 rerankers, the single-word attack achieves a success rate of up to 91%, with an average of fewer than two token modifications per document. The authors also propose new diagnostic metrics, finding that mid-ranked documents are most vulnerable to attack. The paper claims these results reveal practical risks and motivate defense research for neural ranking.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    一次与查询对齐的词级改动，能否抬升目标文档在神经重排中的名次。

    神经排序器能否被一次与查询语义对齐的词级改动抬升指定文档。

    • 场景：作者称基于Transformer的神经排序模型（NRM）已是检索主流，但先前工作显示，小的对抗修改可以在人不觉得语义改变时改掉排序。
    • 现有方法：作者称PRADA等攻击常做多词修改或训练替代模型，需要较多编辑或查询探测。
    • 本文主张：作者称，插入或替换一个由查询导出的语义中心词（query center），就足以抬升目标文档。
    • 本文提出：文首插入、相似词替换、梯度选位插入三种单词攻击，以及扰动比例（PP）和区间成功率（ISR）。作者称这对应实际风险，并促使以后做更稳健的排序结构。
    • 威胁模型：
      • 目标：扰动文档d̃在NRM重排后的名次高于原文档d。
      • 知识：one_word_start与one_word_sim不访问模型内部，论文称为black-box heuristics；one_word_best_grad使用排序器输入嵌入的梯度，为white-box。对照的PRADA也在相同white-box参数访问下运行。
      • 能力：只插入或替换一个query center。梯度变体在梯度范数最高的k个位置中选分，实验取k=20。
      • 受害系统：对BM25检索的top-100候选做重排的NRM。实验中为BERT-base-mdoc-BM25与monoT5-base-MSMARCO。

  2. What related research exists?

    相关工作覆盖分类器文本攻击、PRADA等排序攻击和离散对抗训练；基线是白盒PRADA。

    分类器上的文本攻击

    • HotFlip（Ebrahimi等，2018）与Pruthi等（2019）：用字符级或词级扰动欺骗序列分类器。论文称这类工作后来被接到检索与重排，并称依赖子词切分的神经结构会受少量token变化影响。

    神经排序攻击

    • PRADA（Wu等，2023）：black-box框架，用伪相关反馈训练替代模型，再以梯度引导的词替换抬升目标文档。论文指出它每篇文档要多次扰动，并要反复查询模型。
    • Wang等（2022）：用直接梯度分析BERT排序器的敏感度。论文转述为，扰动少数词就可以大幅改变排序分数。
    • 论文称文献[7, 8]把攻击成功率做到接近100%，但不强调扰动最小。Bidgeli等[1]的Empra在嵌入层做black-box扰动，避免离散词编辑。论文称Liu等[5]用强化学习组合词、短语和句子级扰动。

    对抗训练

    • Ivgi与Berant（2021）：比较NRM的离线与在线离散对抗增强。论文转述其结果认为，在线对抗采样带来更大鲁棒性，但计算代价高。

    基线与基准

    • 基线方法：PRADA。原方法训练替代模型；本文因计算限制改为white-box，以便与梯度变体有相同的参数访问。
    • 基准：MSMARCO v1 passage（约8.8 million passages）；查询集为TREC DL 2019（43条）和TREC DL 2020（54条）。重排器为BERT-base-mdoc-BM25与monoT5-base-MSMARCO。

    作者把本文放在这些工作之后：在最小、query-aware的设置下，用一个query center的插入或替换影响排序，并保持语义连贯。

  3. How does the paper address this problem?

    取离查询质心最近的词为query center，再用启发式或梯度范数决定一次插入或替换。

    作者用单词对抗攻击抬升目标文档：先定query center，再只做一次插入或一次替换。

    问题设定

    • 输入：查询q、NRM对BM25 top-100重排后的列表L，以及L中的目标文档d。输出d̃，使该NRM把d̃排得比d更靠前。
    • 约束：只插入或替换一个词。作者称这是为了尽量让改动在语义上说得通，同时暴露排序器的脆弱性。

    query center

    • 定义：词表内的查询token先映射为向量，质心为v(q)=1/k∑i=1k v(qi)。query center是嵌入词表中与该质心余弦相似度最高的token。词表外的查询token不参与质心。
    • 作者的直观说法：它是最能代表查询整体语义意图的一个词。
    • 向量：实验用Mrkšić等公开的counter-fitted词向量，来自Common Crawl（840B tokens）上的300维GloVe，并用WordNet的同义、反义约束。该空间只用于选中心词和算相似度；梯度相对排序器自己的输入嵌入计算。

    三种位置

    • one_word_start：把query center插到文档开头。作者给出的理由是，先前工作显示BERT排序器对靠前位置的扰动更敏感。不访问模型内部。
    • one_word_sim：在counter-fitted空间中，把与query center最相似但不相同的文档token替换成query center。这是替换，也不访问模型内部。
    • one_word_best_grad：插入。作者称受PRADA启发，用梯度选位置。

    梯度选位

    • 损失：pairwise hinge loss为Lrank(q,d;L)=∑d′∈ L∖{d}max(0,β−f(q,d)+f(q,d′))，β为间隔，f为排序分数。论文未给出β。作者称该损失表示目标文档离“以间隔超过竞争文档”还有多远。
    • 重要性：对每个token的输入嵌入求该损失的梯度，取L2范数作为I(ti)。作者称范数更大的token对排序目标影响更大。
    • 选择：取范数最高的k个位置分别插入query center，计算f(q, d̃)，保留分数提升最大的一篇。作者称k用来平衡搜索代价和效果；实验取k=20。Algorithm 1给出该流程。

    成功判定

    • 用d̃替换d后，由同一NRM重排L，名次高于原d即成功。论文把三种方法描述为从black-box启发式到white-box梯度插入，且都限制为一次词级改动。

  4. What experiments did the paper conduct?

    Table 1中BERT、TREC DL 2019上best_grad的SR为90.97%，PP为1.49%。

    实验设置

    • 被测模型：BERT-base-mdoc-BM25、monoT5-base-MSMARCO。BM25先取top-100，再由NRM重排。
    • 数据：MSMARCO v1 passage，约8.8 million passages；TREC DL 2019有43条查询，TREC DL 2020有54条查询。
    • 基线：PRADA。原方法是black-box并训练替代模型；本文因计算限制直接在white-box下运行，以便与梯度变体比较。下表中的PRADA都是这一white-box设置。
    • 指标：SR是抬升名次的攻击所占百分比；SS是原文档与扰动文档嵌入的余弦相似度，嵌入来自Universal Sentence Encoder，取值在[0, 1]；RB、SB分别是名次和NRM分数的平均提升；PP是每篇文档被修改token的平均百分比。
    • ISR：在名次区间[11–20]、[21–30]直至[99–100]上平均成功率，排除top-10。作者引用PRADA，称这些文档不太可能被进一步抬升。
    • 未写明项：论文未报告margin β、SR的文档范围与分母、重复次数和查询次数。梯度变体的k=20。

    主结果

    据Table 1。SR、PP为百分比，SS在[0, 1]，RB、SB为绝对提升。下表只列PRADA与one_word_best_grad的部分格子。

    Swipe horizontally to read the table

    设置SRSSPPRBSB
    BERT-base-mdoc-BM25，TREC DL 2019，PRADA96.69%0.8712.30%17.841.98
    同上，one_word_best_grad90.97%0.971.49%12.971.61
    BERT-base-mdoc-BM25，TREC DL 2020，PRADA97.74%0.8513.83%20.102.42
    同上，one_word_best_grad87.10%0.971.45%9.471.16
    monoT5-base-MSMARCO，TREC DL 2019，one_word_best_grad65.18%0.971.15%11.781.53
    monoT5-base-MSMARCO，TREC DL 2020，one_word_best_grad59.49%0.961.10%7.951.00
    • 作者称best_grad以一次token改动达到最高约91%成功，相似度约0.98。摘要另称平均每篇改动少于两个token。Table 1的PP是修改token的百分比，论文未把它换算成token个数。
    • 作者称在可比的white-box设置下，名次和分数提升相对PRADA有竞争力，但编辑少得多。上表未列的monoT5、PRADA：TREC DL 2019的SR为69.78%、SS为0.89、PP为9.70%、RB为11.61、SB为1.39；TREC DL 2020的SR为59.62%、SS为0.88、PP为3.55%、RB为7.42、SB为0.94。
    • 作者称one_word_start与one_word_sim也有30–60%的成功，并保持高相似度。Table 1中未列入上表的端点：BERT、TREC DL 2020、one_word_sim的SR为30.90%，RB为2.06，SB为0.24；monoT5、TREC DL 2019、one_word_start的SR为57.48%。

    区间成功率

    • 测了什么：Figure 1画两种重排器上各攻击的ISR，左为BERT-base-mdoc-BM25，右为monoT5-base-MSMARCO，查询集都是TREC DL 2019。正文没有各区间的读数。
    • 作者的解读：作者称大约名次40–80的文档最易受扰动，称之为Goldilocks zone。作者认为一种可能解释是，靠前文档的相关分数已经饱和，靠后文档通常语义距离太远，一次插入帮不上。
    • 后续影响：作者称这些位移虽不在列表最前，仍可能因多阶段检索里较激进的候选裁剪而影响后续流程。

    其他消融与分析

    • 论文未报告k、β或query-center嵌入的数值消融；k固定为20（Section 3.2）。
    • 作者称RB与SB有强正相关，论文未报告相关系数（Section 4.3）。
    • 结论写与原文相似度超过97%；Table 1中BERT、TREC DL 2019的one_word_start，SS为0.96。
    • 结果节写相似度约0.98；上表monoT5、TREC DL 2020的best_grad行，以及BERT上best_grad的0.97，都不是这个写法。
    • Table 1四个模型×查询集上，PRADA的SR都高于best_grad；作者未把这写成失败。
    • monoT5上best_grad的SR低于BERT上的对应格子；作者未单独解释。

  5. What are some points that can be further explored?

    作者计划扩展到黑盒与基于LLM的排序器，并研究多词最小扰动及其他任务。

    作者指出的局限与后续方向

    论文未专门讨论局限。Conclusion and Future Work列出的后续方向如下。

    • 黑盒：作者计划把梯度策略扩展到现实的black-box设置。
    • LLM排序器：作者计划扩展到近期基于LLM的排序器。
    • 多词扰动：作者计划考察多词但仍较小的扰动，以研究隐蔽性与攻击成功的权衡。
    • 其他任务：作者计划把这类扰动用于对话式搜索、问答或推荐，以评估对稳健信息获取系统的更广影响。

    实验覆盖范围

    • 被测重排器为BERT-base-mdoc-BM25与monoT5-base-MSMARCO；查询集为TREC DL 2019（43条）和TREC DL 2020（54条）；文档池为MSMARCO v1 passage，约8.8 million passages（Section 4.1）。
    • 流程是BM25取top-100再由NRM重排；ISR排除top-10，区间从[11–20]到[99–100]；Figure 1只用TREC DL 2019（Section 4.2、Figure 1）。
    • 攻击为one_word_start、one_word_sim、one_word_best_grad，k=20；对照是white-box下的PRADA，不是原论文的black-box加替代模型（Section 3.2、4.1、Table 1）。
    • query center用counter-fitted词向量（300维GloVe、Common Crawl 840B tokens、WordNet约束）；SS用Universal Sentence Encoder（Section 3.1、4.2）。
    • 论文未报告margin β、SR的文档范围与分母、重复次数、梯度变体的查询次数，以及Figure 1各区间的ISR读数。

  6. Summarize the main content of the paper

    作者称单词扰动即可抬升名次、中段文档最脆弱，且比白盒PRADA更少编辑。

    单个与查询对齐的词，就可能改掉神经重排结果。要做的是少改原文，仍把目标文档在NRM列表里的名次抬高。

    • 做法：在counter-fitted空间取离查询质心最近的token，称为query center。文首插入和相似词替换不看模型内部；one_word_best_grad用pairwise hinge loss的梯度范数选位，并在top-20里留下分数升幅最大的插入。
    • 数据与对照：MSMARCO v1上的TREC DL 2019（43条查询）和2020（54条）；BM25取top-100后，由BERT-base-mdoc-BM25或monoT5-base-MSMARCO重排。对照是white-box下的PRADA，不是原black-box加替代模型。
    • 主要数字：Table 1中，BERT、TREC DL 2019上best_grad的SR为90.97%，SS为0.97，PP为1.49%，RB为12.97；同格PRADA的SR为96.69%，PP为12.30%。monoT5、TREC DL 2019上best_grad的SR为65.18%，白盒PRADA为69.78%。Table 1最低SR为30.90%（BERT、TREC DL 2020、one_word_sim）。
    • 作者结论：作者称大约50%的成功率在多阶段检索里也可能带来实际风险，并称中段名次文档最脆弱。作者计划把梯度策略扩到black-box和近期基于LLM的排序器。
Read originalarxiv.org