研究者提出改写式对抗攻击 PAA，可在不改变论文主张的情况下抬高 LLM 审稿评分

能否只用保义、自然的释义抬高 LLM-as-a-Reviewer 的分数，而不改论文主张。

• 场景：作者称投稿量上升，LLM被用来辅助审稿，并称 AAAI 2025 与 ICLR 2025 已试点此类工具。若措辞变了、科学贡献不变而分数变了，作者认为评审没有按实质贡献打分。
• 现有方法：先前攻击包括白字隐藏指令、越狱和追加抬分短语。作者认为这些做法改变稿件，把提示注入易感性和评审稳健性混在一起；并称 Chen et al. (2022)、Zou et al. (2023)、Liu et al. (2024) 的越狱不保语义与自然度，不能直接套用。
• 作者要检验的点：不注入与科学内容无关的指令、不改主张，只做 meaning-preserving paraphrasing，是否仍能操纵审稿分。
• 本文提出：Paraphrasing Adversarial Attack（PAA），用 black-box 优化和上下文学习（in-context learning）搜索更高分释义。
• 威胁模型：
  • 目标：潜在攻击者是论文作者，要抬高自己稿件的评审分。
  • 受害系统：按会议给人类审稿人的说明阅读 PDF 的 LLM-as-a-Reviewer。
  • 知识：作者将 PAA 称为 black-box optimization，优化信号是 Mrev 的分数。黑盒 Matk 分全文 PDF 与仅摘要两种输入；OLMo 3 与 Qwen 3 被作者称为 white-box LLMs，但只接收子序列 x。
  • 能力：改写摘要，写入 LaTeX 并重编译。不加入隐藏指令，不改主张；候选须过语义相似度与困惑度门槛。

提示注入式审稿攻击

• Keuper (2025) 与 Ye et al. (2024b) 做隐藏文本注入；Sahoo et al. (2025) 做领域越狱；Lin et al. (2025) 对脆弱区域做文本对抗；Raina et al. (2024) 追加抬分短语。作者认为这些方法插入外部操纵线索，并改变内容与含义。
• 引言把 Chen et al. (2022)、Zou et al. (2023)、Liu et al. (2024) 的越狱列为不保语义与自然度、不能直接用于本文设定的方法。

评审能力与系统性偏差

• Liu and Shah (2023)、Liang et al. (2024b)、Zhou et al. (2024)：作者转述其结论为，LLM 难以分辨论文质量，反馈偏表面，而不是深入的方法批评。
• Zhu et al. (2025) 被作者转述为对较低质量论文的评分膨胀；Vasu et al. (2025) 与 Howell et al. (2025) 被转述为机构声望偏差，相同论文若单位排名较低则拒绝率更高。作者称这些工作刻画模型局限，本文则看保义修改下能否被操纵。

对抗改写与释义

• GCG（Zou et al., 2023）与 AutoDAN（Liu et al., 2024）生成对抗后缀。作者称它们不以保持语义为目标。
• Panda and Rai (2025) 的语言风格改写、ReNeLLM（Ding et al., 2024）、Adversarial Poetry（Bisconti et al., 2025）：作者称保持有害意图，但会引入不适合正式文档的风格偏移。
• Cheng et al. (2025) 用释义逃避 LLM 生成文本检测，释义本身服务于攻击目标。作者称本文把保义释义当作约束，而不是攻击手段。

基线方法为未改动稿件 Original，以及与 PAA 生成同等数量释义的 sampling-based Paraphrase。人工评估另含 PAIR（Chao et al., 2025）；作者称 PAIR 的优化目标不含保义约束。基准/数据集是按五个 2025 会议模板收集的 arXiv 2025 未录用稿；ICLR 2025 的 OpenReview 真实分数用于对照。论文未使用带公开名称的外部攻击基准。

作者把本文放在上述工作之外：不注入与科学内容无关的指令、不改主张，只检验保义释义是否足以抬分。

PAA 只改摘要：攻击模型 Matk 生成释义，评审模型 Mrev 的最终评分作 black-box 搜索信号，不合格候选被丢掉，全程最高分者写回论文。

问题设定与形式化

• 被改写的部分：论文 X 中的子序列 x。实验把 x 固定为摘要。作者给出的理由是缩小搜索空间、稳定优化，且摘要概括贡献；并引用 Höpner et al. (2025)，称评审分与摘要内容相关程度高。
• 写回方式：把释义插入原论文 LaTeX，重编译成 PDF，再交给 Mrev。作者称这是为了对齐会议收 PDF 的做法。
• 迭代步分数：每个候选采样 N 次并平均，即 s^(t,k)=1/N∑_n=1^NM_rev(X[x← x^(t,k)])。初始化步的式 (1) 写的是单次 Mrev，不是平均。引导 Matk 的是会议最终评分，如 ACL 的 Overall Assessment、ICLR 的 Rating。
• 过滤：候选须满足 sim(x,x^(t,k))≥τ_sim 且 PPL(x^(t,k))≤α_ppl· PPL(x)。sim 用 BERTScore。τsim 与 αppl 在开发集上调节。Appendix A 把困惑度写成以 x 与 Matk 为条件，与正文的 PPL 写法不同。

初始化、ICL 与选定

• t=0：Matk 对 x 做 zero-shot 释义，生成 K 个候选。该提示与后面的 ICL 提示各从 8 个变体中按开发集表现选定。此处不复述提示词。
• t=1 到 T：把释义–分数对作为 ICL 例，让 Matk 生成作者所期望的、可能得到更高分的新释义。正文称只把上一轮 K 个候选给 Matk，候选集则跨轮累计。Appendix A 写的是从累计集取 top-K 作为例。两处不一致。
• x*：累计集里分数最高的候选，不限于最后一轮。
• 实验取值：K=8，N=8，T=32，τsim=0.85，αppl=1.2。搜索范围在 Appendix C。

攻击模型能看到什么

• 黑盒 Matk：GPT-4o、Gemini 2.5、Sonnet 4。两组实验分别给整篇 PDF，或不给 PDF。
• 开源 Matk：OLMo-3.1-32B-Instruct（文中也称 OLMo 3）与 Qwen3-30B-A3B-Instruct-2507（Qwen 3）。作者称它们是 white-box LLMs，但不能原生读 PDF，故只给 x。正文未写对它们使用梯度。
• 硬件：作者写使用 8 张 NVIDIA A100。论文未报告单次攻击耗时。

评审协议与判定

• Mrev：GPT-4o、Gemini 2.5、Sonnet 4，输入为 PDF。提示来自 ACL、NeurIPS、ICML、ICLR、AAAI 2025 主轨给人类审稿人的说明。
• 量程：Appendix B 写 ACL 的 Overall Assessment 为 1 到 5、步长 0.5；NeurIPS 的 Overall 为 1 到 6；ICML 的 Overall Recommendation 为 1 到 5；ICLR 的 Rating 为 0 到 10、步长 2；AAAI 的 Overall Evaluation 为 1 到 8。Table 1 表注的量程与此对应，但未写步长。
• 模板：三套输出格式。作者称用于看格式变化；主文结果对三套模板平均。Appendix B 给出模板，此处不复述。
• 何谓成功：优化目标是最终评分升高。语义与自然度靠阈值过滤，并另做人工 0–2 分评估，不是搜索目标本身。

实验设置

• 模型：Mrev 为 GPT-4o、Gemini 2.5、Sonnet 4。Matk 为这三者，外加 OLMo 3 与 Qwen 3。情感分析用 SiEBERT。PAIR 使用的攻击 LLM 论文未点名。
• 数据：每个会议 128 篇评测、64 篇开发。稿件为 2025 年 arXiv、有公开 LaTeX、按目标会议模板排版，并经 Google Scholar、Semantic Scholar、DBLP 与官方论文集核对为未录用。只保留 LLM-as-a-Reviewer 分数低于满分一半的稿。论文未说明该筛选用的是哪一个 Mrev、是否已对三套模板平均。
• 基线：Original；与本文生成同等数量释义的 Paraphrase。人工评估另含 PAIR。论文未把“同等数量”写成具体条数。
• 指标与检验：主指标是会议最终评分。Table 1 表注写为三次 LLM-as-a-Reviewer runs 的平均；2.2 节另写全部结果对三套模板平均。论文未写明这三次 runs 是三个模型、三次重复，还是兼有。†、‡ 为相对 Original、Paraphrase 的 Wilcoxon signed-rank test，p<0.01。
• 攻击预算：每步 K=8，每候选 N=8 次评分，T=32，τsim=0.85，αppl=1.2。黑盒 Matk 分全文 PDF 与仅摘要；开源模型只做无 PDF。
• 人工与真实审稿：测试集随机 64 篇摘要，两名 NLP 博士生与一名 ML 博士生，语义等价与语言自然度各 0–2 分。ICLR 2025 用 OpenReview 上的真实分数做差。

主结果

据 Table 1。斜线左/右按表注分别为给攻击模型全文 PDF / 仅摘要。量程：ACL 1–5，NeurIPS 1–6，ICML 1–5，ICLR 0–10，AAAI 1–8。

| 攻击模型 | ACL | NeurIPS | ICML | ICLR | AAAI | | Original | 2.1 | 2.3 | 1.9 | 4.2 | 3.0 | | Paraphrase | 2.3 | 2.5 | 2.3 | 4.6 | 3.5 | | GPT-4o | 3.3†,‡ / 3.5†,‡ | 4.1†,‡ / 4.4†,‡ | 3.1†,‡ / 3.4†,‡ | 5.6†,‡ / 6.4†,‡ | 4.9†,‡ / 5.3†,‡ | | Gemini 2.5 | 3.0† / 3.2†,‡ | 4.3†,‡ / 4.8†,‡ | 3.0† / 3.2†,‡ | 5.8†,‡ / 6.2†,‡ | 5.4†,‡ / 5.7†,‡ | | Sonnet 4 | 3.5†,‡ / 3.8†,‡ | 4.5†,‡ / 4.7†,‡ | 3.6†,‡ / 3.7†,‡ | 6.0†,‡ / 6.4†,‡ | 5.2†,‡ / 5.5†,‡ | | OLMo 3 | 3.0† / 未报告 | 3.3†,‡ / 未报告 | 3.1†,‡ / 未报告 | 5.5†,‡ / 未报告 | 4.4†,‡ / 未报告 | | Qwen 3 | 2.8 / 未报告 | 2.9 / 未报告 | 3.2†,‡ / 未报告 | 5.2† / 未报告 | 4.6†,‡ / 未报告 |

• 作者称各会议、各攻击模型上 PAA 都高于原文，Paraphrase 只略高，因而需要利用评审反馈。表中每个 PAA 单元格都高于同行 Original；Qwen 3 的 ACL 2.8、NeurIPS 2.9 没有 †/‡。Gemini 2.5 的 ACL 与 ICML 左侧、OLMo 3 的 ACL、Qwen 3 的 ICLR 只有 †。
• 表注与 3.2 节都把斜线左定义为全文 PDF、右为仅摘要。作者称给全文 PDF 更好，但表中每一对右值都高于左值。
• 正文称 OLMo 3 与 Qwen 3 只做仅摘要，表中分数却在左侧、右侧为 “-”。作者称攻击模型即使不是 Mrev，也能抬分。Figure 2 在仅摘要设置下画五条相对 Original 的轨迹；作者称 32 步内持续上升。正文没有端点数值。

自偏好与迁移

• 测 matched（优化用的 Mrev 与评估用的相同）和 mismatched。Figure 3 是相对 Original 的分差，跨五个会议平均；mismatched 再跨多个模型平均。正文没有图中数值。作者称 GPT-4o 与 Sonnet 4 分差大，Gemini 2.5 在 matched 略高，并据此称存在 self-preference bias。
• Table 2 的平均评审分：GPT-4o 为 4.2 / 3.5，Gemini 2.5 为 4.3 / 3.2，Sonnet 4 为 4.5 / 3.8（matched / mismatched）。Original 的 2.7 写在 Mismatched 列，Matched 列为空。论文未说明会议范围，也未说明是全文 PDF 还是仅摘要。
• 作者称 matched 更高，但 mismatched 仍高于原稿，因此保密评审模型只能缓解、不能完全阻止攻击。表中 3.5、3.2、3.8 都大于该 Original 单元格的 2.7。

人工评估与真实审稿

• 64 篇测试摘要。Table 3 为语义等价 / 语言自然度：Paraphrase 为 1.8/1.6、1.7/1.5、1.5/1.8；PAIR 为 0.7/1.4、0.5/1.6、0.5/1.4；PAA 为 1.7/1.7、1.7/1.8、1.8/1.6。作者称 PAIR 语义分平均低于 1.0。
• 作者报告：语义上 Paraphrase 与 PAA 无 p<0.01 的差异，PAIR 与二者均为 p<0.01；自然度三种方法都无此差异。三名标注者的 agreement rate 在开发集上为语义 0.8、自然度 0.7。论文未报告测试集上的一致性。
• Table 4 是 ICLR 2025 上 LLM 分减真实审稿分：Original -0.4，Paraphrase 0.1，GPT-4o 1.3†,‡，Gemini 2.5 1.6†,‡，Sonnet 4 1.9†,‡，OLMo 3 1.3†,‡，Qwen 3 0.9†。作者称 PAA 得到偏离真实审稿的抬分。

评审文本与释义防御

• Figure 4 的 x 轴是相对原文的评审分提升。作者先做 Min-Max 到 [0, 1] 再作差；理论范围为 [-1, 1]，作者称全部案例都提升，故只显示 [0, 1]。y 轴为 (a) sentiment score ratio、(b) semantic similarity、(c) perplexity ratio，虚线为线性趋势。作者称情感比与提升少有相关，语义相似度随提升下降，困惑度比略升，并称可用“情感与分数不一致”或评审困惑度作检测信号。正文无散点数值。作者写五个 target models 画在一起，该句未定义 target model 是 Mrev 还是 Matk。
• Figure 5 测审前再释义。y 轴为 score ratio，x 轴为 Random 设置下被释义的段落数，从 1 到 10。Abst 只再释义被 PAA 改过的摘要；Random 随机释义摘要以外的段落。作者称结果为全部攻击 LLM 与会议的平均，Abst 低于单独的 PAA、可部分缓解，Random 弱于 Abst，段落增多时变化率从 PAA 基线下降。正文无具体比值。

其他消融与分析

• 零样本与 ICL 提示各从 8 个变体按开发集选定；论文未报告各变体分数。
• Table 5：开发集 64 篇。K∈{4, 8, 16} 选 8；N∈{4, 8, 16} 选 8；T∈{16, 32, 64} 选 32；τsim∈{0.80, 0.85, 0.90} 选 0.85；αppl∈{1.0, 1.2, 1.5} 选 1.2。未报告各取值的评审分。
• 三套评审模板的结果被平均；论文未分模板给分。
• 负面与例外：Paraphrase 各会议只高于 Original 0 点几个评分单位，且该行没有 †/‡；Qwen 3 的 ACL、NeurIPS 无 p<0.01 标记；PAIR 的语义分为 0.7、0.5、0.5。

作者指出的局限与后续方向

• BERTScore 未必充分对应学术主张是否等价。作者同时写，人工评估确认生成释义保持语义与自然度（Limitations）。
• PAA 需要多次 API 调用。Limitations 写 32 × 8 × 8 = 2, 048 queries，并称与常见迭代攻击相比处于可接受范围：GCG 约 250,000 次前向，AutoDAN 约 6,400 次评估（100 代 × 64 的种群）。
• 只做英语论文，其他语言的泛化未做。作者称英语仍是学术传播的主要语言（Limitations）。
• 只攻击摘要，Introduction、Methods 等其他章节的效果未考察。作者称本文目标不是把攻击效果做到最大，而是展示保义攻击的风险（Limitations）。

实验覆盖范围

• 五个会议各 128 篇评测、64 篇开发；稿件为 2025 年 arXiv、有 LaTeX、按会议模板排版、被核对为未录用，且 LLM 评审分低于满分一半（Section 3.1）。论文未说明“低于一半”用的是哪一个 Mrev。
• Mrev 为 GPT-4o、Gemini 2.5、Sonnet 4；Matk 另含 OLMo 3 与 Qwen 3。Table 1 是三次 LLM-as-a-Reviewer runs 的平均，未按单个 Mrev 分列；2.2 节写结果另对三套模板平均。
• 人工评估为测试集随机 64 篇、三名标注者。agreement rate 0.8 与 0.7 写的是开发集。与真实审稿分的对比只使用公开评审的 ICLR 2025（Table 4）。论文未报告成功匹配到 OpenReview 分数的篇数。
• 防御为审前再释义：Abst，以及 Random 下 1 至 10 段；Figure 5 为跨全部攻击 LLM 与会议的平均。评审内容分析用 SiEBERT。
• 差异检验为 Wilcoxon signed-rank test，p<0.01。Appendix C 只给出超参选定值，未报告各取值的评审分。Table 2 未写会议范围与 PDF/摘要设置。

PAA 是对 LLM-as-a-Reviewer 的 black-box 攻击：只改写摘要，用评审分做 ICL 搜索，并用 BERTScore 与困惑度限制语义和自然度。

• 问题：作者认为提示注入会改稿，因而分不清注入易感性和评审是否按实质打分。威胁模型里，论文作者是攻击者，LLM 审稿系统是被防御的对象。
• 做法：Matk 每步生成 K=8 条释义，迭代步对每条采 N=8 次分并平均，搜索 T=32 步；τsim=0.85，αppl=1.2。x* 是累计最高分候选，写回 LaTeX 后重编译。Mrev 为 GPT-4o、Gemini 2.5、Sonnet 4，说明来自五个 2025 会议，主结果对三套模板平均。
• 主结果：Table 1 为三次 LLM-as-a-Reviewer runs 的平均。各会议的 PAA 数值都高于 Original 与 Paraphrase。ICLR 2025（表注 0–10）Original 为 4.2，Sonnet 4 斜线右为 6.4。Qwen 3 在 ACL 为 2.8、在 NeurIPS 为 2.9，没有 p<0.01 标记。表注称斜线右是仅摘要，且右值都高于左值；正文另有“全文 PDF 更好”一句，与表不符。
• 其余结果：Table 2 中 Sonnet 4 的 matched 为 4.5、mismatched 为 3.8，Original 写在 Mismatched 列为 2.7。Table 3 里 PAA 的语义分与 Paraphrase 同量级，PAIR 为 0.7、0.5、0.5。Table 4 中 ICLR 2025 上 Sonnet 4 相对真实审稿的差值为 1.9，Original 为 -0.4。作者称再释义只能部分缓解，评审困惑度上升或可作检测信号。
• 作者的结论：若部署 LLM-as-a-Reviewer，需要做安全评估。作者称保密评审模型只能缓解攻击，因为释义可迁到另一个 Mrev。Limitations 写查询次数为 32 × 8 × 8 = 2, 048，且只覆盖英语与摘要。