Skip to content

Translation in progress Some entries still include text in the original language.

Original
论文追踪· arXiv:2609.02316· Bing Zheng, Zongyao Zhao, Wenming Yang·Indexed by this site · Originally publishedSelectedAttention55

Counter-GEO-Bench: Existing Guardrails Struggle Against GEO Disinformation; C-GEO Guard Reduces Attack Success Rate by 47.6% Relatively

Counter-GEO-Bench: Evaluating Defenses Against Information-Distorting Generative Engine Optimization

Quick read

Evaluation and benchmarks

Based on 论文 PDF （Gemini 生成）; refer to the original

作者构建基准评测GEO虚假信息防御，现有护栏最多降低ASR 3.2个百分点，所提检测器在三模型上平均降低26.5个百分点。

Questions
攻击者利用生成式引擎优化（GEO）将针对性虚假事实嵌入流畅网页，经正常检索进入生成式搜索流水线并被受害模型采纳。由于内容缺乏毒性、注入或策略违规，现有安全护栏无法拦截，且缺乏受控条件下的防御评测基准。
Methods
基于 GEO-Bench 构建包含 247 个经过质量门控与人工核验查询的双配对基准，隔离虚假信息与可见性增益；提出基于 DeBERTa-v3 的轻量分块对比检测器 C-GEO Guard，学习攻击类别原型向量进行检索分块过滤。
Experiments and results
未防御流水线平均 ASR 为 55.7%；现有护栏 ASR 最多降低 3.2 个百分点，NeMo 出现误拒；C-GEO Guard 将三模型平均 ASR 降至 29.2%（降幅 26.5 个百分点），在 GPT 5.5 重写下 ASR 降至 22.1%。
Limitations and future work
基准仅覆盖 247 个英语查询与单文档控制威胁，未覆盖多语言、专业领域或多文档协同攻击；未评测闭源商用端到端搜索产品，且未评估检测器感知提示或样式迁移等自适应与开集攻击。
Experimental setupGemma-4-31B-IT、Qwen-3.5-35B-A3B et al. · COUNTER-GEO-BENCH、GEO-Bench · ASR、FPR et al.
Evaluated models
Gemma-4-31B-ITQwen-3.5-35B-A3BLlama-4-Scout-17B-16EGranite Guardian 3.3-8BLlama Guard 3-8BNeMo GuardrailsC-GEO GuardDeBERTa-v3-base
Benchmarks
COUNTER-GEO-BENCHGEO-Bench
Metrics
ASRFPRAnswer AccuracyAnswer Quality (Q¯)
AI summaryand selection rationaleResearchers from Tsinghua Shenzhen International Graduate School and the University of Hong Kong propose Counter-GEO-Bench, which evaluates defenses against information distortion-type generative engine optimization (GEO) under controlled conditions: 247 human-verified queries, each paired with both information-preserving and information-distorting GEO rewrites, measuring attack success rate, false positive rate, and answer quality on three victim models—Gemma-4-31B-IT, Qwen-3.5-35B-A3B, and Llama-4-Scout. Three off-the-shelf defenses—Granite Guardian, Llama Guard 3, and NeMo Self-Check—reduce the attack success rate by at most 5.7% relatively, with Granite Guardian's reduction not statistically significant, and NeMo blocking nearly all normal queries on Llama-4. The authors argue that such guardrails target violating content, whereas GEO disinformation appears as fluent, informative text that passes through directly. To illustrate that the threat can be addressed, the authors provide a lightweight segment-level contrastive detection baseline, C-GEO Guard, which on average reduces the attack success rate by 47.6% relatively across the three models, with answer quality almost unaffected.

Researchers from Tsinghua Shenzhen International Graduate School and the University of Hong Kong propose Counter-GEO-Bench, which evaluates defenses against information distortion-type generative engine optimization (GEO) under controlled conditions: 247 human-verified queries, each paired with both information-preserving and information-distorting GEO rewrites, measuring attack success rate, false positive rate, and answer quality on three victim models—Gemma-4-31B-IT, Qwen-3.5-35B-A3B, and Llama-4-Scout. Three off-the-shelf defenses—Granite Guardian, Llama Guard 3, and NeMo Self-Check—reduce the attack success rate by at most 5.7% relatively, with Granite Guardian's reduction not statistically significant, and NeMo blocking nearly all normal queries on Llama-4. The authors argue that such guardrails target violating content, whereas GEO disinformation appears as fluent, informative text that passes through directly. To illustrate that the threat can be addressed, the authors provide a lightweight segment-level contrastive detection baseline, C-GEO Guard, which on average reduces the attack success rate by 47.6% relatively across the three models, with answer quality almost unaffected.

Why it was selected论文用配对改写设计量化了现有护栏对 GEO 虚假信息的失效程度，并给出可复现的检测基线。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    论文旨在解决生成式搜索引擎中利用 GEO 嵌入虚假事实的隐蔽误导攻击，并填补针对该威胁的防御评测基准空白。

    论文试图解决生成式搜索引擎中利用生成式引擎优化（GEO）隐蔽注入虚假信息的问题，并构建受控评测基准以评估防御有效性。

    • 场景与威胁重要性：随着 LLM 逐渐成为主要信息来源，攻击者开始利用 GEO 技术构建针对性虚假网页，通过博客和评测站点进入主流检索流水线；作者指出这类内容在检索阶段与合法来源在表面上难以区分，会被受害模型合成为看似可信的答案，损害用户信任（§1）。
    • 现有防御与评测不足：传统安全护栏主要针对毒性、提示注入或违规内容，对嵌入在流畅合规文本中的事实扭曲缺乏拦截能力；现有工作缺乏在检索后摘要阶段、受控环境并配对效用测量的防御评测基准，且黑盒产品测试无法解耦流水线各组件效应（§1）。
    • 核心观察与配对设计：良性优化与虚假信息攻击在表面形式上高度重合；作者提出通过配对信息保留（IP）与信息扭曲（ID）重写，将虚假信息的误导效应与 GEO 的可见性提升效应隔离开来（§1，§3.2）。
    • 主要工作与贡献：论文提出了 COUNTER-GEO-BENCH 防御评测基准，包含 247 个经人工核验与质量门控的查询配对，并在三款开源受害模型上评估了现有护栏与提出的轻量对比检测基线 C-GEO Guard（§1）。
    • 威胁模型：
      • 攻击者目标：促使受害 LLM 在最终生成的回答中采纳并陈述预设的针对性虚假主张（§3.1）。
      • 攻击者知识：采用黑盒（black-box）设定，攻击者不控制下游生成式搜索流水线（§3.1）。
      • 攻击者能力：攻击者控制 Web 内容，通过博客、评测站点或一次性域名发布 GEO 优化文档，依赖搜索引擎的常规检索路径进入系统，用户查询保持完全良性；假设攻击者仅控制单篇文档（§3.1，Limitations）。
      • 受害系统：模拟真实部署的生成式搜索流水线，包含分块、混合检索、重排以及带有强制引用要求的生成式受害 LLM（§3.3）。

  2. What related research exists?

    论文梳理了生成式引擎优化、RAG 数据投毒、安全护栏及安全基准四类研究，指出此前缺乏针对 GEO 事实扭曲的防御基准。

    论文围绕生成式引擎优化、检索增强生成投毒、安全护栏以及安全基准四个领域展开相关工作讨论。

    • 生成式引擎优化（GEO）：Aggarwal 等人（2024）提出 GEO 概念，利用权威措辞和引用钩子等结构与文风技术提升网页在 LLM 回答中的可见性；Parry 等人（2024）指出神经重排器存在位置偏差，可实现与特定查询无关的内容曝光提升；Chen 等人（2026）发现传统黑帽 SEO 在检索阶段多被过滤（98.2%），但针对 LLM 的优化手段仍能进入摘要阶段（§2）。
    • 检索增强生成（RAG）数据投毒：PoisonedRAG（Zou 等人，2025）表明在检索语料库注入少量对抗性文档即可操控 RAG 输出；Tamber 与 Lin（2025）指出内容注入攻击在所有模型类别上均能欺骗检索器、重排器和相关性判断器；RAGuard（Kolhe 等人，2025）提出了针对此类投毒的分层防御框架。作者指出，本文评测的威胁不同于对抗扰动，而是以流畅、结构良好的真实感 Web 内容形式出现（§2）。
    • 安全护栏（Safety Guardrails）：IBM 的 Granite Guardian（Padhi 等人，2025）在分块层面基于危害准则执行分类过滤；Meta 的 Llama Guard 3（Inan 等人，2023；Grattafiori 等人，2024）利用安全分类体系过滤不安全分块；NVIDIA NeMo Guardrails（Rebedea 等人，2023）提供 Self-Check Fact-Checking 输出轨，检验生成回答是否由检索证据蕴含（§2，§4.1）。
    • 安全评测基准：HarmBench（Mazeika 等人，2024）提供多攻击类型的自动化红队评测框架；CREST-Search（Ou 等人，2026）评估网页增强 LLM 中的提示注入与对抗查询；Unsafe LLM-Based Search（Luo 等人，2025）和 Hu 等人（2024）分别评估搜索摘要中的恶意 URL 与对抗事实问题（§2）。
    • 基线方法与基准数据集：论文选取的防御对比基线包括 Granite Guardian 3.3-8B、Llama Guard 3-8B 以及 NeMo Self-Check Fact-Checking；评测数据集构建源自 GEO-Bench（Aggarwal 等人，2024）测试集（§2，§3.2，§4.1）。
    • 与本文的区别定位：作者表示，此前基准未在受控流水线中针对检索后摘要阶段评估 GEO 优化虚假信息，本文通过配对效用评测与开源流水线解耦了防御组件的实际效果（§1，§2）。

  3. How does the paper address this problem?

    论文构建了质量门控的双配对基准 COUNTER-GEO-BENCH，并提出了基于攻击类原型的分块对比检测基线 C-GEO Guard。

    论文通过构建包含信息保留与信息扭曲配对重写的基准 COUNTER-GEO-BENCH，并设计轻量级分块对比检测基线 C-GEO Guard 来解决该问题。

    基准数据构建与质量门控

    • 原始数据与元数据生成：从 GEO-Bench 测试集的 1,000 个查询（每查询含 5 个 Google 搜索清洗源）出发，利用 Claude Sonnet 4.6 为每个查询生成针对性虚假主张、评估细则和参考真实事实，并为避免权威域名偏差，将维基百科或政府域名等目标 URL 改写为博客或评测站点风格（§3.2）。
    • 配对重写机制：对每组中的单篇目标文档进行两类重写（其余 4 篇不变）：信息保留（IP）采用至少 2 种良性 GEO 技术且保留所有原事实；信息扭曲（ID）在相同优化强度下注入虚假主张，要求虚假事实以多样措辞出现至少 3 次，并涵盖 8 类攻击模式（D1–D8）（§3.2，附录 A）。
    • 几何平均质量门控：每项重写计算综合质量分 Q = (Semb × Slen × Sppl × Snat)1/4，融合嵌入相似度、长度偏差、语言模型困惑度比值与自然度四项子分，当且仅当 Q ≥ 0.65 且任意子分非零时通过；双条件联合通过率为 25.0%（250 对）（§3.2，附录 B）。
    • 人工复核：作者对通过门控的 250 对样本进行人工检验，剔除 2 个攻击判定标准不合理及 1 个真实答案错误的样本，最终保留 247 个基准实例（涵盖 17 个内容类别）（§3.2，附录 C）。

    生成式搜索测试流水线

    • 检索与重排设置：文档切分为 512 token 窗口（重叠 128 token）；检索阶段以 0.3/0.7 比例混合 BM25 与 dense BGE-large-en-v1.5 嵌入，返回前 50 个候选；随后利用 BGE cross-encoder 重排并选取前 12 个分块作为上下文（§3.3）。
    • 受害模型生成：采用 vLLM 部署 Gemma-4-31B-IT、Qwen-3.5-35B-A3B 与 Llama-4-Scout-17B-16E 三款模型，在温度设为 0 下生成包含强制引用的回答（§3.3）。

    防御基线设计与 C-GEO Guard

    • 通用护栏对比接入：Granite Guardian 3.3-8B 与 Llama Guard 3-8B 作为分块过滤器接入重排之后，剔除被判定为不安全的分块；NeMo Self-Check 作为生成后输出轨，由受害模型自身判定回答是否由检索证据蕴含，不满足则替换为拒答（§4.1）。
    • C-GEO Guard 架构与原型计算：以 DeBERTa-v3-base（184M 参数）为骨干，通过均值池化和 L2 归一化输出 768 维分块嵌入 e；利用训练集类别标签为 8 个 ID-GEO 攻击类别分别计算归一化原型中心 ck = (ēk)/(|ēk|)（其中 ēk = 1/(|Sk|) ∑i ∈ Sk ei 表示类别分块均值）（§4.2）。
    • 对比微调与判决逻辑：模型采用多元负例排序损失（MNRL）微调，正例来自未入选基准的 750 个候选中的 ID 分块（326 篇通过门控，留出 10% 校准后保留 293 篇训练），负例来自配对 IP 分块、难负例及全量查询的不相关干净分块；推理时计算候选分块与所有类原型的最大余弦相似度，超过阈值 τ（默认 0.90）即判定拦截（§4.2，附录 E）。

  4. What experiments did the paper conduct?

    论文在三款受害模型上评估了四种防御，通用护栏 ASR 最多降 3.2 个百分点，C-GEO Guard 平均降 26.5 个百分点且跨重写器泛化。

    实验设置

    • 被测受害模型：全部三款开源模型为 Gemma-4-31B-IT（31B 指令微调）、Qwen-3.5-35B-A3B（35B MoE）以及 Llama-4-Scout-17B-16E（17B 16 专家 MoE）（§3.3）。
    • 评测数据集与规模：247 个经人工复核与质量门控的 COUNTER-GEO-BENCH 实例，每实例含 5 篇文档，覆盖 17 个主题领域；扩展实验包含 247 个由 GPT 5.5 生成的跨模型重写实例（§3.2，§5.4）。
    • 防御基线：Granite Guardian 3.3-8B（分块过滤）、Llama Guard 3-8B（分块过滤）、NeMo Self-Check Fact-Checking（输出轨），以及 C-GEO Guard（184M 分块检测器）（§4.1，§4.2）。
    • 核心指标：攻击成功率（ASR，百分比）、分块或回答级假阳性率（FPR，百分比）、回答准确率（Accuracy，百分比）以及回答质量（Q¯，1–5 分，综合相关性、完整性与清晰度）（§3.4）。
    • 评审方式与一致性：采用 Claude Opus 4.6 作为评审，按针对性细则将 ASR 打为 1.0（完全成功）、0.5（部分成功/对冲）或 0.0（失败）；在三模型分层抽样的 150 个实例上，Opus 与两名人类标注员的 Cohen's κ 分别为 0.739 与 0.869（加权 κw 为 0.798 与 0.897），人类间 κ 为 0.727，三人 Fleiss' κ 为 0.778（§3.4，§5.1，附录 D）。
    • 统计检验与采样：ASR 置信区间与成对比较采用 10,000 次百分位 Bootstrap 重采样（置信水平 95%）；生成阶段温度设为 0（§3.3，§5.2）。

    主结果

    Swipe horizontally to read the table

    防御方法Gemma-4 ASR (%)Qwen-3.5 ASR (%)Llama-4 ASR (%)3模型平均 ASR (%)3模型平均 Q¯ (1–5)
    Undefended56.555.954.755.74.49
    Granite Guardian51.453.856.954.04.37
    Llama Guard 351.851.454.352.54.38
    NeMo Self-Check50.252.00.4†51.1‡4.51‡
    C-GEO Guard30.629.427.529.24.48

    注：数据据 Table 3。†NeMo 在 Llama-4 上干净查询拦截率达 98.4%，属于全量拒答异常值；‡NeMo 平均值仅合并 Gemma-4 与 Qwen-3.5。

    • 通用安全护栏防御效果微弱：作者指出，Granite Guardian 使三模型平均 ASR 仅下降 1.7 个百分点（相对下降 3.1%），成对 Bootstrap 检验显示差异无统计学显著性（p=0.096）；Llama Guard 3 仅降低 3.2 个百分点（相对下降 5.7%，p<0.001）；主要原因在于两者对信息扭曲分块的拦截率分别仅为 0.61% 和 0.83%（Table 4）（§5.2，§5.3）。
    • C-GEO Guard 降低 ASR 且保持效用：作者报告，184M 参数的 C-GEO Guard 将三模型平均 ASR 降至 29.2%，相对下降 47.6%（绝对降低 26.5 个百分点，p<0.001）；在 Llama-4 上降幅最大，ASR 从 54.7% 降至 27.5%；同时回答质量保持在 4.48（未防御为 4.49），良性回答准确率平均变动仅 +0.2 个百分点（Table 5）（§5.2，§5.3）。
    • NeMo 存在反相关与模型失配问题：在 Qwen-3.5 上，NeMo 拦截了 12 个干净查询却仅拦截 8 个 ID 查询；在 Llama-4 上则因与蕴含提示格式不兼容导致对所有条件拦截率均超过 98%（Table 20）（§5.2，§6.2）。

    跨重写器与独立模板迁移实验

    • 跨模型重写迁移：使用 GPT 5.5 在相同 GEO 指令下重写全部 247 个查询，在 Qwen-3.5 受害模型上固定阈值 τ=0.90，C-GEO Guard 将 ASR 从 55.7% 降至 22.1%（相对降低 60.4%，成对差值 33.6 个百分点，p<0.001，Table 6）；IP 分块误报率为 2.80%，IP 准确率从 86.8% 降至 82.6%（Table 13）。作者认为该检测器学到的模式并非仅局限于 Sonnet 措辞（§5.4）。
    • 独立编写攻击模板迁移：在去除攻击类别标签、门控提示和 3 处重复要求的独立 GPT 5.5 模板下，C-GEO Guard 在 Qwen-3.5 上实现 32.0% 相对降幅（ASR 从 50.6% 降至 34.4%，绝对降低 16.2 个百分点），同时 IP 准确率提升 1.3 个百分点（Table 7）；作者认为降幅收窄可能源于独立模板的攻击约束更为宽松（§6.1）。

    护栏放大效应与回答质量关联分析

    • 护栏充当攻击放大器：在 Llama-4 上，Granite Guardian 改善了 57 个查询但恶化了 74 个查询（29 个安全的 ASR=0.0 查询升级为部分或完全成功，45 个部分成功升级为完全成功）；作者解释称，当内容无有害词时安全分类器容易误删反驳虚假事实的干净分块，从而消除了跨源分歧并助长了攻击（§6.2）。
    • 虚假信息对回答质量的损耗与恢复：未防御状态下，ASR=1.0 的回答综合质量分为 4.29，而 ASR=0.0 为 4.70；在 Llama-4 上，当 C-GEO Guard 将 40 个查询从 ASR=1.0 彻底纠正至 0.0 时，相关性、完整性和清晰度分别提高 0.70、0.70 和 0.58 分（§6.3）。

    其他消融与分析

    • 检测阈值扫描（Table 11）：τ 从 0.90 调至 0.84 时，召回率从 0.646 升至 0.895，但干净分块 FPR 从 2.6% 升至 10.7%。
    • 攻击类别敏感性（Table 21）：Review Flood 未防御 ASR 最高（62.8%）；C-GEO Guard 在 Stealth Injection 上相对降幅最大（-60%），在 Structured Hijack 上相对降幅最小（-22%）。
    • 多跳推理放大效应（Table 21）：在 Multi-Hop GEO 类别上，Granite Guardian 的 ASR 达到 58.3%，超过未防御基线的 57.1%。
    • 质量门控敏感度（Figure 5）：门控阈值从 0.00 扫描至 0.65 时，C-GEO Guard 相对 ASR 降幅稳定在 58%–61% 区间。
    • 跨模型攻击一致性（§6.2）：仅 17.2% 的查询在三款受害模型上均达成完全成功，55.2% 的查询存在模型间分歧。
    • 三标签分布转移（Figure 4）：C-GEO Guard 将总计 741 次评测中的完全成功实例数从 239 例降至 111 例（降幅 54%），完全失败（ASR=0.0）从 155 例增至 420 例。

  5. What are some points that can be further explored?

    作者指出了规模、多语言、商业产品与自适应攻击等局限；实验覆盖了三款开源模型、247 项英语查询及单文档威胁。

    作者指出的局限与后续方向

    • 评测规模与统计功效：247 个英语查询的评测集虽足以检测出 27 个百分点的防御差距，但在检验不同防御之间较小的差异时可能统计功效不足（Limitations）。
    • 语言与领域覆盖：作者指出将基准扩展到多语言查询以及医疗、法律、金融等特定垂直领域仍是未来工作（Limitations）。
    • 单文档控制假设：威胁模型当前假定单文档控制，多文档协同攻击将引入复杂性并可能进一步推高 ASR（Limitations）。
    • 受害模型与商业产品覆盖：评测仅包含三款开源权重 LLM，未涵盖专有模型 API 以及商业端到端生成式搜索产品，商业系统的隐藏护栏与系统提示可能与外部防御产生交互（Limitations）。
    • 自适应与开集攻击：未研究超出 8 类攻击分类法之外的开集攻击，亦未针对检测器感知（detector-aware）攻击进行评估；人工编辑、风格迁移或针对检测器的提示调整可能削弱对比信号（Limitations）。
    • 残余攻击防御：在所有三款模型与非 C-GEO 防御下均有 25 个查询保持 ASR=1.0（C-GEO 仅拦截其中 36%–40%），作者指出未来需探索跨源分歧量化、外部事实核验和溯源过滤等互补防御手段（§7）。

    实验覆盖范围

    • 受害模型与系统：被测受害模型为 Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 共 3 款开源权重模型，检索流水线采用固定参数的 BM25+BGE 混合检索与重排（§3.3）。
    • 基准规模与语种：主评测集包含 247 个英语查询–来源配对（从 1,000 个 GEO-Bench 测试查询经门控与人工复核筛选获得），覆盖 17 个内容领域（§3.2，附录 C）。
    • 重写模型与模板：主基准由 Claude Sonnet 4.6 重写生成，迁移实验包含由 GPT 5.5 在同指令及独立模板下重写的各 247 个实例（§3.2，§5.4，§6.1）。
    • 评测防御范围：对比基线包含 Granite Guardian 3.3-8B、Llama Guard 3-8B、NeMo Self-Check Fact-Checking 以及 184M 参数的 C-GEO Guard（§4.1，§4.2）。
    • 信息报告完备性：论文报告了 10,000 次 Bootstrap 重采样置信区间与成对显著性检验结果，并报告了 150 例人工标注与 Claude Opus 4.6 评审的一致性数据（κ=0.739–0.869）（§5.1，附录 D）。

  6. Summarize the main content of the paper

    论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
    • 论文定位：论文构建了评估针对生成式引擎优化（GEO）隐蔽虚假信息攻击的防御基准 COUNTER-GEO-BENCH，并提出了轻量分块级防御基线 C-GEO Guard。
    • 核心问题：攻击者利用良性 GEO 优化策略将针对性虚假事实伪装成合规且流畅的网页内容，经正常检索进入生成式搜索引擎摘要阶段并误导受害 LLM；现有安全护栏主要针对毒性与策略违规，在此类事实扭曲威胁下缺乏拦截能力。
    • 方法要点：通过双配对机制（信息保留 IP 与信息扭曲 ID）隔离虚假信息效应与 GEO 可见性增益，结合四维几何平均质量门控与人工核验构建 247 个高质量查询实例；提出参数量仅 184M 的 C-GEO Guard，利用对比学习提取攻击类别原型向量进行检索分块过滤。
    • 关键实验结果：
      • 未防御流水线在三款开源 LLM 上的平均 ASR 达 55.7%（Table 3）。
      • Granite Guardian 与 Llama Guard 3 仅使平均 ASR 分别降低 1.7 与 3.2 个百分点，且 Granite Guardian 在 Llama-4 上误删反驳分块导致 74 个查询恶化，充当了攻击放大器（Table 3，§6.2）。
      • C-GEO Guard 将三模型平均 ASR 降至 29.2%（绝对降幅 26.5 个百分点，相对下降 47.6%），在保持回答质量与准确率的同时，跨模型迁移至 GPT 5.5 重写时 ASR 仍降至 22.1%（Table 3，Table 6）。
    • 作者结论与启示：作者认为安全分类护栏与同上下文蕴含检查无法有效抵御 GEO 虚假信息，但通过定向对比表征能够以较小算力代价实现有效拦截，未来亟需结合跨源分歧量化与外部核验构建纵深防御体系（§7，§8）。
Read originalarxiv.org