GEO-Flag：检测与测量面向生成式引擎优化的网页内容

生成式搜索把网页合成进单一答案，GEO优化页可能获得与权威性不相称的可见度，但判断网页是否经过GEO干预的系统方法仍然不足。

• 场景：Perplexity、Google Gemini-Grounded Search等引擎检索多页并合成带行内引用的答案。作者认为这比列出竞争来源更不直接显示出处和权威性（Figure 1）。
• 风险：作者认为高度优化的页面可能排挤权威性或相关性更高的来源，并可能被用来让薄弱或虚假信息显得有支持，例如一处发布主张、另一页引用该URL。作者称用户因此更少核验底层来源。
• 不足：作者称已有工作主要研究如何提高生成式引擎中的可见性，反向问题——网页是否被故意做过GEO——关注较少，缺少系统检测工具。
• 任务边界：要检测的是GEO干预是否存在，不是作者身份或文风。人写或AI生成的内容都可以是GEO或非GEO。输入为instance-only：只看结果内容，不见原文、构造提示词或来源元数据。
• 本文做法：提出GEOFlagBench（3200条、400查询、四领域、八类优化器）并评测现有检测器，再提出Intervention-Paired Training（IPT）和GEO门控的引用URL审计，并在发布的检索结果上估计流行率。

论文把相关工作分成生成式搜索、GEO优化，以及目标不同的检测研究。

生成式搜索

• 检索增强生成：Lewis等（2020）研究检索外部来源并生成对用户查询的直接答案。
• 引用是否支持生成内容：Liu等（2023）检查被引来源是否支持生成内容，发现大量引用与归属错误。
• 来源集合：Kirsten等（2026）报告生成式搜索检索到的来源可与传统网页搜索明显不同，重复执行之间也会变化。

生成式引擎优化

• GEO的提出：Aggarwal等（2024）把GEO作为提高内容在生成式搜索回复中可见性的创作者侧方法。作者称此后范围超出相对简单的内容改写。
• 排序与来源选择：Pfrommer等（2024）研究检索网页中的提示注入如何改变对话搜索的排序；Nestaas等（2025）研究对网页的对抗性改动如何影响这些系统选择哪些来源。
• 自动改写与收益：Wu等（2025）的AutoGEO学习引擎偏好并据此改写网页。Puerto等（2025）的C-SEO Bench中，策略跨任务和领域并不总是一致，更多发布者采用后收益可能下降。

与检测相关的工作

• 攻击或优化是否有效：作者称与优化相比，直接检测GEO仍较少被探索。Nimase等（2026）的GEO-Bench评估标准化排序攻击及其隐蔽特征；SafeGEO（Wen等，2026）研究推荐智能体在卖家控制的证据被策略性改写时是否仍稳健。作者称这些基准主要看攻击或排序操纵是否有效，而不是网页是否经历过GEO干预。
• 机器生成文本检测：Mitchell等（2023）与Verma等（2024）的Ghostbuster判断文本是否由模型生成。作者称这回答的是另一问题：不是任意作者身份的内容后来是否被为生成式搜索优化。

基线与数据

• 基线方法：微调ModernBERT-base与Qwen3-0.6B，字符/词TF-IDF加逻辑回归，Ghostbuster特征、GPT-2困惑度特征、结构特征加XGBoost，Pangram与GPTZero，三个零样本LLM，以及在训练集上做一维逻辑回归校准的AI文本分数。
• 基准/数据集：检测评测用自建GEOFlagBench；部分查询来自GEO-Bench测试划分。真实估计使用ORCAS，以及Grossman等发布的Google Search与Gemini URL列表。

作者把页面级GEO检测表述为独立任务，并在多个优化器家族上评测，以区别于可见性优化和机器生成文本检测。

先用带记录干预的GEOFlagBench测量现有检测器，再用Intervention-Paired Training（IPT）约束检测器对GEO干预与非GEO润色的不同响应，最后只审计被判为GEO的页面所引用的URL。

检测任务与基准构造

• 标签：给定内容实例x，预测它是否经历过旨在提高生成式搜索可见性、排序或被选中可能的GEO干预。标签由记录的优化操作决定，不由文风或检测器预测决定（Table 9）。
• 划分与输入：instance-only，不见原文、构造提示词或来源元数据。同一查询的实例进入同一划分；按领域分层，每领域70个查询训练、30个测试，共2238与962条。概率分类器阈值0.5。
• 非GEO：每查询三条对照。人写种子限定在2022年10月1日之前，并核对无此后修改记录。AI润色只改语法、拼写、标点和措辞，400条分给八个LLM各50条。AI生成先由Claude Opus 4.6做结构化摘要，再写成相近长度的新文章。润色提示词与生成提示词都不含GEO目标；AI润色从不作为GEO种子。
• GEO：八个家族共2000条，人写种子1050、AI生成种子950（Table 10–11）。家族为GEO Strategy Pool、AutoGEO、PMA、RAID G-SEO、Meta-Optimization，以及两个减少明显优化模式的stealthy变体和由两人执行的Human GEO。适用处使用多个执行LLM。400条查询经两名作者独立复核。各家族中位词重叠从PMA的0.99到Meta-Optimization与Stealthy GEO Strategy Pool的0.55（Table 11）。

Intervention-Paired Training

• 样本对：正样本对（xo, xg）要求GEO干预后的logit至少比原文高幅度m。零样本对（xo, xp）是原文与AI润色版，要求两侧logit接近，从而不把单纯LLM编辑当成GEO。对内原始作者身份固定。
• 目标：实例损失为sigmoid后的二元交叉熵。完整目标为 L_IPT=L_cls+α L₊+β L₀。L+惩罚升幅不足m的正样本对，L0是零样本对logit差的绝对值。未配对实例只受分类损失。推断仍是单实例；样本对只用训练查询。
• 生成式IPT：Qwen3-0.6B用LoRA先生成推理再给出Yes/No。分数定义为 z_θ(x)=ℓ_θ(Yes∣ x)−ℓ_θ(No∣ x)，取结论位置并含前面的推理上下文。语言建模损失替换分类损失，两类成对损失形式不变。
• 设置：学习率2×10−5，m=2，α=1，β=1。ModernBERT-base用8192 token、5个epoch；Qwen3-0.6B用4096 token、10个epoch、LoRA rank 16。附录B另用梯度反转层抑制表示中的原始作者身份，作为对照；推断时不用该头。

七类归因

• 类别：non-GEO、AutoGEO、GEO Strategy Pool、PMA、RAID、Meta-Optimization、Human GEO。两个stealthy变体并入对应的非stealthy家族。
• 约束：六个GEO类logit做log-sum-exp后减去non-GEO logit，再套用与二分类相同的正样本和零样本约束；分类损失改为七类交叉熵。划分与第2节相同。

GEO门控的两阶段审计

• 阶段1：检测器输出GEO或NON-GEO。NON-GEO停止。GEO页进入引用审计（Figure 3）。
• 抽取与可访问性：确定性解析器规范化引用URL；无引用则记NO_CITATION。可访问性检索为HTTP GET，跟随重定向，超时20秒，最多两次；失败再查Internet Archive，并映射到Table 17的三档。
• 来源层级与汇总：子智能体按Table 16标C1、C2或C3。实现支持网页搜索和来源列表，但实验中二者关闭且列表为空。Figure 4把来源层级与可访问性映射为HIGH、MEDIUM或LOW。作者称该标签描述可检查性与来源问责，不表示主张事实正确，也不表示引用内容在语义上支持该主张。

作者在query不相交的GEOFlagBench上比较现有检测器与IPT，并在独立引用集和发布的检索结果上做审计与估计。

实验设置

• 检测数据：GEOFlagBench共3200条。固定测试集962条，其中non-GEO 360、GEO 602（Table 1）。训练2238条。作者身份四组为human non-GEO 240、AI non-GEO 120、human GEO 321、AI GEO 281；AI润色计入human non-GEO。
• 检测器：微调ModernBERT-base（1024与8192 token，5 epoch）和Qwen3-0.6B（SFT，10 epoch）；字符/词TF-IDF、Ghostbuster特征、GPT-2困惑度、十个结构特征加XGBoost；Pangram与两种GPTZero映射；零样本Qwen3-0.6B、Gemini-3.5-flash、Haiku-4.5；以及训练集一维逻辑回归校准的四种AI文本分数。逻辑回归C=1、最多1000次迭代；XGBoost为200棵树、最大深度6、学习率0.1。
• 指标：准确率与以GEO为正类的F1；多类任务用macro F1。WGA是四组准确率的最小值。∆FPR、∆TPR是AI与human组之间假阳率、真阳率绝对差。概率分类器阈值0.5。论文未报告检测实验的重复次数。
• IPT：同一划分；学习率2×10−5，m=2，α=1，β=1。ModernBERT用8192 token、5 epoch；Qwen用4096 token、10 epoch、LoRA rank 16。
• 引用审计：562条、281对，查询与GEOFlagBench不重叠（Finance 54、Health 68、Technology 97、Travel 62）。门控为ModernBERT-IPT。六种智能体：Kimi K3、Qwen 3.6 35B-A3B、GLM 5.2、Claude Haiku 4.5、GPT 5.6 Luna、Gemini 3.5 Flash；支持时temperature为0，否则用默认设置。
• 真实估计：ORCAS经规范化剩4999条，按意图与长度分层抽1000条。渠道为Grossman等发布的Google Search与Gemini（Gemini 2.5 Flash加Google Search grounding）URL。抓取时间为2026年7月28日至31日。检测器不重新训练；只有判为GEO的页进入GLM 5.2审计。

主结果

下表为同一固定测试集。前七行据Table 3；末行Acc与F1据Table 1，WGA与∆FPR据Table 2。已列入WGA最低的方法。省略Table 3的ModernBERT (1K)与ModernBERT-GRL，以及Table 1中F1为0.878的字符TF-IDF等行。

表格较宽，可左右滑动

方法	Acc.	F1	WGA	∆FPR
TF-IDF word (1-2)+LR	0.846	0.880	0.375	0.558
Pangram	0.838	0.876	0.192	0.767
ModernBERT (8K)	0.839	0.862	0.725	0.263
Qwen3-0.6B (SFT)	0.778	0.833	0.325	0.413
ModernBERT-IPT	0.931	0.944	0.883	0.108
Qwen-IPT	0.860	0.883	0.775	0.158
Qwen3-0.6B零样本	0.627	0.770	0.008	0.000
Ghostbuster off-shelf+LR	0.626	0.770	0.000	0.000

• 聚合与捷径：作者认为GEO干预留下了可检测信号，但家族之间差别大；高聚合分数仍可能依赖原始作者身份或通用LLM写作线索，而不是GEO特有干预。作者称该分析是观察性的，没有确定任何检测器的内部决策规则。
• IPT：作者称IPT同时改善总体表现和捷径诊断，且没有不成比例地偏向单一组。作者报告ModernBERT的∆TPR从0.117降到0.062。
• Qwen：作者称Qwen使用IPT后亦有改善，但未超过ModernBERT。零样本Qwen的小组差距很小，作者认为主要来自分类表现差、预测几乎恒定，而不是对作者身份捷径稳健。

方法级召回与作者身份

• 测了什么：Table 2报告PMA、AutoGEO-Light、Human GEO的召回，以及四组作者身份诊断。PMA在附录Table 13中拆成Combo、Inject、Persuade。
• 结果：词TF-IDF的PMA召回0.908、AutoGEO-Light召回0.423、Human GEO召回0.704。字符TF-IDF的AutoGEO-Light召回0.308。Gemini-3.5-flash与Haiku-4.5在PMA上召回均为0.987，Human GEO上分别为0.037和0.074；GPTZero的Human GEO召回为0.074。Pangram的WGA为0.192、∆FPR为0.767。
• 作者解读：作者认为PMA更显式，可能留下更强词汇或风格信号；AutoGEO-Light只改有限部分，信号可能被未改原文稀释。Human GEO召回偏低使作者认为一些检测器可能依赖人机作者线索。校准后几乎全判为GEO的分数召回接近1，但WGA接近0；作者认为这来自恒定预测。

引用URL审计

• 门控：562条上准确率93.95%、F1 93.63%；GEO类精确率98.81%、召回88.97%。129个含引用的金标GEO中106个被检出，进入条件评测的引用为1653/2160次。另有3个non-GEO通过门控，不计入该条件评测。
• 智能体：Table 5中GLM 5.2的来源层级为84.75% / 84.02% macro F1，可核验性为83.00% / 83.20%。作者称相对次优模型，准确率提高6.29和6.35个百分点。Gemini 3.5 Flash为62.07% / 58.10%与62.31% / 63.05%。GLM 5.2对LOW的精确率为92.47%，召回75.84%；C3召回71.46%、精确率90.39%。
• 人工：两名标注者对2160次引用的来源层级一致率80.39%，Cohen's κ=0.70；第三人复核分歧，多数表决。可核验性一致率84.16%，κ=0.75。

真实检索中的估计

• 页面：13,985个唯一URL中10,095页可用，覆盖72.18%（Table 18）。作者报告898页被判为GEO，估计占比8.90%（95% Wilson CI [8.36%, 9.47%]）。Google Search为441/5,421（8.14%），Gemini为599/6,590（9.09%），页级差0.95个百分点。965个配对查询的宏平均为7.91%与9.34%，差1.43个百分点（配对bootstrap 95% CI [0.46, 2.41]）。作者将这些结果称为估计：在线页无金标，流水线也会出错。
• 时间与域名：可解析dateModified占19.57%（1,976/10,095）。并集中2024、2025、2026年估计率为7.02%、12.80%、16.36%（Table 21）；2026年Google Search为13.52%，Gemini为18.20%。第5节作者认为较近修改页中GEO更常见。Table 7中en.wikipedia.org为0/613（0.00%），youtube.com为19/434（4.38%），amazon.com为11/54（20.37%）。作者认为一种可能解释是商业和创作者平台激励更强，但数据不能确定单页意图。
• 引用：898页中489页至少有一条解析出的引用，409页没有。并集6,663次引用中68.84%为C3、69.34%为LOW（Figure 6）。Gemini的LOW占比74.15%，Google Search为45.88%（Table 8）。作者称出版方问责是LOW的主要驱动；仅33次C1或C2因目的地不存在或无法充分解析而变为LOW。作者称Gemini检出GEO页的每次引用数为Google Search的1.80倍（8.80对4.90）。

其他消融与分析

• 七类归因：ModernBERT IPT的准确率0.906、macro F1 0.895；SFT为0.830与0.773（Table 4）。IPT的Human类召回0.759，SFT为0.333（Table 14）；IPT各类精确率至少0.804（Table 15）。
• β：β=1时F1 0.944、WGA 0.883、∆FPR 0.108；β=0.5时∆FPR 0.025、F1 0.931、WGA 0.857（Table 12）。
• GRL：ModernBERT-GRL的F1 0.897、WGA 0.783、∆FPR 0.171，增益小于IPT（Table 3）。
• 正类多数基线：把全部实例判为GEO时准确率0.626、F1 0.770；若干校准后的AI文本分数与此相同（Table 1）。
• 渠道独占页的C3占比：Gemini-only 80.23%，Google-only 49.96%，共享页36.45%。
• 无可用内容的URL为3,890；最终原因中持续HTTP 403占2,082（53.52%）（Table 22）。

作者在第7节把未见策略上的泛化、无金标的流行率估计，以及可核验性的解释范围写成需要分开看待的问题。

作者指出的局限与后续方向

• 未来策略：基准覆盖八个优化器家族，但作者称未来方法可能使用更小的改动，或使用为躲避检测而设计的不同策略。当前基准上的表现不能保证在未见策略上同样成立。作者称IPT可通过加入新的原文与优化文本对来更新检测器（第7节）。
• 后续基准：作者称未来GEO基准应控制作者身份，并包含成对、稀疏和由人执行的GEO干预（第7节）。
• 标记的含义：作者称GEO本身不一定恶意，GEO预测不表示网页虚假或有害。系统用于透明度与风险分析，而不是自动拦截或删除。C3或LOW只表示按定义出版方问责较弱或URL可访问性有限，不表示被引信息虚假或无支持（第7节）。
• 估计不是金标：作者称真实结果估计的是被分类为GEO的页面占比，不是直接测量发布者是否有意实施GEO。页面没有金标，检测器与引用URL智能体的错误会影响估计（第7节）。
• 修改时间：仅19.57%可用页有可解析dateModified，该出版方字段不表明GEO何时被施加。作者称2024到2026的上升应视为描述性趋势，而不是GEO采用增加的证据（第7节）。
• 可核验性范围：该指标衡量出版方问责和URL可访问性，不衡量被引主张是否正确或得到支持。可访问性会随页面被编辑、删除、存档或限制而变化（第7节）。

实验覆盖范围

• GEOFlagBench含3200条，400查询，Health、Finance、Technology、Travel各100条，八个优化器家族；query级划分下训练2238条、测试962条（第2.2–2.3节、Table 10）。
• Table 1的检测器包括微调ModernBERT-base与Qwen3-0.6B、五种特征分类器、Pangram与两种GPTZero映射、三个零样本LLM，以及四种训练集校准的AI文本分数。
• IPT用于ModernBERT-base与Qwen3-0.6B的二分类和七类归因；附录B报告GRL对照，以及β取0.5、1、2、4的结果。
• 引用审计使用与GEOFlagBench查询不重叠的562条、281对，以及六种智能体；条件指标基于1653次引用（第4.3–4.5节、Table 5）。来源层级人工一致率80.39%，κ=0.70。
• 真实估计使用ORCAS抽样的1000查询、Google Search与Gemini-grounded两个渠道和10,095个可用页，并报告Wilson区间与10,000次配对bootstrap区间（第5节）。论文未报告检测器实验的重复次数。

GEO-Flag把页面级GEO检测做成可评测任务，并在发布的检索结果上估计被判为GEO的页面占比。

• 问题：生成式引擎把来源合成进直接答案。作者认为GEO可能使可见度与权威性或相关性不相称，并让薄弱或虚假信息显得有支持；判断干预是否存在的系统工具仍然不足。
• 做法：GEOFlagBench从400条查询构造1200条非GEO对照和2000条GEO实例，覆盖八个优化器家族，按query不相交划分。IPT要求GEO干预后logit至少升高幅度m，非GEO润色后logit接近不变。被判为GEO的页面再由智能体抽取引用，按来源层级和可访问性映射HIGH、MEDIUM或LOW。
• 受控检测：962条测试集上，词TF-IDF的F1为0.880，但WGA为0.375、∆FPR为0.558。ModernBERT-IPT的F1为0.944、WGA为0.883、∆FPR为0.108。七类归因上IPT的macro F1为0.895。作者认为高聚合分数可能掩盖对作者身份线索的依赖。
• 审计：独立562条上门控F1为93.63%。在1653次条件引用上，GLM 5.2的来源层级准确率84.75%、可核验性准确率83.00%；六种智能体里Gemini 3.5 Flash为62.07%与62.31%。
• 真实估计：10,095个可用页中作者报告估计占比8.90%；可解析为2026年修改的并集页为16.36%。6,663次引用中69.34%为LOW，Gemini渠道为74.15%，Google Search为45.88%。
• 作者结论：作者称IPT减少对作者身份和通用AI写作线索的依赖，但当前表现不能保证迁到未见策略。真实数字是估计而非金标；GEO标记不表示页面虚假，LOW也不表示主张错误。