A Fudan team measures the citation fragility of AI search: ordinary posts can enter citations and answer text
From Public Posts to AI-Search Citations: Measuring the Fragility of AI Search
The authors mapped citation preferences across 10 mainstream AI search engines and conducted controlled posting, finding that 8 platforms cited a fabricated concept within 7 days and exhibited commercial GEO propagation chains.
攻击者无须访问目标AI搜索的模型权重、检索索引或排序代码,仅利用公共内容平台的常规发布接口(Tier 1极小发布者或Tier 2运营级发布者),在AI搜索高偏好源域名发布内容,使受控网页或标记进入AI搜索引用和回答文本中。
- AI搜索将网页检索与答案合成结合,若其高频引用的源域名允许普通用户低门槛发布内容,会形成“引用-治理差距”,使公开网络发帖成为影响AI搜索引用和回答文本的间接途径。
- 构建AICiteMonitor与InfluenceTracker工具,测绘10款AI搜索的源域名偏好与22个平台的发帖门槛,设计带归因标记的受控发帖实验,并通过真实GEO采购验证商业链路。
- 8款平台在7天内引用了虚构概念;在10个低风险主题复现中总体CR为32.4%、MAR为28.8%(Table VI);14美元商业GEO采购在1小时内使Doubao产生带标记引用。
- 作者指出无法给出低偏好与高偏好发帖的通用换算规则;受控实验多采用低先验或低竞争设计;RQ1使用设计问题集而非真实日志;数据来自2026年3-4月可能随平台更新漂移。
- Evaluated models
- GrokDoubaoChatGPTWenxinGoogle AIYuanbaoPerplexityDeepSeekKimiQwen
- Benchmarks
- RQ1 Query Panel (120 queries)RQ2 Controlled Publication Experiments (Type I–IV topics)Practical Success-Rate Replication Dataset (10 fabricated topics)
- Metrics
- CR (Cite Rate)MAR (Marker Appearance Rate)Top-k citation shareJaccard overlapPKD (Prior Knowledge Density)T_low (Low-preference equivalence threshold)
Researchers from Fudan University and other institutions propose a measurement framework to identify and measure low-barrier pathways from ordinary web posts into AI search citations and answer text, combining cross-platform citation mapping, posting-barrier testing, and marked controlled posting experiments. The study covers 10 AI search platforms, analyzing 17,211 citation instances across 6,356 source domains, finding that citations are highly concentrated, with the top 20 domains on the most concentrated platform accounting for 70.8% of its citations, and that 15 of the 22 tested publishing platforms had low or medium barriers for both registration and posting. In controlled experiments, 8 of 10 platforms cited the researchers' posted fictional concept content within seven days; one high-preference platform article had more impact than 20 matched low-preference posts, and self-hosted WordPress posts remained uncited after 40 posts within one week. The authors state they have disclosed the observed vulnerabilities to affected parties.
Why it was selected论文用受控发文实验量化了普通发布者进入 AI 搜索引用与答案文本的路径,并给出跨 10 个平台的引用集中度与发布门槛数据。
Paper analysis
What problem does this paper attempt to solve?
作者称AI搜索的高偏好引用源常具备低发布门槛,形成引用-治理差距,使普通公开网络发帖成为影响AI搜索输出的间接途径。
AI搜索存在高偏好引用源域名与第三方内容平台低发布门槛脱节的“引用-治理差距”(citation-governance gap),导致普通用户无需任何特权即可通过公开网络发帖间接渗入AI搜索的引用链接与生成回答中。
- 应用场景与重要性:主流AI搜索通过RAG流水线整合检索与生成,直接向用户呈现带有引用的合成答案;作者认为引用选择直接塑造了用户可见的信息证据,使数据源选择演变为安全问题。
- 现有研究的不足:以往研究主要关注引用事实性错误、生成偏好或基于恶意网站与检索库投毒的攻击,未系统测量AI搜索反复引用的域名是否对应着低发帖门槛的第三方平台,也未测量外部普通发帖对AI引用的实际影响路径。
- 核心观察与假设:作者提出若AI搜索在特定源域名上表现出强烈的引用偏好,且这些域名允许新账户以低门槛快速发布内容,则普通发布者即可通过针对性发帖将特定内容输入到AI搜索的引用和回答层中。
- 论文提出的方案:论文提出了一个端到端的测量框架,结合跨平台引用映射、发布门槛实测以及带标记的受控发帖实验,系统量化这一低门槛发布路径的可行性、时效性与商业化现状。
- 威胁模型:
- 目标:促使发布者控制的内容或特定标记(marker)被AI搜索系统选为显式引用链接(CR),并进入大模型生成的回答文本中(MAR),从而在不改变底层模型的情况下影响AI搜索的输出证据。
- 知识:攻击者为外部黑盒交互者,无须获取AI搜索的模型权重、检索索引、排序算法代码、提示词或训练数据,仅需了解目标平台公开可见的引用域名偏好。
- 能力:论文定义了两种能力层级。Tier 1(极小发布者)仅使用普通公开注册账号,通过标准界面发布符合平台政策的内容,无自动化刷量或僵尸粉操纵;Tier 2(运营级发布者)采用商业工具进行养号、多平台协同发布和人工/合成互动增强。
- 受害系统:具有原生网页检索与引用合成能力的主流消费级AI搜索平台(论文测试了涵盖中文与英文生态的10款主流平台)。
What related research exists?
论文梳理了AI搜索引用与安全评估、生成引擎优化与搜索操纵、RAG安全与信息完整性三类研究,并明确了本文与它们的边界。
论文将相关工作归纳为以下三个主要方向:
AI搜索引用与安全评估
- 引用正确性与评估基准:Liu等(2023)指出商用生成式搜索引擎常产生无支持或不匹配的引用;ALCE(Gao等,2023)、RAGAs(Es等,2024)与ARES(Saad-Falcon等,2024)提出了引用生成基准与自动化评测框架。
- 真实系统风险与多样性审计:Jazwińska与Chandrasekar(2025)、Memon与West(2024)以及Luo等(2025)报告了生成式搜索中的引用故障、可靠性风险以及来自恶意或未验证源的安全性风险;Aral等(2026)研究了AI搜索对数据源多样性的影响。
- 数据源分配与吸收:Alipour等(2026)、Khan等(2026)、Xu等(2026)以及Huang等(2026)通过跨系统审计揭示了可见性依赖于数据源与选择系统;Strauss等(2026)与Kai等(2026)进一步指出检索、引用与回答吸收属于不同阶段,被检索的页面可能未被引用,被引用的源也可能在回答中体现不均。作者指出前人工作止步于测量源如何被选择与使用,未探讨当引用偏好遇上低门槛第三方发布平台时产生的安全漏洞。
生成引擎优化(GEO)与AI搜索操纵
- 内容重写与相关性操纵:Aggarwal等(2024)提出了生成引擎优化(GEO);Alaofi等(2024)展示了通过关键词填充或相关性指令可以误导大语言模型的相关性判定;Hu(2025)对指定成本与成功概率下的对抗博弈动态进行了建模。作者指出这些阶段性研究留下了上游发布问题,即普通发布者究竟能触及哪些被引域名。
- 检索后攻击与白盒/灰盒设定:Nestaas等(2024)以及Pfrommer等(2024)研究了攻击载荷已被检索或已被模型可见后的优化方法。作者指出其未解决发布者受控内容最初如何进入AI搜索上下文的问题。
- 端到端生产环境操纵:Chen等(2026)研究了攻击者自建网站利用黑帽SEO或LLMSEO操纵搜索排序;Luo等(2025)关注恶意URL或有害网页内容在检索中的暴露。作者指出本文转向合法的公共平台发布,这一路径门槛更低且已被真实GEO服务广泛采用。
RAG系统安全与信息完整性
检索语料库投毒与后门:Zhong等(2023)、Zou等(2025,PoisonedRAG)、Chaudhari等(2024,Phantom)、Xue等(2024,BadRAG)、Cheng等(2024,TrojanRAG)以及Shafran等(2025)研究了向检索索引直接注入对抗文档以篡改模型回答。作者指出这些方法假设了对检索语料库的直接写权限,而本文仅需公开平台的普通注册发帖权限。
间接提示注入与网络虚假信息传播:Perez与Ribeiro(2022)、Greshake等(2023)研究了外部文本中的间接提示注入指令,需对抗指令在检索中存活;Vosoughi等(2018)、Starbird等(2019)以及Cinus等(2025)研究了虚假信息在社交平台的多样化传播。作者指出本文内容被设计为常规证据而非对抗指令。
基线方法与对照设置:在发布实验中,作者将自建WordPress独立站点作为无历史/低偏好基线对比,并在5组匹配实验中将高偏好平台发帖与低偏好平台发帖进行配对比较。
作者对本文定位的总结:作者称以往工作多假设了强攻击者能力(直接写索引或控制独立网站),而本文从外部系统测量由引用集中度与第三方发布门槛共同构成的“引用-治理差距”,揭示了普通合法发帖即可对端到端AI搜索产生影响的供应链级风险。
How does the paper address this problem?
作者通过构建两款测量工具,结合跨平台引用与门槛测绘、带标记的受控多梯级发帖实验,系统量化了普通发帖对AI引用的影响路径。
作者提出了一个结合跨平台引用映射、发布门槛实测与标记受控发布实验的测量框架,并开发了 AICiteMonitor 与 InfluenceTracker 两款自动化工具来实施全流程测量。
测量基础设施与工具设计
- AICiteMonitor 引用偏好监测:通过浏览器自动化(Selenium驱动结合平台特定适配器)向配置的AI搜索平台发送查询,使用DOM解析器提取引用URL,并将其解析为规范化的源域名与平台,支持自动化重复查询与聚合分析。
- InfluenceTracker 受控实验追踪:针对特定主题利用大模型结合人工校验模板生成文章;在内容中嵌入特定的名称、短语或数值作为归因标记;通过平台接口发布,并持续监测AI搜索的引用URL与标记出现情况,记录带时间戳的纵向动作。
引用偏好与发布门槛测绘方法
- 平衡查询集构建:覆盖产品推荐、技术文档、新闻与当前事件、体验与观点4个类别共120个问题,中英文大致平衡;避免单点权威事实,重点激发证据比较与多源检索行为。
- 多平台引用集中度量化:在崭新会话中单次随机提问,计算各平台的引用触发率、人均引用数以及Top-k源域名累积份额,并计算平台间的Jaccard重合度以分析生态割裂与集团同系(same-owner)效应。
- 发布门槛多维评估:针对高频及广泛引用的22个平台,通过注册零特权新账号并尝试发布测试帖,从账号门槛、发帖限制、审核延迟及删帖风险4个维度记录客观摩擦。
标记受控发帖与实验协议
- 归因目标先验知识验证:为排除背景知识干扰,定义先验知识密度(Prior Knowledge Density, PKD)并在发帖前测量。对于N个AI搜索平台,定义 PKD(t) = 1/N ∑i=1N Si(t),其中当平台返回包含主题特定事实主张的实质性回答时记为1;对于带有先验讨论的主题则针对标记束计算先验密度,所有实验主题均满足低于0.05的先验阈值。
- 阶梯查询与标准化内容模板:采用五阶段渐进查询阶梯(从定义查询到决策建议);文章均采用规范化结构(简短段落、至少4个子标题、至少2对Q&A问答、平台支持的富媒体以及统计数据、引语等权威线索)。
核心评价指标与野外验证
- 指标形式化定义:定义引用率 CR = (|{r ∈ R : cites(r) ∩ U ≠ ∅}|)/(|R|),即包含发布URL引用的回答比例;定义标记出现率MAR为回答文本中包含至少一个特定归因标记的比例;采用Wilson 95%置信区间报告。
- 商业GEO链路实证:通过调研13家商业GEO服务商的服务项目与价格,设计低成本真实采购案例,通过外部独立监测追踪从付款、发帖到被AI搜索引用的闭环。
What experiments did the paper conduct?
作者称受控发帖使8款AI搜索引用了虚构概念,10主题复现总体CR为32.4%,14美元GEO在1小时内被引用。
实验设置
- 被测模型(AI搜索平台):涵盖英文与中文生态的10款主流消费级AI搜索平台,全部列出为 Grok、Doubao、ChatGPT、Wenxin、Google AI、Yuanbao、Perplexity、DeepSeek、Kimi、Qwen。
- 测试数据集与基准:RQ1包含4个类别(产品推荐、技术文档、新闻与当前事件、体验与观点)共120个平衡查询(Appendix B);RQ2基线与时效实验使用3个主题(Type I 虚构概念、Type II 观点讨论、Type III 虚构产品);平台偏好实验使用5组Type IV小众旅游配对主题;内容量实验使用6个匹配的Type I虚构主题;实用性复现包含10个低风险虚构主题(Table VI)。
- 基线与对照设置:在偏好对比中设置自建WordPress独立站点作为无历史/低偏好基线;将RQ1高偏好平台与低偏好平台发帖进行配对控制;发帖前通过PKD严格验证先验知识接近零(PKD < 0.05)。
- 指标定义:引用率(CR,包含发布URL引用的回答占比)、标记出现率(MAR,回答文本包含特定标记的占比)、低偏好等效阈值(Tlow,低偏好平台产生首个信号所需发帖数)。
- 评审与检测方式:未使用LLM裁判。标记检测首先采用精确字符串与正则表达式匹配数值和特有短语;随后由两位作者独立复核候选改写,仅在标记具有归因性且与发帖内容吻合时计入,争议通过讨论解决,未解决按未出现处理。
- 样本量与重复次数:RQ1收集17,211条引用实例,涵盖6,356个独立源域名;RQ2基线实验7天内产生1,004次回答;10主题复现实验产生2,100次回答(3个查询 × 10款平台 × 7天);内容量实验测试6个发帖量梯度并在10款平台上执行阶梯查询。
主结果
下表呈现各平台在首次引用后的基线测试结果(据 Table 3):
Swipe horizontally to read the table
平台 Type I 虚构概念 (CR / MAR) Type II 观点讨论 (CR / MAR) Type III 虚构产品 (CR / MAR) Grok 93.7% / 53.3% – – Yuanbao 100.0% / 0.0% – – Doubao 85.7% / 65.7% – 25.7% / 2.9% Wenxin 64.0% / 48.0% 13.3% / 6.7% 13.3% / 13.3% Qwen – 28.6% / 5.7% 57.1% / 2.9% ChatGPT 35.0% / 10.0% – – DeepSeek – – – All (总体) 62.9% / 32.2% 18.8% / 3.5% 36.4% / 4.7% 注:数据据 Table 3(首次引用后统计,n为分母)。因表格行数限制省略了 Google AI(Type I: 45.5% / 6.1%, n=33)、Kimi(Type I: 65.0% / 50.0%, n=20)、Perplexity(Type I: 37.1% / 0.0%, n=35; Type II: 11.4% / 0.0%, n=35)。表中“-”表示7天观察期内未观察到首次引用。
- 虚构概念信号最强:作者称无先验背景的Type I虚构概念在8款平台上产生引用,首次引用后总体CR达62.9%,MAR达32.2%,表明缺乏先验竞争时新发内容更容易被选为证据。
- 先验讨论稀释引用与吸收:作者称Type II观点话题的总体CR降至18.8%、MAR仅3.5%,表明已有网络讨论会稀释AI搜索对新内容的引用及回答采纳;Type III产品话题虽有36.4%的CR,但MAR仅4.7%,说明即使页面被引用,其特有断言也未必进入回答文本。
- 平台间响应差异显著:作者称不同平台对主题类型的敏感度不同,例如DeepSeek在基线测试中未观察到引用,Qwen在产品主题上CR最高(57.1%),而Doubao在虚构概念上MAR最高(65.7%)。
实用成功率复现与时效持久性
- 10个低风险主题复现:测了10个涵盖智能设备、影视、餐饮等低风险虚构主题在Sohu、YouTube、CSDN发帖后的表现(Table VI);结果显示9/10的主题产生引用或标记信号,总体CR为32.4%(680/2,100),MAR为28.8%(604/2,100),仅香氛收纳盒主题(T6)为0;作者称这表明该路径在日常领域具有可复现性。
- 时效动态与删除后残留:在15天的纵向测试中,测了各平台从第0天发帖到第11天主动删帖后的信号演变(Figure 6);结果显示Doubao在第1天即引用虚构概念并在第10天达到34次引用,而在第11天删除源网页后,Doubao在第12–15天依然持续引用已删除内容;作者称这与网页缓存或索引刷新延迟相符,表明删帖无法立即清除引用层数据。
平台偏好匹配与发帖量影响
- 高低偏好平台配对比较:测了5组针对小众目的地的Type IV配对主题,对比RQ1高偏好平台与低偏好平台的发帖效果;结果显示在所有5组配对的第一轮中,高偏好平台均先产生引用信号,表现最好的低偏好平台在发布20篇后才产生首个信号(Tlow = 20),而自建WordPress站点发帖40篇在一周内仍未被任何平台引用;作者称平台选择对能否进入AI引用具有重要影响。
- 同平台发帖量递增测试:在Sohu上对6个匹配的虚构概念分别发布1、2、5、10、15、20篇文章(Figure 7);结果显示10款平台的总体引用实例数从24篇增加至128篇(24、61、65、80、98、128),发帖量增加20倍带来5.3倍引用增加,但平台间并不一致(Grok单调增加,Wenxin和Doubao在15篇达峰值后微降,ChatGPT和Qwen全为0);作者称同平台多发能增加总体引用曝光,但呈次线性增长且受平台机制制约。
真实世界GEO商业链路验证
- 商业服务商生态调研:调研了13家GEO服务商(中英文市场),发现公开报价在每年280美元至每月2,500美元不等,且多数服务商声称具备AI回答监测(12/13)与内容生成(11/13)能力,部分直接涵盖多平台分发(Table IV);作者称这表明该优化路径已走向商业化。
- 低成本真实采购个案验证:以14美元预算购买了一次针对虚构学术主题PedoSAT的GEO发帖服务;服务商在28分钟内于Sohu、头条等5个平台发布了13篇公开文章,付款后1小时内Doubao即引用了Sohu上的服务商文章且回答中包含预置标记(Figure 8);作者称这验证了从商业付费、公共发帖到主流AI搜索引用的完整端到端闭环。
其他消融与分析
- 集团同系效应(Same-owner effects):Wenxin引用百度系域名占24.4%(为基准的13.7倍),Doubao引用字节系域名占25.9%(13.5倍),Yuanbao引用腾讯系域名占14.2%(6.3倍)(第IV-B节)。
- 跨平台Top-10重合度:Google AI与Grok最高(Jaccard = 0.67,共享8个域名),DeepSeek与Qwen最高(Jaccard = 0.43,共享6个域名)(第IV-B节)。
- 跨平台全源重合度均值:Top-20全平台对平均Jaccard为0.201,Top-50全平台对平均Jaccard为0.161(第IV-B节)。
- 分类别Top-20集中度中位数:产品类46.8%,技术类41.5%,观点类45.2%,新闻类30.7%(第IV-B节/Table V)。
- 平台发帖门槛实测分布:22个被测平台中19个具备低/中等账号门槛,18个审核延迟在分钟级或无可见延迟(第IV-C节/Table II)。
- 负面结果与例外:T6香氛收纳盒复现实验CR与MAR均为0/210;作者复核认为系主题名称被AI搜索改写或误读所致(第V-B节/Table VI)。
What are some points that can be further explored?
作者指出了换算规则、高竞争场景、查询集代表性及时间漂移4项局限;实验覆盖了10款AI搜索、22个平台及10个复现主题。
作者指出的局限与后续方向
- 无法给出通用的发帖等效换算规则:作者指出由于真实网络环境受索引时间、平台延迟、既有先验曝光以及未测试的主题-立场-平台组合影响,RQ2无法给出类似“多少篇低偏好文章等效于一篇高偏好文章”的通用换算公式(出自第VII-C节 Limitations)。
- 受控实验主要基于低先验与低竞争设计:作者指出为实现清晰归因并避免现实危害,实验多数采用虚构概念或长尾主题;高竞争的商业或政策相关主题可能需要不同的发帖量、账号历史或互动模式,需要更谨慎的预注册良性实验设计(出自第VII-C节 Limitations)。
- 查询日志非公开导致查询集存在代表性偏差:作者指出由于商用AI搜索的私有查询日志不公开,RQ1采用人工设计的120个问题集作为替代,尽管覆盖了多种引用场景,但与真实世界的查询混合分布仍可能存在差异(出自第VII-C节 Limitations)。
- 测量指标存在时间漂移性:作者指出具体比率来自2026年3–4月的单次测量,可能随AI搜索平台算法更新而漂移,CR/MAR具体数值和平台排名更易变化,应将其视为结构性发现而非恒定数值(出自第VII-C节 Limitations)。
- GEO购买仅为单一样本案例:作者指出n=1的GEO采购案例仅验证了单一服务商、主题与平台的端到端存在性链条,并不用于估算整个GEO市场的平均成功率(出自第VI-B节)。
实验覆盖范围
- 被测系统覆盖:测试了10款主流消费级AI搜索平台,覆盖中文与英文生态,但未包含离线纯聊天模型或更多小众检索工具(第IV-A节)。
- 发布平台覆盖:对22个关联高引用源域名的内容平台进行了发帖门槛实测,受控发帖实验主要在其中9个可操作平台上执行(Table II与第V-B节)。
- 测试主题与样本规模:RQ1评测基于120个设计查询(共17,211条引用实例);RQ2基线实验发布27篇文章(产生1,004次回答);实用性复现覆盖10个低风险虚构主题(共2,100次回答)(Table I、Table III与Table VI)。
- 能力等级限制:论文实验全部在Tier 1(极小发布者)能力模型下进行,人工注册且无自动化刷量或虚假互动,未对Tier 2运营级发布者的工具箱进行对抗性实测(第III-A节)。
- 未报告的信息:论文未公开具体的发帖生成提示词模板与可直接复用的GEO工作流操作工具以防滥用;未报告各平台抓取爬虫的具体调度频率与私有检索索引更新机制(第III-B节与第VIII-F节)。
Summarize the main content of the paper
作者称论文量化了AI搜索因引用偏好与低发帖门槛形成的漏洞,测试显示公开网络发帖可渗透AI引用,呼吁审计引用供应链。
- 研究定位与核心问题:论文针对AI搜索RAG架构中的引用生成环节,指出了AI搜索高频引用源域名与第三方内容平台低发帖门槛之间的“引用-治理差距”,探讨普通网络发布者能否在无特权的情况下通过公开平台发帖渗透进AI搜索的引用链接与回答文本。
- 方法与测量工具构建:作者构建了AICiteMonitor和InfluenceTracker工具,全面测绘了10款中英文主流AI搜索在120个问题上的引用分布,实测了22个高频引用平台的账号注册与发帖门槛,并设计了包含归因标记和先验知识验证的多梯度受控发帖实验协议。
- 关键实验发现之一(引用高度集中与门槛脱节):测绘显示AI搜索引用集中在少数源域名,Top-20域名捕获了各平台20.5%–70.8%的引用(Wenxin达70.8%);而在22个高频引用平台中,15个平台的账号与发帖门槛均为低或中等,18个平台审核延迟在分钟级或无可见延迟,且存在同系平台倾斜效应(如Wenxin引用百度系占24.4%,Doubao引用字节系占25.9%)。
- 关键实验发现之二(受控发帖可渗透AI引用与回答):在受控发帖中,8款平台在7天内引用了无先验的虚构概念,首次引用后总体CR为62.9%、MAR为32.2%(Grok的CR达93.7%,Doubao的MAR达65.7%);10个日常主题复现总体CR达32.4%、MAR达28.8%;且高偏好平台发帖效果优于低偏好平台,自建WordPress发帖40篇一周内仍未被引用。
- 野外商业化链路与时效风险:调研发现13家商业GEO服务商已提供针对AI搜索的监测与内容分发服务;一项14美元的真实采购案例证实服务商在28分钟内发布的13篇文章在1小时内即被Doubao引用并采纳标记;纵向测试进一步显示删帖后仍存在引用残留。
- 作者结论与安全启示:作者认为AI搜索的引用安全本质上是一个内容供应链安全问题,攻击面跨越了平台发布治理与搜索引用选择两个割裂系统;呼吁AI搜索提供商建立引用源多样性约束、源头可追溯性重排序以及基于时序异常的检测机制,以缓解公开网络操纵风险。