内幕知识：RAG 系统能从评测秘密中获得多少收益？

nugget评测的提示词、judge或gold nuggets一旦可被开发者得知或预测，自动分数可能被抬高，且不必等于真实质量改进。

• 场景：作者称ChatGPT、Claude等已成为一般用户的信息来源，RAG被用来改善准确性、时效与出处。nugget评测已进入评测框架，也进入RAG架构。
• 风险：作者认为这种整合可能带来真实改进，也会因循环性造成错误测量。公开的提示词、脚本和LLM judge可能被无意利用，抬高分数并降低与人工评估的一致性。
• 三条途径：无直接测试集泄露时仍可抬分：只优化被测指标（RQ1）；利用评测提示词和LLM改输出（RQ2）；预测gold nuggets并用于系统（RQ3）。作者认为RQ3威胁最大，且都不假设故意破坏。
• 本文做法：作者提出Crucible，一种纳入评测思路的RAGE系统，并用subversion probe探测开源AutoArgue。案例是nugget完全人工整理的TREC NeuCLIR 2024报告生成试点。
• 内部知识设定：
  • 目标是抬高Argue/AutoArgue分数，并追问这是否对应人工判断下的改进。
  • 知识可以是评测框架与指标、AutoArgue提示词，或gold nugget集合；RQ3模拟完全已知。
  • 能力是过滤或改写自身输出，或用猜到的nuggets驱动生成，而不是向评测提示词注入覆盖指令。
  • 被探测的是AutoArgue；任务是复杂查询下强调忠实引用的长文报告。

LLM-as-a-Judge

• Balog et al. (2025)：讨论LLM作为ranker、judge和assistant的角色，并把feedback loop标为评测的根本风险。
• Thakur et al. (2025)；Arabzadeh and Clarke (2025)：前者比较TREC RAG Track上的LLM judge与人工标注；后者比较pointwise、pairwise和rubric范式，后续工作讨论提示词敏感性。
• Umbrela（Upadhyay et al., 2024, 2025）：开放复现Bing相关性评估器。Clarke and Dietz (2025)称，循环性条件下它不再可靠；论文转述传统IR上Tau@60=0.89，系统含LLM judge组件后为Tau@60=0.63、Tau@10=0.38。

作者称现有文献对脆弱性多为描述，缺少系统的meta-evaluation范式。

Argue与nugget评测

• Argue（Mayfield et al., 2024）：面向长文、带引用的报告，在句子级检查引用支撑和nugget覆盖，再汇总为报告级分数。用于TREC NeuCLIR 2024的人工评测。
• AutoArgue（Walden et al., 2025）：Argue的开源LLM实现，是本文probe的对象。

Subversion probe与对抗内容

• Clarke and Dietz (2025)：用probe按Umbrela标签重排文档。作者转述两点：人工评估下有真实质量改进；Umbrela对受操纵系统给出系统性偏差，顶部系统尤其如此。
• 对抗内容攻击：早期工作研究生成场景中的提示词颠覆，较近工作转向引用评测。作者把本文probe定位为使用judge自身决策过程，而不是注入覆盖评测提示词的指令。

nugget的来源

• Rubric Workbench（Farzi and Dietz, 2024）：完全自动生成nuggets，无人工监督。

• AutoNuggetizer（Pradeep et al., 2024）：LLM产生候选nugget，再人工过滤。作者认为这两类nugget仍可追溯到LLM，系统可以复现或近似它们，因此与gold nuggets对齐并不能说明预测引入了何种扭曲。

• NeuCLIR 2024：作者称研究时它是唯一公开、nugget完全人工且无LLM协助的RAG基准。

• 基线与基准：GINGER（GPT-4o，为TREC RAG 2024和AutoNuggetizer设计）、GINGER-Llama、GptResearcher、BulletPoints（NeuCLIR 2024试点中的高分抽取式系统，提交名hltcoe-eugene）。主基准是TREC NeuCLIR 2024 Report Generation Pilot。

作者把Crucible定位为针对AutoArgue的subversion probe，用来模拟评测思路进入系统开发后的下游效果。

作者构建Crucible（RAGE：把自动评测思路纳入RAG），用文档支撑的system nuggets生成带引用报告，再用两类probe模拟评测秘密泄露。system nuggets指系统自动生成的nuggets，gold nuggets指Argue使用的人工nuggets。

生成流程

1. Nugget Ideation：自动生成Q&A形式的system nuggets。作者称有意模仿Argue的风格，但未调到模仿gold nuggets。
2. Retrieval：取组织方提供的PLAID-X的top 20。作者称也试过其他检索模型，结果省略。
3. Sentence Extraction：用提示词模板抽取与nugget问答对齐的段落和自包含句子。脚注称system message因bug被省略，更新结果在在线附录，正文未给更新数字。
4. Selection and Assembly：每个system nugget按抽取置信度取至多k∈{1, 5, 20}句，组装以覆盖system nugget bank，并用源文档作引用。提示词在在线附录和系统论文中，正文未列出。

Figure 1说明：为某个system nugget生成的摘要句，可能同时覆盖同一主题下的gold nugget。Figure 2给出Crucible直接猜中一条gold nugget的例子。

Guessed prompt probe

模拟评测提示词成为公开知识（RQ2）。句子抽取之后做两步，未通过者在组装前丢弃：

• Citation Filtering：用AutoArgue自己的引用支撑检查过滤候选句和抽取段落，并移除没有任何引用的句子。
• Nugget Coverage Filtering：用AutoArgue的nugget匹配，确认候选覆盖预定的system nugget。Cov-Sentence检查句子，Cov-Extract检查抽取段落。

Guessed nuggets probe

模拟gold nuggets可被完全自动猜中（RQ3）的极限情形：用gold nugget集合替换Nugget Ideation。作者称这可能来自测试主题已被LLM充分理解、生成nugget的模型泄露，或gold nuggets取自自动预测池。作者强调gold nuggets应保持秘密。正文未报告system nuggets与gold nuggets的重叠比例；作者称即使未刻意模仿，也会自然出现一些重叠。

分数与长度

AutoArgue用LLaMA-3.3-70B-Instruct扫描每句是否提到nugget问题的正确答案，并用另一提示词核验引用是否支撑句子。除另行说明外，系统实现也用该模型。

• Nugget Recall：被覆盖gold nuggets除以全部gold nuggets。
• Nugget Density：被覆盖nuggets除以句子数。
• Relevant Sentences：含nugget的句子除以全部句子。
• Citation Support：支撑其句子的引用除以全部引用。

Short为每nugget至多1句、报告上限2000字符；Medium至多5句、10000字符；Long至多20句、1000000字符。

probe的三种用法

• 系统侧：probe是包装器；若人工判断下确有改进，作者建议并入被包装系统。
• 评测侧：若Argue分数上升而人工分数不升，作者将其视为评测漏洞。文中提到的防护包括提示词集成、隐藏nugget bank和held-out LLM，再用probe复测。
• meta-evaluation：用Kendall's tau比较自动与人工榜时，probe可改写一批已有系统，以模拟下一代、已吸收LLM judge思路的系统。

实验设置

• 数据：TREC NeuCLIR 2024 report-generation pilot。语料为中文、俄文、波斯语各一千万级文档，并有自动英译。19个report requests，各有标题、问题陈述和请求者背景。nugget由评估员读原文后人工设计，无LLM协助；平均每请求10–20个问答对。本文报告不在原始池中。
• 系统：Crucible的Base、Citation Filter、Cov-Sentence、Cov-Extract、Gold nuggets。对照为GINGER（GPT-4o，Qwen3检索100篇）、GINGER-Llama、GptResearcher、BulletPoints。Crucible检索为PLAID-X top 20。
• 模型：除GINGER外，系统与AutoArgue使用LLaMA-3.3-70B-Instruct。同一模型既生成又打分。
• 指标：第3问的四项AutoArgue指标；报告分短、中、长三档。论文写明不评估系统或自动评测的效率。
• 检验：作者称RQ2多项改进由paired t-test确认，未报告p值或具体比较。重复次数未报告。
• 其他集合：第5.5节报告TREC 2025的RAGTIME、DRAGUN，以及TREC RAG的人工citation support。

主结果

Figure 5比较自动system nuggets与换成gold nuggets。论文未标明报告长度；Auto Nuggets各行与Figure 4短报告对应数值相同。

表格较宽，可左右滑动

变体（Figure 5）	Nugget Recall	Relevant Sentences	Citation Support	Nugget Density
Auto / Base	0.599	0.768	0.666	0.400
Auto / +Citation Filter	0.625	0.800	0.787	0.416
Auto / +Cov-Sentence	0.622	0.794	0.730	0.425
Auto / +Cov-Extraction	0.607	0.793	0.830	0.446
Gold / Base	0.904	0.940	0.891	0.900
Gold / +Citation Filter	0.901	0.939	0.981	0.899
Gold / +Cov-Sentence	0.974	0.982	0.975	0.977
Gold / +Cov-Extraction	0.970	0.989	0.982	0.989

• 作者称已知gold nuggets时，Nugget Recall相对提升为+44%到+59%；与提示词过滤结合后，四项分数为0.97–0.99。图注写near-perfect scores of ≈ 0.99%，正文写0.97–0.99。小节标题的回答是Yes, for nuggets。
• 作者称这些结果likely tainted by circularity，不认为代表真实成就，而是利用评测秘密的产物。
• Gold加Citation Filter的Nugget Recall和Nugget Density低于Gold Base；作者未单独解释这一下降。

RQ1：是否知道评测框架

Figure 3按作者所说，从无到有排列对Argue的了解。论文未写明报告长度。Nugget Recall为：GptResearcher 0.177，GINGER 0.244，GINGER-Llama 0.241，BulletPoints 0.508，Crucible Base 0.599。

• 作者称更通用的GptResearcher总体落后；GINGER（无评测内部知识）到Crucible（有评测知识）的相对增益，各指标至少+16%到+100%。作者由此认为，按评测框架优化的设计者可能会看到可测改进。
• Figure 3中Crucible Base的Relevant Sentences、Citation Support、Nugget Density标为0.768、0.666、0.400，与Figure 4短报告Base相同。其余系统在另三张面板上的柱值，文本转换后列对应不够确定，此处不逐条转写。

RQ2：是否知道评测提示词

Figure 4给出短、中、长三档相对Base的变化。作者称除Nugget Recall外，用评测提示词过滤会提高对应指标。

• Citation Support：Citation Filter相对提升为短18.17%、中18.22%、长20.74%。Cov-Extraction进一步到24.62%、30.06%、33.59%，绝对值分别为0.830、0.835、0.863。
• 密度与句子相关性：Cov-Extraction的Nugget Density相对提升为11.50%、32.99%、140.00%。作者称句子相关性增益在+3%到+7%之间。
• 负面：覆盖过滤会去掉句子，中、长报告Nugget Recall下降。Cov-Sentence为中-0.70%、长-3.82%；Cov-Extraction为中-8.51%、长-8.87%。短报告则可上升，Citation Filter短报告为4.34%。作者称Base已能把句子生成锚定在引用和system nuggets上。

人工抽查与TREC 2025

• Topic 335：作者团队比较Base与同时使用两类probe的两份报告，对哪份相关事实更多意见分歧。一名成员认为prompt probe的引用更忠实。作者据此称未来RAGE系统应采用Citation Filtering。这不是带一致性数字的人工评测。
• 随机性：作者称LLM随机性会使系统抽取与AutoArgue不一致；人工检查看到句子同时覆盖system nuggets和gold nuggets。
• TREC 2025：RAGTIME中改进system nuggets使nugget recall从0.27到0.33（作者标注▲）。citation filtering使citation support从0.83到0.99，作者称显著提高，各方法之间为0.97–0.99。DRAGUN中nugget coverage filtering使support从0.166到0.173，作者称无统计显著性。TREC RAG人工citation support的weighted precision为0.59、0.69、0.80，论文未把这三个数对应到具体方法。作者称RAGTIME的过滤与AutoArgue程序构成循环，这一分歧说明攻击暴露了基于提示词的漏洞。

其他消融与分析

• 检索：作者称multilingual LSR和Qwen3趋势类似，结果省略（第4.3节）。
• 长度：Base的Nugget Recall短/中/长为0.599、0.717、0.812；Nugget Density为0.400、0.097、0.030（Figure 4）。
• GINGER与GINGER-Llama的Nugget Recall为0.244和0.241（Figure 3）。
• 脚注：system message因bug省略，更新数字未写入正文。
• 作者未报告system nuggets与gold nuggets的重叠率，RQ3用的是完全替换的模拟。

作者指出的局限与后续方向

• 初步步骤：作者在Conclusion称，这项工作只是对AutoArgue等LLM评测范式脆弱性做系统研究的initial step。
• 更多范式：作者希望未来工作为更多LLM judge范式开发subversion probe，以便更系统地量化漏洞并设计防护（Conclusion）。
• 公开产物的风险：作者警告，公开提示词和nuggets有风险；若产物成为公开知识或在开发中被逆向，会抬高掌握内部知识的系统分数，损害系统间比较（Conclusion）。
• 盲评共享：作者建议通过支持盲实验评测的平台共享测试集，并举TREC Auto-Judge track使用TIRA、在盲评设置中分发其test probes为例（Conclusion）。

实验覆盖范围

• 主实验是TREC NeuCLIR 2024 Report Generation Pilot：19个请求，中文、俄文、波斯语语料及自动英译，gold nuggets完全人工、平均每请求10–20个（第4.1节）。作者称当时没有其他具备完全人工nugget bank的公开RAG基准。
• 系统与AutoArgue使用LLaMA-3.3-70B-Instruct；GINGER使用GPT-4o。Crucible主结果检索为PLAID-X top 20；LSR与Qwen3的结果被省略（第4.3节）。
• 报告长度有短、中、长三档（第4.3节）。Figure 5未标明长度。论文写明不评估RAG系统或自动评测的效率（第1节）。
• 人工质量对照是作者团队对Topic 335两份报告的抽查，团队意见分歧（第5.4节）。论文未报告与人工的一致性系数，也未报告paired t-test的p值。
• 第5.5节另有TREC 2025 RAGTIME、DRAGUN的早期提交结果，以及TREC RAG的人工citation support。正文数字未包含脚注所说、因省略system message而更新的结果。

作者用Crucible做案例，考察nugget-based LLM judge在评测秘密可被得知或预测时，分数是否会被抬高。

• 问题：RAG评测日益使用nugget和LLM judge，而这些组件也进入系统本身。作者区分三条不必直接泄露测试集的途径：按被测指标窄优化、利用评测提示词改写输出、预测gold nuggets。作者认为最后一条威胁最大，且不假设故意破坏。
• 做法：Crucible从PLAID-X的top 20文档生成Q&A形式的system nuggets，抽取句子并按k∈{1, 5, 20}组装带引用报告。Guessed prompt probe用AutoArgue自己的引用与覆盖检查丢弃候选句；Guessed nuggets probe用人工gold nuggets替换自动nuggets，模拟完全猜中。评测器是AutoArgue，模型为LLaMA-3.3-70B-Instruct，与多数系统实现相同。
• 跨系统：在TREC NeuCLIR 2024的19个请求上，Figure 3的Nugget Recall从GptResearcher的0.177、GINGER的0.244到Crucible Base的0.599。作者称了解评测框架会带来可测改进，相对增益至少+16%到+100%。
• 过滤：Figure 4中，Citation Filter把Citation Support相对提高18.17%到20.74%；Cov-Extraction最高到33.59%，Nugget Density的相对提升最高为140.00%。中、长报告的Nugget Recall可下降，长报告Cov-Extraction为-8.87%。
• 猜中nuggets：Figure 5中，Gold Base的Nugget Recall为0.904；与过滤结合后，作者称四项分数为0.97–0.99。作者认为这些分数受循环性影响，不代表真实成就。TREC RAGTIME中citation filtering后citation support为0.99，而TREC RAG人工weighted precision为0.59、0.69、0.80；作者称这暴露了基于提示词的漏洞。
• 作者的结论：公开提示词和nuggets有风险。作者建议用支持盲评的平台共享测试集，并希望后续为更多LLM judge开发同类probe。