Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.13227· Laura Dietz, Bryan Li, Eugene Yang, Dawn Lawrie, William Walden, James Mayfield·Indexed by this site · Originally published

Insider knowledge: How much can RAG systems gain from evaluation secrets?

Insider Knowledge: How Much Can RAG Systems Gain from Evaluation Secrets?

Quick read

Evaluation and benchmarks

Based on 论文 PDF （AI 生成）; refer to the original

作者称Crucible猜中gold nuggets并过滤后，AutoArgue分数可达0.97–0.99。

Questions
RAG越来越用nugget和LLM judge评测并优化系统，评测组件进入开发后会出现循环性。作者考察三条不必直接泄露测试集的途径：按被测指标窄优化、利用评测提示词改写输出、预测gold nuggets。
Methods
Crucible从检索文档生成system nuggets，抽取句子并组装带引用报告。一类probe用AutoArgue的检查过滤候选句；另一类用gold nuggets替换自动nuggets，模拟完全猜中。
Experiments and results
作者称了解评测框架会提高分数。过滤提升Citation Support，但中长报告Nugget Recall下降。猜中gold nuggets并过滤后，多项分数达0.97–0.99；作者认为受循环性影响，不视为真实进展。
Limitations and future work
作者称本文只是初步步骤，希望为更多LLM judge开发subversion probe，并建议用盲评平台共享测试集。主实验为NeuCLIR 2024的19个请求；论文写明不评估效率。人工对照是Topic 335的两份报告抽查。
Experimental setupTREC NeuCLIR 2024 Report Generation Pilot、TREC RAGTIME et al. · Nugget Recall、Nugget Density et al.
Benchmarks
TREC NeuCLIR 2024 Report Generation PilotTREC RAGTIMETREC DRAGUNTREC RAG
Metrics
Nugget RecallNugget DensityRelevant SentencesCitation Supportweighted precision
AI summaryThe paper studies the circularity risk of nugget-based RAG systems when evaluated with LLM judges. The authors deliberately modify Crucible to generate outputs optimized for the LLM judge, and find that when evaluation components such as prompt templates or gold nuggets are leaked or predictable, systems can obtain near-perfect evaluation scores. Experiments compare nugget-based RAG systems such as Ginger and Crucible against strong baselines such as GPT-Researcher. The authors accordingly emphasize the importance of blind evaluation settings and methodological diversity to avoid mistaking metric overfitting for genuine system progress.

The paper studies the circularity risk of nugget-based RAG systems when evaluated with LLM judges. The authors deliberately modify Crucible to generate outputs optimized for the LLM judge, and find that when evaluation components such as prompt templates or gold nuggets are leaked or predictable, systems can obtain near-perfect evaluation scores. Experiments compare nugget-based RAG systems such as Ginger and Crucible against strong baselines such as GPT-Researcher. The authors accordingly emphasize the importance of blind evaluation settings and methodological diversity to avoid mistaking metric overfitting for genuine system progress.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者用内部知识探测AutoArgue，称泄露提示词或gold nuggets可把分数推到0.97–0.99。

    nugget评测的提示词、judge或gold nuggets一旦可被开发者得知或预测，自动分数可能被抬高，且不必等于真实质量改进。

    • 场景：作者称ChatGPT、Claude等已成为一般用户的信息来源，RAG被用来改善准确性、时效与出处。nugget评测已进入评测框架，也进入RAG架构。
    • 风险：作者认为这种整合可能带来真实改进，也会因循环性造成错误测量。公开的提示词、脚本和LLM judge可能被无意利用，抬高分数并降低与人工评估的一致性。
    • 三条途径：无直接测试集泄露时仍可抬分：只优化被测指标（RQ1）；利用评测提示词和LLM改输出（RQ2）；预测gold nuggets并用于系统（RQ3）。作者认为RQ3威胁最大，且都不假设故意破坏。
    • 本文做法：作者提出Crucible，一种纳入评测思路的RAGE系统，并用subversion probe探测开源AutoArgue。案例是nugget完全人工整理的TREC NeuCLIR 2024报告生成试点。
    • 内部知识设定：
      • 目标是抬高Argue/AutoArgue分数，并追问这是否对应人工判断下的改进。
      • 知识可以是评测框架与指标、AutoArgue提示词，或gold nugget集合；RQ3模拟完全已知。
      • 能力是过滤或改写自身输出，或用猜到的nuggets驱动生成，而不是向评测提示词注入覆盖指令。
      • 被探测的是AutoArgue；任务是复杂查询下强调忠实引用的长文报告。

  2. What related research exists?

    作者把本文放在LLM judge循环性与人工nugget评测之中，用probe探测AutoArgue。

    LLM-as-a-Judge

    • Balog et al. (2025)：讨论LLM作为ranker、judge和assistant的角色，并把feedback loop标为评测的根本风险。
    • Thakur et al. (2025)；Arabzadeh and Clarke (2025)：前者比较TREC RAG Track上的LLM judge与人工标注；后者比较pointwise、pairwise和rubric范式，后续工作讨论提示词敏感性。
    • Umbrela（Upadhyay et al., 2024, 2025）：开放复现Bing相关性评估器。Clarke and Dietz (2025)称，循环性条件下它不再可靠；论文转述传统IR上Tau@60=0.89，系统含LLM judge组件后为Tau@60=0.63、Tau@10=0.38。

    作者称现有文献对脆弱性多为描述，缺少系统的meta-evaluation范式。

    Argue与nugget评测

    • Argue（Mayfield et al., 2024）：面向长文、带引用的报告，在句子级检查引用支撑和nugget覆盖，再汇总为报告级分数。用于TREC NeuCLIR 2024的人工评测。
    • AutoArgue（Walden et al., 2025）：Argue的开源LLM实现，是本文probe的对象。

    Subversion probe与对抗内容

    • Clarke and Dietz (2025)：用probe按Umbrela标签重排文档。作者转述两点：人工评估下有真实质量改进；Umbrela对受操纵系统给出系统性偏差，顶部系统尤其如此。
    • 对抗内容攻击：早期工作研究生成场景中的提示词颠覆，较近工作转向引用评测。作者把本文probe定位为使用judge自身决策过程，而不是注入覆盖评测提示词的指令。

    nugget的来源

    • Rubric Workbench（Farzi and Dietz, 2024）：完全自动生成nuggets，无人工监督。

    • AutoNuggetizer（Pradeep et al., 2024）：LLM产生候选nugget，再人工过滤。作者认为这两类nugget仍可追溯到LLM，系统可以复现或近似它们，因此与gold nuggets对齐并不能说明预测引入了何种扭曲。

    • NeuCLIR 2024：作者称研究时它是唯一公开、nugget完全人工且无LLM协助的RAG基准。

    • 基线与基准：GINGER（GPT-4o，为TREC RAG 2024和AutoNuggetizer设计）、GINGER-Llama、GptResearcher、BulletPoints（NeuCLIR 2024试点中的高分抽取式系统，提交名hltcoe-eugene）。主基准是TREC NeuCLIR 2024 Report Generation Pilot。

    作者把Crucible定位为针对AutoArgue的subversion probe，用来模拟评测思路进入系统开发后的下游效果。

  3. How does the paper address this problem?

    Crucible用system nuggets生成报告，再用评测检查过滤或换入gold nuggets。

    作者构建Crucible（RAGE：把自动评测思路纳入RAG），用文档支撑的system nuggets生成带引用报告，再用两类probe模拟评测秘密泄露。system nuggets指系统自动生成的nuggets，gold nuggets指Argue使用的人工nuggets。

    生成流程

    1. Nugget Ideation：自动生成Q&A形式的system nuggets。作者称有意模仿Argue的风格，但未调到模仿gold nuggets。
    2. Retrieval：取组织方提供的PLAID-X的top 20。作者称也试过其他检索模型，结果省略。
    3. Sentence Extraction：用提示词模板抽取与nugget问答对齐的段落和自包含句子。脚注称system message因bug被省略，更新结果在在线附录，正文未给更新数字。
    4. Selection and Assembly：每个system nugget按抽取置信度取至多k∈{1, 5, 20}句，组装以覆盖system nugget bank，并用源文档作引用。提示词在在线附录和系统论文中，正文未列出。

    Figure 1说明：为某个system nugget生成的摘要句，可能同时覆盖同一主题下的gold nugget。Figure 2给出Crucible直接猜中一条gold nugget的例子。

    Guessed prompt probe

    模拟评测提示词成为公开知识（RQ2）。句子抽取之后做两步，未通过者在组装前丢弃：

    • Citation Filtering：用AutoArgue自己的引用支撑检查过滤候选句和抽取段落，并移除没有任何引用的句子。
    • Nugget Coverage Filtering：用AutoArgue的nugget匹配，确认候选覆盖预定的system nugget。Cov-Sentence检查句子，Cov-Extract检查抽取段落。

    Guessed nuggets probe

    模拟gold nuggets可被完全自动猜中（RQ3）的极限情形：用gold nugget集合替换Nugget Ideation。作者称这可能来自测试主题已被LLM充分理解、生成nugget的模型泄露，或gold nuggets取自自动预测池。作者强调gold nuggets应保持秘密。正文未报告system nuggets与gold nuggets的重叠比例；作者称即使未刻意模仿，也会自然出现一些重叠。

    分数与长度

    AutoArgue用LLaMA-3.3-70B-Instruct扫描每句是否提到nugget问题的正确答案，并用另一提示词核验引用是否支撑句子。除另行说明外，系统实现也用该模型。

    • Nugget Recall：被覆盖gold nuggets除以全部gold nuggets。
    • Nugget Density：被覆盖nuggets除以句子数。
    • Relevant Sentences：含nugget的句子除以全部句子。
    • Citation Support：支撑其句子的引用除以全部引用。

    Short为每nugget至多1句、报告上限2000字符；Medium至多5句、10000字符；Long至多20句、1000000字符。

    probe的三种用法

    • 系统侧：probe是包装器；若人工判断下确有改进，作者建议并入被包装系统。
    • 评测侧：若Argue分数上升而人工分数不升，作者将其视为评测漏洞。文中提到的防护包括提示词集成、隐藏nugget bank和held-out LLM，再用probe复测。
    • meta-evaluation：用Kendall's tau比较自动与人工榜时，probe可改写一批已有系统，以模拟下一代、已吸收LLM judge思路的系统。

  4. What experiments did the paper conduct?

    作者称gold nuggets加过滤后，AutoArgue多项分数达0.97–0.99。

    实验设置

    • 数据：TREC NeuCLIR 2024 report-generation pilot。语料为中文、俄文、波斯语各一千万级文档，并有自动英译。19个report requests，各有标题、问题陈述和请求者背景。nugget由评估员读原文后人工设计，无LLM协助；平均每请求10–20个问答对。本文报告不在原始池中。
    • 系统：Crucible的Base、Citation Filter、Cov-Sentence、Cov-Extract、Gold nuggets。对照为GINGER（GPT-4o，Qwen3检索100篇）、GINGER-Llama、GptResearcher、BulletPoints。Crucible检索为PLAID-X top 20。
    • 模型：除GINGER外，系统与AutoArgue使用LLaMA-3.3-70B-Instruct。同一模型既生成又打分。
    • 指标：第3问的四项AutoArgue指标；报告分短、中、长三档。论文写明不评估系统或自动评测的效率。
    • 检验：作者称RQ2多项改进由paired t-test确认，未报告p值或具体比较。重复次数未报告。
    • 其他集合：第5.5节报告TREC 2025的RAGTIME、DRAGUN，以及TREC RAG的人工citation support。

    主结果

    Figure 5比较自动system nuggets与换成gold nuggets。论文未标明报告长度；Auto Nuggets各行与Figure 4短报告对应数值相同。

    Swipe horizontally to read the table

    变体（Figure 5）Nugget RecallRelevant SentencesCitation SupportNugget Density
    Auto / Base0.5990.7680.6660.400
    Auto / +Citation Filter0.6250.8000.7870.416
    Auto / +Cov-Sentence0.6220.7940.7300.425
    Auto / +Cov-Extraction0.6070.7930.8300.446
    Gold / Base0.9040.9400.8910.900
    Gold / +Citation Filter0.9010.9390.9810.899
    Gold / +Cov-Sentence0.9740.9820.9750.977
    Gold / +Cov-Extraction0.9700.9890.9820.989
    • 作者称已知gold nuggets时，Nugget Recall相对提升为+44%到+59%；与提示词过滤结合后，四项分数为0.97–0.99。图注写near-perfect scores of ≈ 0.99%，正文写0.97–0.99。小节标题的回答是Yes, for nuggets。
    • 作者称这些结果likely tainted by circularity，不认为代表真实成就，而是利用评测秘密的产物。
    • Gold加Citation Filter的Nugget Recall和Nugget Density低于Gold Base；作者未单独解释这一下降。

    RQ1：是否知道评测框架

    Figure 3按作者所说，从无到有排列对Argue的了解。论文未写明报告长度。Nugget Recall为：GptResearcher 0.177，GINGER 0.244，GINGER-Llama 0.241，BulletPoints 0.508，Crucible Base 0.599。

    • 作者称更通用的GptResearcher总体落后；GINGER（无评测内部知识）到Crucible（有评测知识）的相对增益，各指标至少+16%到+100%。作者由此认为，按评测框架优化的设计者可能会看到可测改进。
    • Figure 3中Crucible Base的Relevant Sentences、Citation Support、Nugget Density标为0.768、0.666、0.400，与Figure 4短报告Base相同。其余系统在另三张面板上的柱值，文本转换后列对应不够确定，此处不逐条转写。

    RQ2：是否知道评测提示词

    Figure 4给出短、中、长三档相对Base的变化。作者称除Nugget Recall外，用评测提示词过滤会提高对应指标。

    • Citation Support：Citation Filter相对提升为短18.17%、中18.22%、长20.74%。Cov-Extraction进一步到24.62%、30.06%、33.59%，绝对值分别为0.830、0.835、0.863。
    • 密度与句子相关性：Cov-Extraction的Nugget Density相对提升为11.50%、32.99%、140.00%。作者称句子相关性增益在+3%到+7%之间。
    • 负面：覆盖过滤会去掉句子，中、长报告Nugget Recall下降。Cov-Sentence为中-0.70%、长-3.82%；Cov-Extraction为中-8.51%、长-8.87%。短报告则可上升，Citation Filter短报告为4.34%。作者称Base已能把句子生成锚定在引用和system nuggets上。

    人工抽查与TREC 2025

    • Topic 335：作者团队比较Base与同时使用两类probe的两份报告，对哪份相关事实更多意见分歧。一名成员认为prompt probe的引用更忠实。作者据此称未来RAGE系统应采用Citation Filtering。这不是带一致性数字的人工评测。
    • 随机性：作者称LLM随机性会使系统抽取与AutoArgue不一致；人工检查看到句子同时覆盖system nuggets和gold nuggets。
    • TREC 2025：RAGTIME中改进system nuggets使nugget recall从0.27到0.33（作者标注▲）。citation filtering使citation support从0.83到0.99，作者称显著提高，各方法之间为0.97–0.99。DRAGUN中nugget coverage filtering使support从0.166到0.173，作者称无统计显著性。TREC RAG人工citation support的weighted precision为0.59、0.69、0.80，论文未把这三个数对应到具体方法。作者称RAGTIME的过滤与AutoArgue程序构成循环，这一分歧说明攻击暴露了基于提示词的漏洞。

    其他消融与分析

    • 检索：作者称multilingual LSR和Qwen3趋势类似，结果省略（第4.3节）。
    • 长度：Base的Nugget Recall短/中/长为0.599、0.717、0.812；Nugget Density为0.400、0.097、0.030（Figure 4）。
    • GINGER与GINGER-Llama的Nugget Recall为0.244和0.241（Figure 3）。
    • 脚注：system message因bug省略，更新数字未写入正文。
    • 作者未报告system nuggets与gold nuggets的重叠率，RQ3用的是完全替换的模拟。

  5. What are some points that can be further explored?

    作者称本文只是初步步骤，并希望为更多LLM judge开发subversion probe。

    作者指出的局限与后续方向

    • 初步步骤：作者在Conclusion称，这项工作只是对AutoArgue等LLM评测范式脆弱性做系统研究的initial step。
    • 更多范式：作者希望未来工作为更多LLM judge范式开发subversion probe，以便更系统地量化漏洞并设计防护（Conclusion）。
    • 公开产物的风险：作者警告，公开提示词和nuggets有风险；若产物成为公开知识或在开发中被逆向，会抬高掌握内部知识的系统分数，损害系统间比较（Conclusion）。
    • 盲评共享：作者建议通过支持盲实验评测的平台共享测试集，并举TREC Auto-Judge track使用TIRA、在盲评设置中分发其test probes为例（Conclusion）。

    实验覆盖范围

    • 主实验是TREC NeuCLIR 2024 Report Generation Pilot：19个请求，中文、俄文、波斯语语料及自动英译，gold nuggets完全人工、平均每请求10–20个（第4.1节）。作者称当时没有其他具备完全人工nugget bank的公开RAG基准。
    • 系统与AutoArgue使用LLaMA-3.3-70B-Instruct；GINGER使用GPT-4o。Crucible主结果检索为PLAID-X top 20；LSR与Qwen3的结果被省略（第4.3节）。
    • 报告长度有短、中、长三档（第4.3节）。Figure 5未标明长度。论文写明不评估RAG系统或自动评测的效率（第1节）。
    • 人工质量对照是作者团队对Topic 335两份报告的抽查，团队意见分歧（第5.4节）。论文未报告与人工的一致性系数，也未报告paired t-test的p值。
    • 第5.5节另有TREC 2025 RAGTIME、DRAGUN的早期提交结果，以及TREC RAG的人工citation support。正文数字未包含脚注所说、因省略system message而更新的结果。

  6. Summarize the main content of the paper

    作者用Crucible探测到内部知识可把AutoArgue分数推至0.97–0.99，并建议盲评。

    作者用Crucible做案例，考察nugget-based LLM judge在评测秘密可被得知或预测时，分数是否会被抬高。

    • 问题：RAG评测日益使用nugget和LLM judge，而这些组件也进入系统本身。作者区分三条不必直接泄露测试集的途径：按被测指标窄优化、利用评测提示词改写输出、预测gold nuggets。作者认为最后一条威胁最大，且不假设故意破坏。
    • 做法：Crucible从PLAID-X的top 20文档生成Q&A形式的system nuggets，抽取句子并按k∈{1, 5, 20}组装带引用报告。Guessed prompt probe用AutoArgue自己的引用与覆盖检查丢弃候选句；Guessed nuggets probe用人工gold nuggets替换自动nuggets，模拟完全猜中。评测器是AutoArgue，模型为LLaMA-3.3-70B-Instruct，与多数系统实现相同。
    • 跨系统：在TREC NeuCLIR 2024的19个请求上，Figure 3的Nugget Recall从GptResearcher的0.177、GINGER的0.244到Crucible Base的0.599。作者称了解评测框架会带来可测改进，相对增益至少+16%到+100%。
    • 过滤：Figure 4中，Citation Filter把Citation Support相对提高18.17%到20.74%；Cov-Extraction最高到33.59%，Nugget Density的相对提升最高为140.00%。中、长报告的Nugget Recall可下降，长报告Cov-Extraction为-8.87%。
    • 猜中nuggets：Figure 5中，Gold Base的Nugget Recall为0.904；与过滤结合后，作者称四项分数为0.97–0.99。作者认为这些分数受循环性影响，不代表真实成就。TREC RAGTIME中citation filtering后citation support为0.99，而TREC RAG人工weighted precision为0.59、0.69、0.80；作者称这暴露了基于提示词的漏洞。
    • 作者的结论：公开提示词和nuggets有风险。作者建议用支持盲评的平台共享测试集，并希望后续为更多LLM judge开发同类probe。
Read originalarxiv.org
#Reward hacking