谁的事实才算数？对 LLM 评测基准的文化响应性审计

LLM评测基准把特定知识形式写成“事实”和“质量”，却很少追问这些分数对谁、对何种知识有效。

• 使用场景：作者认为SimpleQA与Chatbot Arena产出关于模型能力与质量的主张，并进入教育、劳动和公共服务决策。多元文化效度问解释能否跨文化成立；文化回应性评价问谁的知识、价值和经验被代表。
• 现有做法：一类用固定题和预定正确答案，一类用人类或自动评分（Raschka, 2025）。作者认为SimpleQA的“单一、无可争辩答案”便于计分，也更适合能写成稳定事实、用可得来源核验的知识；Arena的质量来自参与者偏好。
• 核心观察：128道题涉及哥伦比亚，其中117道问市政成立日期，占全库2.70%。作者将其追溯到一名贡献者。剔除全部128道后，其他Global South语境题为234道，占5.41%。作者认为国家计数可以看起来像覆盖，而不改变知识准入规则。
• 本文做法：用六维CR量表审计全部4,326道SimpleQA题，以及600条LMSYS-Chat-1M对话，并给出六原则、六问题框架。作者称要区分窄化来自少数题目，还是来自选题、核验和评判规则；摘要称所见是结构性效度失败，而不是附带的测量问题。

论文没有单独的Related Work，相关讨论在评测批判和理论框架里。

两类评测

• Raschka（2025）：区分固定题库与人类或自动评分。论文用这一区分安放SimpleQA和Arena。
• SimpleQA（Wei et al., 2024）：4,326道短事实题，要求单一且不随时间改变的答案；部分题目入选是因为GPT-4o或GPT-3.5答错。论文指出难度因此部分依赖建库模型，且窄于事实知识的代表性样本。
• Chatbot Arena（Chiang et al., 2024）：用户比较两个匿名模型并投票，累计投票进入排名。论文把问题放在投票者是谁。

偏差记录与文化基准

• SimpleQA Verified（2025）：指出原基准有错误或噪声标签、重复题、主题偏差和来源分布窄。作者称本审计确认、量化并在理论上延伸这一先验发现。
• Singh et al.（2024, 2025）：Global MMLU中28%的题需要文化敏感知识，84.9%的地理题聚焦北美或欧洲；看文化敏感子集时模型排名会变。论文认为译成多种语言不一定改变底层基准的文化结构。
• Naous et al.（2024）、Myung et al.（2024）、Chiu et al.（2024）：分别记录阿拉伯语评测中的文化偏差、用BLEnD比较16国日常文化知识，以及CulturalBench所覆盖的45国文化特定知识差距。论文转述Myung等的结果：线上表征更多的文化，模型表现更好。论文认为这些工作记录的文化限制不限于一个基准或一对语言，但较少处理差异如何在评测过程中产生。

评价理论与认识论

• CRE：Hood（2001）、Kirkhart（1995, 2010）、Hopson（2009）。评价被看作文化实践；多元文化效度问解释能否跨情境成立。论文转述Hopson：没有受影响社区的实质参与，评价在认识论上不完整。
• Messick（1989）与Santos（2014）：前者把使用的社会后果纳入效度；后者的epistemicide被作者用来讨论把一种认识论写成普遍标准。Bauman与Briggs（1990）的entextualization被用来讨论知识脱离原情境后再被放进评价框架。Zhu et al.（2025）被引用为：即便在西方档案框架内，当前LLM的时间推理也较弱。
• 认知卸载：Clark与Chalmers（1998）、Risko与Gilbert（2016）、Gerlich（2025）、Scharrer et al.（2017）。作者写明这些经验研究在西方情境中完成，由此推出的Global Majority论述是理论假设，不是本审计的经验结果。

对照对象与本文位置

• 本次对照：审计对象是SimpleQA全量与LMSYS-Chat-1M抽样；语言份额对照ITU估计；低deficit参照是作者自建的50题counter-benchmark。论文未把Global MMLU、BLEnD或CulturalBench当作本次复跑的基线。
• 作者把训练语料污染与文化窄化分开：Anthropic（2026）写CharXiv Reasoning的多数问答对出现在训练语料中，这使分数更难解释。作者称CRE增加的是对纳入、核验、贡献者和质量定义的检查，并称给基准加国家或翻译题目，可以不改变知识准入规则。

作者用事先映射到CRE理论的CR rubric做内容分析：Study 1看题项编码了何种认识论，Study 2看排名校准到谁。另给六条原则和六个问题，并称这是可用的工作仪器，不是完整答案。

两项研究的设定

• Study 1：编码全部4,326道SimpleQA题。作者称“D2在全库为1.00”只有逐题检查才站得住，抽样不能支持全称发现。
• Study 2：问产生Arena排名的人类判断，是否代表这些排名所应用到的全球人口。语言标签由Polyglot预标注；CR编码用于首轮用户提示。
• 抽样：从LMSYS-Chat-1M分层随机抽取600条对话，种子为42。作者称该语料公开、带语言标签，且规模足以做语言分布分析。
• 避免循环：维度在看题之前映射到Hood、Kirkhart与Hopson。作者也写明量表反映其承诺，换一种量表会得到不同发现。

六维计分

每维0–2（0为缺席，1为出现，2为强烈出现），单题CR deficit最高12（Table 1）。自动化启发式先扫全部题项。表注写D2在全部题上记为1，SD=0。

• D1 Western/Global North referent：有无西方参照，以及意义是否只在西方框架内成立。
• D2 Evidentiary accessibility：能否由多种语言传统回答，还是主要或只能靠英语档案来源。
• D3 Single indisputable truth：是否承认变异、暗示唯一答案，或要求恰好一个答案。
• D4、D5、D6：分别看个体主义/伟人框架、Global South知识缺席或殖民框定、口述或社区知识能否回答。

校验与来源

• 映射与试点：D1、D5对应Kirkhart（2010）；D2、D6对应Hopson（2009）；D3对应Santos（2014）与Messick（1989）；D4对应Hood（2001）。定义在30题上试点后再做正式信度。
• Rasch：对除D2外的五维拟合Partial Credit Model。作者报告D3、D6区分度最高且阈值有序；D4、D5的第二阈值未定义，在本数据中近于二分，并称日后修订应并成0/1。原始合成与Rasch θ的相关为r=.90。
• 来源：15,401个来源URL按认识形式分类。百科档案（Wikipedia、Britannica）是72.8%题目的主来源，Date题为82.9%；社区或社交来源占主来源的比例低于0.1%。
• 人工信度：52题分层子样本（每主题5题，另加得分6和7的两题），由第二作者和一名志愿研究助理独立编码后再调和。调和后Krippendorff's α：D3=.943，D6=.758，D2=.566，D1=.439，D4=−.243，D5=−.400。作者称D1、D4、D5需要更多解释判断，D4、D5日后需要再校准。
• 模型编码：同一52题上，GPT-4.1-mini与GPT-5.6-Terra按量表标准打分。作者报告GPT-5.6-Terra与启发式在D2上精确一致98.1%、D5上88.5%，D1为36.5%、D6为25.0%，并称D5应读作保守下界。

反基准与建议框架

• 反基准：50题，五类各10题，分别为Global South口述传统、Global South历史知识、非西方科学与数学传统、社区知识系统、有争议或多元的认识论。作者称目的是看量表在低deficit知识存在时能否把它标出来。这些题由研究团队为本研究所建。
• 六原则：情境优先、认识论多元、利益相关者参与、设计选择透明、后果效度、纵向且情境化的评估。作者把Anthropic（2026）记录的评估觉察当作最后一条在经验上紧迫的理由，而不是本研究测得的模型行为。
• 六个问题：面向谁、提示语言与使用者语言人口是否相符、“正确”编码了何种认识论、题目由谁编写及其立场、误判代价由谁承担、部署前是否经过相关社区审阅。

实验设置

• 被审计材料：SimpleQA全量4,326题；LMSYS-Chat-1M分层样本600条（种子42），CR编码限于首轮用户提示；作者自建反基准50题。
• 模型角色：论文未报告模型在SimpleQA上的答题准确率。GPT-4o与GPT-3.5只作为Wei et al.建库时的难度参照被引用。GPT-4.1-mini与GPT-5.6-Terra只用于52题子样本的编码一致性，对照的是启发式而不是全库人工编码。
• 指标：六维CR deficit（每维0–2，合计最高12）；主题与答案类型均值；ANOVA的F、p、η²和Cohen's d；地理三组的Kruskal-Wallis；D3与D6的共现、lift、phi和χ²；Arena语言份额相对ITU估计的百分点差及二项检验；反基准的t检验和Cohen's d；Krippendorff's α。
• 编码与排除：人工为两名编码者、52题、独立编码后调和。语言标签为语料预标注（Polyglot）。主题分析排除未分类元数据174题（4.0%）。论文未报告实验重复次数。
• 题型与主题：Date 1,356（31.3%），Person 1,006（23.3%），Other 743（17.2%），Number 643（14.9%），Place 404（9.3%）。人数最多的主题是Science and Technology（833，19.3%）和Politics（676，15.6%）。

主结果

| 对象 | 结果 | 出处 | | SimpleQA（N=4,326） | 平均CR deficit 1.78（SD=1.13，范围1–7） | 结果正文；Figure 1为分数分布 | | Arena抽样（N=600） | 平均CR deficit 1.07（SD=0.32，范围1–4） | 结果正文；Figure 4右图 | | 反基准（n=50） | 平均0.64（SD=0.94）；60.0%总分为0 | 结果正文；Figure 6 | | Arena英语 vs ITU | 76.3% vs 25.9%，差+50.4个百分点 | Table 4 |

• 作者认为两套仪器分别把英语档案认识论写成事实标准，把英语主导的早期采用者偏好写成一般质量。
• 作者称反基准对照里，量表惩罚的是SimpleQA这类设计选择，而不是知识本身；摘要另称反基准均值nearly three times lower。
• 作者称，没有主动的文化审计时，个别标注者的知识兴趣会变成对其余世界的测量标准。

维度、主题与答案类型

• 维度（Table 2）：D2均值1.00（SD=0），100%为1分、0%为2分。这一全库赋值来自启发式初扫；52题上调和后的人工α为.566，不是两名编码者对4,326题逐题确认。D3均值0.29，24.0%的题至少为1；D6均值0.18，占12.9%；D1均值0.15；D5均值0.08（7.9%）；D4均值0.07（6.7%）。54.8%的题停在最低分1；305题（7.1%）至少为4；8题达到7，其中6题在Politics。作者称高分来自认识论要求，而不是话题本身。
• D2依据：4,326题都用英语书写。来源URL中39.6%链到英语Wikipedia，59.4%链到其他英语档案，1.0%为非英语Wikipedia（159个URL，其中72个是哥伦比亚市政的西班牙语Wikipedia）。作者解释记1而非2，是因为少数题有非英语Wikipedia；但所查案例中，被接受的答案仍依赖书面档案。
• 主题与题型（Table 3）：Politics均值2.03（SD=1.24），Science and Technology 1.93，Video Games 1.28。作者报告F(9, 4,152)=16.30，p<.001，η²=.034；Politics对Video Games的Cohen's d=0.65，作者称中等效应。Date题均值2.30，Place为1.37；F(4, 3,978)=144.72，p<.001，η²=.122，Date对Place的d=0.66。Date题依赖百科档案的比例为82.9%，总体为72.8%。作者认为Politics与Science既是部署后果更重的领域，也是文化约束更强的领域，并称这一倒置与Santos（2014）的观察相呼应。

地理分布与维度共现

• 国家计数：362题（8.4%）提及Global South。其中128题关于哥伦比亚，117题问市政成立日期。剔除这128题后，其余Global South题为234，占全库5.41%。作者称该簇并不拓宽Global South表征，并把西班牙殖民行政记录写成社区的确定起源，从而抹去原住民时间框架和前殖民历史。
• 共现：D3与D6同时至少为1的比例为12.83%，独立假设下期望3.09%，lift=4.15，phi=.68，χ²(1, N=4,326)=742.3，p<.001（Figure 2a）。作者称这是SimpleQA把事实正确操作化的方式，不是量表设计造成的假象。
• 三组比较：不含哥伦比亚簇的Global South题（n=234）均值1.60，Global North（n=2,891）0.83，无地理指称（n=1,201）0.66；H(2)=489.48，p<.001，ε²=.112，作者称大效应，并认为问题超出单一标注者假象（Figure 3a）。这三组n之和等于4,326，论文未说明被排除的128题计入哪一组。其中两组均值低于结果节所写的全库最低分1，论文未解释如何同时成立。

Arena语言与反基准

• 语言差（Table 4）：中文11条（1.8%），ITU估计19.4%，差−17.6个百分点；西班牙语10条（1.7%）对7.9%。阿拉伯语、印地语、印尼语各1/600。作者报告阿拉伯语P(X≤1 | Binomial(600, 0.052))=4.12×10⁻¹³，中文p=8.92×10⁻⁴¹。这五种语言合计约41%的全球互联网用户，但少于抽样对话的5%。作者称Arena排的是英语早期采用者的偏好。
• Arena的CR分：D2在600条提示上仍为1.00。作者称较低的均值反映更开放的对话格式，并称英语档案约束是结构性的。
• 反基准：均值0.64（SD=0.94）对SimpleQA的1.78；t(4,374)=7.08，p<.001，Cohen's d=1.01。50题的D2均为0.00，60.0%总分为0（Figure 6）。作者称差异存在时，量表能区分认识论较窄与较包容的题目。

其他消融与分析

• Rasch：不含D2的五维合成与θ相关r=.90；D4、D5第二阈值未定义，作者称日后宜改为0/1。
• 人工α（52题，调和后）：D3=.943，D6=.758，D2=.566，D1=.439，D4=−.243，D5=−.400。
• GPT-5.6-Terra对启发式（同一52题）：D2 98.1%，D5 88.5%，D1 36.5%，D6 25.0%；论文未单列GPT-4.1-mini的一致率。
• 来源：15,401个URL；百科档案为主来源的题占72.8%，Date题82.9%，社区或社交来源低于0.1%（Figure 5右图为认识形式分类）。
• 作者引用Anthropic（2026）：Claude Mythos Preview在7.6%的自动行为审计轮次中出现未说出的评估觉察。作者写明这不是SimpleQA所评模型的结果。

作者指出的局限与后续方向

• 量表外推：量表虽以既有CRE理论为据，但是为本研究所建，需要在更多编码者、基准类型和文化情境中再验证（Limitations）。
• 编码者立场：作者写IRR建立在10%子样本上，反映编码者文化立场的系统偏差不能完全排除（Limitations）。Method另写信度子样本为52题。
• D5：应读作保守下界（Limitations）。
• ITU：语言人口数字是估计，存在方法争议；作者认为换来源会改变差距的精确幅度，但不太可能逆转总体格局，理由是观察到的幅度（Limitations）。
• 语料时点：LMSYS-Chat-1M反映平台发展中的一个特定时刻，作者称更近的数据更可取（Limitations）。
• 反基准与手编：50题由团队自建，不是独立验证来源；作者称与系统开发的文化回应性全球事实基准比较会加强外部效度，并点名MSQA或CulturalBench能提供更强的判别效度证据。作者还称启发式相对仔细的全量表人工编码偏保守，若D1、D3、D6按量表标准手编，SimpleQA的实际均值可能高于1.78（Limitations）。

实验覆盖范围

• 内容审计覆盖SimpleQA全部4,326题，以及LMSYS-Chat-1M的600条分层对话（种子42）；语言标签来自Polyglot，CR编码用于首轮提示（Method）。
• 人工一致性为两名编码者、52题；模型一致性为GPT-4.1-mini与GPT-5.6-Terra对同一52题，且报告的是与启发式的一致（Method）。
• 统计检验包括主题ANOVA、答案类型ANOVA、地理三组Kruskal-Wallis、D3–D6卡方，以及反基准t检验（Results）。
• 反基准为五类各10题，由研究团队编写；作者写答案可对照已发表的文化知识档案核验（Results、Limitations）。
• 论文报告了15,401个来源URL的认识形式分类。论文未报告模型在SimpleQA上的答题分数，也未报告实验重复次数。

作者用文化回应性评价审计SimpleQA和Chatbot Arena，追问定义事实与质量的基准对谁有效。

• 问题：固定题库要求单一、可核验答案，人类偏好排名则取决于谁投票。作者认为这些选择决定何种知识进入评测、谁的判断算数，并进入教育、劳动和公共服务中的部署决定。
• 方法：六维CR deficit事先映射到CRE理论，每维0–2，合计最高12。Study 1编码全部4,326题；Study 2用种子42抽取600条Arena对话，对照ITU语言份额。另有团队自建的50题反基准，以及六原则、六问题。全库D2来自启发式赋值，不是全库双人编码。
• 结果：SimpleQA平均分为1.78，D2在全库记为1；117道哥伦比亚市政日期题占2.70%，剔除128道哥伦比亚题后其他Global South题占5.41%，结论将其概括为低于6%。Arena抽样中英语提示占76.3%，ITU估计为25.9%，差+50.4个百分点。反基准均值0.64，对SimpleQA的Cohen's d=1.01。D4、D5的人工α为负。
• 作者结论：所检查的证据给出的回答是，这些基准不是文化回应性的。作者称分数同时在文化上偏窄、在技术上受污染影响，并且可能被受评模型博弈。作者主张，在这些条件下，认识置换已经以不大、多半看不见的方式开始，并把结尾的问题改写为：谁的事实被做成了不算数，以及要怎样才能把它们算进去。