在严谨与现实之间:AI 安全基准开发者如何理解基准的使用与维护
Between Rigor and Reality: How AI Safety Benchmark Developers Understand Benchmark Use and Maintenance
作者访谈 5 位 AI 安全基准开发者,发现他们既不使用也不维护自己发布的基准,并指出评分者间信度与外部效度两大挑战。
- 安全基准被视为理解生成式 AI 风险的主要工具,但越来越多证据显示它们难以满足真实部署场景的安全评估需求;开发者自身如何看待这些局限此前缺少研究。
- 对 5 位来自学术界和工业界的 AI 安全基准开发者做约 1 小时半结构化访谈(2025 年 11 月至 2026 年 1 月,Zoom),用反身性主题分析编码转录文本。
- 受访者认为基准的预期用途(衡量进展、比较模型、问责)与实际用途脱节:他们缺乏基准被如何使用的反馈,自己在评估部署系统时也不用公开基准;仅 P1 定期更新其基准,其余人发布后从未更新。
- 作者指出样本仅 5 人、招募自职业网络和社交媒体存在选择偏差、自我报告可能受社会期许偏差影响(Section 5.3);访谈聚焦概念漂移而非数据污染,未涉及具体基准或模型的定量评测。
研究者对学术界与产业界的 AI 安全基准开发者开展 5 次访谈,发现安全基准的预期有用性与其实际用于已部署系统安全评估的效果存在脱节。受访者谈到两个挑战:在安全构念上难以达成评分者间信度,以及如何应对外部效度的持续威胁尚不明确。作者主张安全基准须立足并主动整合部署场景,并提出促进学界与产业界更透明沟通的路径。
深度解读
这篇论文试图解决什么问题?
作者研究 AI 安全基准开发者如何理解基准的用途与维护,发现预期用途与实际用途脱节。
核心问题:AI 安全基准开发者如何看待基准的预期用途与实际用途之间的差距,以及他们如何应对开发中的挑战。 安全基准被称为理解生成式 AI 风险的主要工具,但已有证据显示它们常无法满足真实世界安全评估的需求,而开发者这一关键群体的视角此前缺少研究。
- 问题场景:安全基准结合数据集与评分指标来评估模型在风险场景中的行为,覆盖毒性、偏见、鲁棒性等维度;但近期工作发现它们聚焦已知风险、把复杂场景简化为通过/不通过判定,且缺乏对分数含义的上下文说明(引言)。
- 现有研究缺口:已有局限多通过基准产物调查(Yu et al., 2026)或基准使用者访谈(Hardy et al., 2025)发现,作者认为缺少对基准开发者视角的研究,而开发者处于学术方法与工业实践的交叉点(Section 2.2)。
- 研究问题:RQ1 问开发者认为安全基准旨在满足什么需求、与实际满足的需求有何差距;RQ2 问他们如何理解和应对造成这一差距的挑战(Section 1)。
- 论文产出:基于 5 次半结构化访谈,作者报告了两类挑战——评分者间信度(inter-rater reliability)难以达成、外部效度(external validity)的持续威胁缺乏应对——并主张安全基准应主动融入部署场景,加强学术与工业界的透明沟通(摘要)。
有哪些相关研究?
相关工作分三组:基准开发中的挑战、发布后的挑战、对安全基准实践理解的缺口。
基准开发阶段的挑战
- Yu et al. (2026)——检查 210 个安全基准,发现 94% 披露了基准条目标签的不确定性,常用评分者间信度下限排除边界案例;论文借此说明安全构念比能力基准更主观、信度更难达成。
- Ren et al. (2024)、Eriksson et al. (2025)——关注构念效度问题,质疑高分是否反映真实安全还是表面合规。
- Xu et al. (2024)、Fodor (2025)——讨论数据泄露与饱和使公开基准失效的问题。
基准发布/部署后的挑战
- Di Bonaventura et al. (2025)——以仇恨言论为例说明静态基准难以追踪快速演变的社会文化现象,提出"概念漂移"(concept shift)问题。
- Zhang et al. (2023)——指出模型部署到原数据集未覆盖的平台、语言和用户群后,真实输入与基准测试分布日益偏离。
- Cogo et al. (2021)——软件生态中的弃用通知研究;论文指出基准缺乏类似软件版本管理和弃用通知的机制,没有系统方式告知基准何时失效。
对安全基准实践理解的缺口
- Hardy et al. (2025)——访谈基准使用者,发现从业者普遍了解基准局限,常认为基准不足以为决策提供依据,转而开发很少公开的内部评估工具。
- Guerdan et al. (2025)——提出数据科学家构建目标变量的"bricolage"(拼凑式)测量范式;论文认为工业界安全评估更接近这种范式,而非 Wallach et al. (2025)、Weidinger et al. (2025) 倡导的自上而下原则化方法。
- Scheuerman (2024)——指出研究 AI 工业界实践存在结构性障碍,论文在讨论工业评估不透明性和局限时引用。
定位:作者称本文与 Hardy et al. (2025) 互补——后者从使用者一侧展示从业者放弃公开基准,本文显示这种脱离延伸到开发者自身,由部署场景反馈的缺失所驱动(Section 5.1)。
论文如何解决这个问题?
对 5 位基准开发者做半结构化访谈,用反身性主题分析编码,聚焦信度与外部效度两类挑战。
这是一项定性访谈研究:作者对 5 位有安全基准开发或维护经验的从业者做半结构化访谈,用反身性主题分析(reflexive thematic analysis, Braun and Clarke, 2019)分析转录文本。
参与者招募
- 招募条件:参与者需自报有开发或维护安全基准的经验;招募通知中安全基准定义为"测量系统展现不安全行为倾向的标准化测试或评估框架,例如产生错误信息或仇恨言论"(Section 3)。
- 招募渠道:通过作者的职业网络和社交媒体招募;访谈约 1 小时,2025 年 11 月至 2026 年 1 月通过 Zoom 线上进行,每位参与者获 60 美元礼品卡,研究经机构 IRB 批准。
- 参与者构成(Table 1):P1 工业界、评估方法方向、10 年以上经验;P2 学术界、心理健康方向、1–5 年;P3 工业界、偏见与毒性方向、1–5 年;P4 工业界、人类福祉方向、1–5 年;P5 工业界、多元性(pluralism)方向、5–10 年。P4 和 P5 在学术和工业界均有较多经历,表中标注的是访谈时所在场景。
访谈协议设计
- 开场:从参与者背景和当前实践的开放问题开始,给出工作定义"GenAI 基准是由提示词或任务数据集和评分指标构成的标准化评估框架",再围绕基准效度、上下文适配、利益相关者决策等维度追问(Section 3)。
- 维护问题:专门设计问题探查基准是否仍与目标构念对齐、什么信号触发更新、更新决策由谁做出;明确把讨论限定在概念漂移(concept drift),而非训练数据泄露造成的污染。
- 假设场景:对未直接经历过概念漂移的参与者,给出两个假设场景之一(健康错误信息场景、饮食失调相关语言演变场景),追问团队如何发现差距、更新决策标准和下游后果(附录 A.3)。
- 收尾:请参与者反思基准维护不足的风险,设想保持基准时效的理想系统,包括自动化与人工监督的角色。
分析方法
- 开放编码:三位第一作者对全部访谈转录做初始开放编码,全程记录备忘录以追踪涌现的模式和主题。
- 迭代精炼:编码本由三位共同第一作者从描述性编码逐步发展为分析性编码;研究团队定期召开协作会议讨论编码、解决分歧并迭代精炼编码方案(Section 3)。
论文做了哪些实验?
5 次访谈的发现:开发者缺乏使用反馈、自己不用公开基准、仅 1 人维护基准;信度与外部效度是两大挑战。
实验设置
- 研究形式:5 次半结构化访谈,无模型、数据集或定量基准实验;分析单位为访谈转录文本。
- 参与者:5 位安全基准开发者(Table 1),4 位访谈时在工业界、1 位在学术界,经验从 1–5 年到 10 年以上不等,方向涵盖评估方法、心理健康、偏见与毒性、人类福祉、多元性。
- 访谈时长与时间:每次约 1 小时,2025 年 11 月至 2026 年 1 月。
- 分析方式:反身性主题分析,三位第一作者开放编码并迭代建立编码本(Section 3)。
主结果
论文的主结果是定性主题,无数值表格。核心发现按主题归纳如下(Section 4.1–4.3):
主题 发现 涉及参与者 预期用途 衡量进展、hill-climbing、跨行业比较;P5 补充问责、落地政府监管、参与式评估 全体,P5 使用反馈缺失 开发者不确定自己的基准是否被使用,包括曾与真实客户试点过的参与者 全体,含 P3、P4 自身实践 工业界参与者评估部署系统时不用公开基准,而用红队、用户日志、用户反馈的内部评估生态 工业界参与者,P5 基准维护 仅 P1 定期更新其基准;其余人发布后未更新也无更新计划 P1 vs. 其余 4 人 - 作者称,这些发现显示基准的预期用途与实际用途之间存在脱节,且这种脱节在 AI 安全领域比一般计算领域更突出(Section 4.1)。
- P1 和 P5 对公开安全基准的意义持怀疑态度:P1 认为基准结果没有明确后果、常被企业用作宣传;P5 则因常发现基准"相当欠缺"而担心它们给开发者虚假的安全感(Section 4.1)。
评分者间信度:障碍还是特征
- 测了什么:开发者如何理解和应对安全基准标注中的评分者间信度问题。
- 结果:P2 报告在心理健康领域,即使临床精神科医生群体内部也难以就何为伤害达成共识,需要多轮培训和集体讨论才能达成可接受的信度;P1 指出连一些高引用、标准答案明确的基准(如图像分类)也存在信度问题,安全这类更主观的场景问题更大。
- 两种解读:P1、P2 把低信度视为需要克服的障碍(信度是效度的必要非充分条件);P5 则把分歧视为安全内在多元性的体现,认为理想基准应"穷尽覆盖"不同视角而非强制一致(Section 4.2)。
外部效度威胁与维护缺失
- 测了什么:开发者如何认识基准外部效度的威胁(分布漂移、概念漂移、数据泄露、Goodhart 定律、饱和)以及是否据此维护基准。
- 结果:P1、P2 描述了分布漂移的实例(如新型有害内容的出现、线上社区规避审核的新方法);P1、P3、P5 认为概念漂移在安全领域是预期中的现象。尽管访谈聚焦概念漂移,参与者更常主动提到数据泄露(P1 称基准提示词一旦公开就"立即被模型捕获")、Goodhart 定律(P5)和饱和(P1、P3、P5)。
- 作者解读:这些担忧并未促使参与者主动维护基准——仅 P1 定期更新;P3 因缺乏采用反馈而失去维护动力,P2 称难以获得支持更新所需的新数据。作者认为缺乏采用和反馈直接削弱了维护的激励与资源(Section 4.3)。
其他消融与分析
- 论文无消融或参数分析实验;附录 A 给出完整访谈协议(含两个假设场景的具体问题)。
有什么可以进一步探索的点?
作者承认样本小、有选择偏差和自我报告偏差;研究为 5 人定性访谈,无定量评测。
作者指出的局限与后续方向
- 样本量小:作者称受时间限制和工业界从业者招募难度所限,只有 5 位参与者,而后者是该领域研究中已被记录的困难(Section 5.3)。
- 选择偏差:样本主要来自作者的职业网络和社交媒体招募的回应者,作者称这带来了选择偏差(Section 5.3)。
- 自我报告偏差:与其他依赖自我报告的工作一样,参与者可能因希望显得称职而产生偏差(Section 5.3)。
- 后续方向:作者称未来工作可通过招募更多参与者(包括借助学术-工业合作)以及纳入更多数据收集方法来应对这些偏差、加强结论(Section 5.3)。
- 对领域的呼吁:作者呼吁工业界提高安全评估方法的透明度(如发布内部评估方法的高层描述),并通过第三方机构(如 NIST)建立基准采用情况的反馈渠道,以及建立学术-工业合作来制定基准更新与退役的共享标准(Section 5.2)。
实验覆盖范围
- 证据形式为 5 次半结构化访谈的定性分析,参与者为 4 位工业界、1 位学术界的基准开发者(Table 1)。
- 参与者基准方向覆盖心理健康、偏见、毒性、人类福祉、多元性和评估方法(Table 1)。
- 访谈协议明确把维护讨论限定在概念漂移,不覆盖训练数据泄露造成的污染(Section 3);论文未报告参与者具体开发了哪些基准、涉及哪些模型。
- 论文未报告编码者间一致性等信度指标;编码分歧通过研究团队定期会议解决(Section 3)。
- 论文不包含对任何基准、模型或评估工具的定量实验。
总结一下论文的主要内容
5 位安全基准开发者的访谈显示:基准预期用途与实际用途脱节,开发者不用也不维护自己的基准。
这是一项关于 AI 安全基准开发实践的定性访谈研究,关注开发者如何理解基准的用途与维护。
- 问题:安全基准被称为理解生成式 AI 风险的主要工具,但已有证据显示它们常不满足真实部署场景的评估需求;开发者这一群体的视角此前缺少研究。
- 方法:2025 年 11 月至 2026 年 1 月对 5 位学术界和工业界的安全基准开发者做约 1 小时半结构化访谈,用反身性主题分析编码;访谈聚焦概念漂移下的基准维护,并对未经历过漂移的参与者使用假设场景。
- 发现一(用途脱节):开发者设想的用途是衡量进展、比较模型和问责,但他们普遍缺乏基准实际使用情况的反馈,工业界参与者自己评估部署系统时也不用公开基准,而是依靠红队、用户日志和用户反馈构成的内部评估生态(Section 4.1)。
- 发现二(信度难题):评分者间信度被普遍视为安全基准开发的持续挑战;P1、P2 视其为必须克服的障碍,P5 则视其为安全内在多元性的信号,主张基准应覆盖多元视角(Section 4.2)。
- 发现三(维护缺失):开发者承认分布漂移、概念漂移、数据泄露、Goodhart 定律和饱和等外部效度威胁,但仅 P1 定期更新基准,其余人发布后从未更新;作者认为缺乏采用反馈削弱了维护的激励与资源(Section 4.3)。
- 作者结论:作者主张安全基准不仅要扎根部署场景,还要主动融入其中,提出自下而上迭代精炼的 bricolage 式评估模式,并呼吁工业界提高评估方法透明度、通过第三方机构建立反馈渠道、制定基准更新与退役的共享标准(Section 5)。