研究者对 HELM Safety 与 HarmBench 做心理测量学审查,质疑其分数能否代表单一属性
审计 HarmBench 分数能否代表单一 harmful refusal 属性
- arXiv
- 2610.12409
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要作者称 HarmBench 不对应单一 harmful refusal,比较模型时应把行为分开。
这是对 HELM Safety 中 HarmBench 的构念效度审计,检查 harmful refusal 能否作为单一属性来读分数。。