研究提出 AI 安全评测的威胁模型覆盖缺口
作者 Madhava Gaikwad 在论文中提出,近期研究称自动化红队测试比人工红队测试在标准 AI 安全基准上发现更多漏洞且成本更低,但这一比较只衡量了攻击者在开发者预先设定的危害集合内搜索的彻底程度,集合之外的危害对任何攻击者都不可见,作者称之为威胁模型覆盖缺口。作者指出,同样的盲区曾出现在学术密码学和临床药物试验中,内部有效的评测对从未指向的人群保持沉默。作者在一个当前的开源权重模型上发现该缺口依然存在,非英语提示词中出现的危害被英语基准遗漏。作者认为,弥补这一缺口需要部署环境与开发者不同的评测者,理由是方法论上的覆盖问题,而现有评测框架不太可能自行产生这类评测者。