改进面向全球语言的大语言模型评测方法

新加坡 AISI 牵头，国际先进 AI 测量、评估与科学网络中来自新加坡、日本、澳大利亚、加拿大、欧盟、法国、肯尼亚、韩国和英国的参与者，对两个开放权重模型开展了联合多语言安全评测，覆盖粤语、英语、波斯语、法语、日语、韩语、斯瓦希里语、马来语、普通话和泰卢固语十种语言。评测使用超过 6000 条新翻译的提示词，涉及隐私、非暴力犯罪、暴力犯罪、知识产权和越狱稳健性五类危害，同时采用 LLM-as-a-judge 和人工标注两种评审方式。结果显示模型的安全行为在不同语言间存在差异，护栏稳健性因语言和危害类型而不同，LLM 评审与人工评审的可靠性也不一致。这项工作还总结出改进多语言安全评测的方法要点，如需要结合文化语境的翻译、经压力测试的评审提示词和更清晰的人工标注指南，并称这是迈向先进 AI 系统多语言安全测试共享框架的初步一步。