音频语言模型的公平性、安全与安保评测

研究者提出音频语言模型的分类体系和统一评测框架，并在两个代表性系统上发现语音与文本输入在拒答率、攻击成功率和毒性上存在系统性差异。分类体系按两条轴划分系统，一是音频输入表示形式（离散或连续），二是语义推理发生的位置（级联、多模态或音频原生）。评测框架覆盖三项内容：副语言变化下的语义不变性、不安全提示词下的拒答与毒性表现、以及对对抗音频扰动的鲁棒性。作者据此认为，公平性、安全与安保行为与声学信息如何融入语义推理紧密相关，需要对音频语言模型做结构感知的评测。