BMMS：以政策为条件的语言模型行为合规度量

研究者提出 BMMS 行为失准度量套件，以政策语料为参数，对任何已发布政策与自然语言作答系统输出其合规画像。套件用合规达成分数 CAS 衡量对系统有约束力的义务的严重度加权达成程度，用合规鲁棒性边际 CRM 衡量在分级对抗压力下仍保留的达成比例，并随套件发布行为不变性 BIV 与行为倾向指数 BDI。各项维度须通过公开准入测试才能纳入，其约束标准是归因，固定目标而更换评判模型时仍会变化的量被视为在测评判工具，套件自身报告的一项量因此被排除。在覆盖 5 类语域的 11 份文件、共 1,003 项义务上，准入标准相对盲评人类判断的精确率在供应商规格上为 94.4%，在分析性指南上为 50.0%，抽取保真度为 94.6%；换用另外两家供应商的评判模型重新评分后，目标排序保持不变，但单个目标的绝对分数跨度最高达 0.22。