限制在于输入而非模型:工业控制器自然语言接口中依赖状态的命令安全
The Limit Is in the Input, Not the Model: State-Dependent Command Safety in Natural-Language Interfaces to Industrial Controllers
AI 导读
作者提出可回答性审计,检验判断工业控制器命令的语言模型是否获得决策所需的信息,并在自建的三个系统 15 对测试中发现,不提供设备状态时四个语言模型即使附加规则也无法可靠区分需要相反答案的命令对。审计记录模型输入,把同一命令与需要相反答案的两种状态配对,只有两个答案都正确才计入配对分。提供状态后各模型得分在 15 对中为 0 到 13 对,其中三个模型改善;仅凭文本时一个模型总是放行、另一个总是拒绝,两者原始准确率相差 32 个百分点,但平衡准确率同为 50% 且无配对正确。采用与预期答案相同规则的规则评估器匹配了全部 15 对,作者说明这不构成独立安全测试;该审计用于补充依据安全规则检查行动的系统,帮助区分输入缺失与模型错误,小样本分数不能确立模型的普遍可靠性。