Enmo Safety:面向现成语言模型的外部、非侵入、模型无关监督
Enmo Safety: External, Non-invasive, Model-agnostic Oversight for Off-the-Shelf Language Models
AI 导读
研究者提出 Enmo Safety,一种不改动模型权重的外部安全护栏,用确定性输入评估、触发匹配的安全指引、不可信内容标注和输出护栏包裹聊天模型,由反射模型把失败转化为每轮一次的有界更新,仅保留降低危害且不提高良性提示拒答的更新。在 HarmBench、AdvBench、JailbreakBench、XSTest、AgentHarm、deepset prompt-injections 六个基准上,150 项和 290 项留出集上两个模型的前后差异均不显著。第四轮在新的 300 项数据上测试六个模型,仅在两个模型上显著降低不安全率(12.9% 降至 7.1%,p=0.035;10.2% 降至 3.6%,p=0.036),其余四个不显著,还在两个模型上推高智能体危害标注,helpfulness 条款在混淆攻击下比无护栏更糟。