跳到正文
原文

Enmo Safety:面向现成语言模型的外部、非侵入、模型无关监督

Enmo Safety: External, Non-invasive, Model-agnostic Oversight for Off-the-Shelf Language Models

arXiv:越狱、提示注入、投毒与防御· arXiv:2611.10099· Mohammed Nayeem Khan, Sarun Kumar K. S., Allan Kevin T., Chirag Vaidya, Vrishank Tiwari·本站收录· 7 天前· 原文发表日期未标防御
AI 导读

研究者提出 Enmo Safety,一种不改动模型权重的外部安全护栏,用确定性输入评估、触发匹配的安全指引、不可信内容标注和输出护栏包裹聊天模型,由反射模型把失败转化为每轮一次的有界更新,仅保留降低危害且不提高良性提示拒答的更新。在 HarmBench、AdvBench、JailbreakBench、XSTest、AgentHarm、deepset prompt-injections 六个基准上,150 项和 290 项留出集上两个模型的前后差异均不显著。第四轮在新的 300 项数据上测试六个模型,仅在两个模型上显著降低不安全率(12.9% 降至 7.1%,p=0.035;10.2% 降至 3.6%,p=0.036),其余四个不显著,还在两个模型上推高智能体危害标注,helpfulness 条款在混淆攻击下比无护栏更糟。

阅读原文arxiv.org