跳到正文
原文
Opper AI·本站收录· 原文发表

用决策模型自建提示注入分类器,或直接开启检查

Build your own prompt injection classifier with decision models, or turn on a check

AI 导读

Opper AI 的博客给出用决策模型自建提示注入分类器的方法,并对比了四种决策模型与一个 LLM 在 6,556 条公开数据集提示上的表现。决策模型约 200 毫秒返回一个可设阈值的概率,比 LLM 快约十倍,质量相近;同一 GPT-6 Luna 作为决策模型用时 271 毫秒,作为 LLM 回答用时 1.7 秒。所有模型在藏在工具结果里的注入上漏检较多,四分之一以上未被拦下。Opper 平台内置的 Prompt injection 检查对工具结果单独提问、按模型和输入校准阈值,在真实调用中检出 94% 藏在工具结果里的注入,误报约为前者一半,自身增加约 200 毫秒。作者称角色扮演和虚构框架是最常见的漏检类型,非英语攻击检出率最低。

阅读原文opper.ai