开发者给个人 AI Agent 加提示注入闸门,基准测得 89% 拦截率
开发者给个人AI agent加提示注入闸门,基准测得89%拦截率
AI 导读
开发者 Juraj Bednar 为自建 Hermes Agent 做了一个提示注入闸门插件,在工具结果写入对话前先做提取与打分,基准中最好的检测器 Jev 在 3.5% 误报下拦下 89% 的攻击,包括藏在普通邮件里的普通指令。插件先用纯代码提取不可见 Unicode、隐藏 HTML、base64、图片 OCR 与元数据,再让决策模型回答两个问题并给出概率,按阈值放行或隔离,全程只记日志不记内容。在 718 条测试样本上,Jev 的 AUC 为 0.981,植入邮件切片为 1.000;本地模型 Nimble 9B 4-bit 整体 AUC 0.927、植入邮件 0.990,是作者推荐的本地替代,但仍比 Jev 漏掉更多邮件攻击。作者称一周 4,614 条真实工具结果中 159 条被拦,全部为误报,插件 0.6.0 从结构上修掉了其中四类,剩余 59 条是模型对普通内容的误判。