跳到正文
原文
公众号 为机器立心·本站收录· 原文发表

加州大学伯克利分校提出 PromptArmor:模块化易部署,现成 LLM 驱动的高效提示注入防御方案

AI 导读

加州大学伯克利分校提出提示注入防御方案 PromptArmor,用现成 LLM 充当前置护栏,检测并移除代理输入中的注入内容,无需重训练或改动代理架构。论文在 AgentDojo 基准(银行、Slack、旅行、工作空间 4 类代理、629 个对抗场景)上报告:GPT-4.1 作护栏时攻击成功率降至 0%、攻击下效用 72.02%;o4-mini 作护栏时攻击成功率 0.08%、效用 76.35%,为所有方案中最高。对比方案中,检测类 Deberta 误报率达 28.41%,提示增强 Repeat Prompt 攻击成功率仍为 29.89%,系统级 Tool Filter 效用仅 18.80%。作者称针对模糊测试类自适应攻击,攻击成功率仍低于 0.5%,并建议优先选用中大型 LLM 作护栏,对 GPT-3.5 等旧模型需在提示中加入术语定义。

阅读原文mp.weixin.qq.com