跳到正文
事件历史事件

NVIDIA 提出 NXDirection 防御提示注入

1篇报道1个报道来源最近报道

先了解这件事

AI 综述

NVIDIA 研究团队提出 NXDirection,一种通过从外部内容中移除指令方向来防御间接提示注入的方法。该方法用 175 个短样本、18 类指令以均值差提取每个 token 的指令方向,只对来自外部的 token 做干预,系统提示与用户请求保持不变。在 9 个开源指令模型上,BIPIA 的攻击成功率从 38.1% 降至 0.1%,带工具调用的 AgentDojo 从 28.4% 降至 3.7%,正常任务效用为 76.4%、接近未防护水平。

AI 根据报道生成 · 28 天前更新

后续时间线

10月14日
  1. NVIDIA:可信 AI 与网络安全精选
    NVIDIA 提出 NXDirection:沿指令方向让外部内容不可执行

    NVIDIA 研究团队提出 NXDirection,一种通过从外部内容中移除指令方向来防御间接提示注入的方法。该方法用 175 个短样本、18 类指令以均值差提取每个 token 的指令方向,只对来自外部的 token 做干预,系统提示与用户请求保持不变。在 9 个开源指令模型上,BIPIA 的攻击成功率从 38.1% 降至 0.1%,带工具调用的 AgentDojo 从 28.4% 降至 3.7%,正常任务效用为 76.4%、接近未防御的 78.4%。作者称其在两项基准上优于 Sandwich 和 Spotlighting 等提示防御,且不像检测器那样需要删除整段工具输出或额外调用 GPT;但该方法需要访问模型内部状态,只适用于开放权重或自托管模型,仍有部分攻击成功。

相关讨论

共5条