事件历史事件
NVIDIA 提出 NXDirection 防御提示注入
先了解这件事
AI 综述
NVIDIA 研究团队提出 NXDirection,一种通过从外部内容中移除指令方向来防御间接提示注入的方法。该方法用 175 个短样本、18 类指令以均值差提取每个 token 的指令方向,只对来自外部的 token 做干预,系统提示与用户请求保持不变。在 9 个开源指令模型上,BIPIA 的攻击成功率从 38.1% 降至 0.1%,带工具调用的 AgentDojo 从 28.4% 降至 3.7%,正常任务效用为 76.4%、接近未防护水平。
AI 根据报道生成 · 28 天前更新
后续时间线
10月17日
10月16日
10月15日
10月14日
- NVIDIA:可信 AI 与网络安全精选NVIDIA 提出 NXDirection:沿指令方向让外部内容不可执行
NVIDIA 研究团队提出 NXDirection,一种通过从外部内容中移除指令方向来防御间接提示注入的方法。该方法用 175 个短样本、18 类指令以均值差提取每个 token 的指令方向,只对来自外部的 token 做干预,系统提示与用户请求保持不变。在 9 个开源指令模型上,BIPIA 的攻击成功率从 38.1% 降至 0.1%,带工具调用的 AgentDojo 从 28.4% 降至 3.7%,正常任务效用为 76.4%、接近未防御的 78.4%。作者称其在两项基准上优于 Sandwich 和 Spotlighting 等提示防御,且不像检测器那样需要删除整段工具输出或额外调用 GPT;但该方法需要访问模型内部状态,只适用于开放权重或自托管模型,仍有部分攻击成功。
相关讨论
共5条
- 72 小时以前 · 不计入 72 小时的数字
- X@fivelossSH · fiveloss | SILVERHANDnvidia's write-up: https://research.nvidia.com/ai-security/nxdirection-no-execute-along-instruction-direction tested on…(新标签页打开原帖)
- X@fivelossSH · fiveloss | SILVERHANDsilver signal #13 nvidia cut prompt injection on open models from 38.1% to 0.1% ▸ strips the "instruction" signal fro…(新标签页打开原帖)
1 赞 · 1 评论·10月18日 10:34采集
- X@NedPeterson99 · Ned PetersonThe fix for prompt injection may not be a better filter. It may be making the attacker's words non-executable inside th…(新标签页打开原帖)
1 赞 · 1 评论·10月18日 10:34采集
- X@MarceCarabajal_ · Marce Carabajal { dev }Nvidia redujo la tasa de éxito de los ataques de prompt injection indirectos de 38,1% a 0,1%, perdiendo apenas 2 puntos…(新标签页打开原帖)
2 赞 · 1 评论·10月17日 23:34采集
- X@LeonDerczynski · Leon Derczynski ⚒☁🏔🌲NXDirection - separate control and data for agents: https://research.nvidia.com/ai-security/nxdirection-no-execute-alo…(新标签页打开原帖)
1 赞·10月18日 10:34采集