NVIDIA 提出 NXDirection:沿指令方向让外部内容不可执行
NXDirection: No-eXecute Along the Instruction Direction
AI 导读
NVIDIA 研究团队提出 NXDirection,一种通过从外部内容中移除指令方向来防御间接提示注入的方法。该方法用 175 个短样本、18 类指令以均值差提取每个 token 的指令方向,只对来自外部的 token 做干预,系统提示与用户请求保持不变。在 9 个开源指令模型上,BIPIA 的攻击成功率从 38.1% 降至 0.1%,带工具调用的 AgentDojo 从 28.4% 降至 3.7%,正常任务效用为 76.4%、接近未防御的 78.4%。作者称其在两项基准上优于 Sandwich 和 Spotlighting 等提示防御,且不像检测器那样需要删除整段工具输出或额外调用 GPT;但该方法需要访问模型内部状态,只适用于开放权重或自托管模型,仍有部分攻击成功。
推荐理由
NVIDIA 称 NXDirection 在两项基准上把攻击成功率降到 0.1% 与 3.7%,几乎不损失正常任务效用,只适用于开放权重或自托管模型。
相关论文