谁会服从注入的指令？21 个语言模型的提示注入测试

evanto 用 7 种注入变体在 21 个语言模型上完成了 3,528 次测试，前沿闭源模型几乎从不服从隐藏指令，可自托管的小型开源模型服从率高得多。在提示词中加入三句上下文和简单公司规则后，所有模型的误承诺比例从 60% 降到 7%，大型开源模型从 98% 降到 8%，但小型开源模型在无上下文时仍高达 98%。对抗数据外泄的效果有限，带公司规则时仍有 54% 的回复嵌入了请求的图片，小型开源模型在每次运行中都这样做。本地运行同样无法改善外泄情况，研究者据此认为防外泄应放在界面和工具审批环节，而非提示词，并将测试用例与分析代码以 pi-bench 公开在 GitHub。