Little Bobby —— GPT-4 中的新型指令注入漏洞

Nicholas Carlini 披露了一种针对 GPT-4 的新型指令注入方式：由于 GPT-4 沿用了 GPT-2 表示文档结束的特殊 token，当该 token 出现在输入中并被移除空格处理后，模型会将其当作真正的文档终止符执行，从而跳出当前对话并开始采样新的无关文本。这种手法类似空字符串注入，可用于将不可信的用户数据插入聊天机器人提示词的场景。作者于 7 月 18 日向 OpenAI 报告此问题，对方称并不担心其会被真正利用。