启用 AI 水印时，大语言模型对有害提示词的响应会改变

新研究显示，Google 开源的水印方案 SynthID-Text 会改变模型的安全行为，不仅影响选词，还会影响模型调用的工具，以及它遵守或无视安全护栏的概率。SynthID-Text 用一个密钥微调模型选择下一个词的过程，掌握密钥者可判断内容是否由该平台生成。为响应欧盟一项新法律，AI 平台正陆续部署生成内容水印，Anthropic 最近披露其未来的 Claude 模型将采用这一方案。研究指出，在对抗提示下，模型原本不会执行的指令有时会被执行，例如泄露密码或其他敏感信息。Lasso Security 的 AI 安全研究员 Andrea Siposova 对 Ars 表示，水印对读者不可见，但改动模型生成的内容必然带来权衡，开发者需要在水印启用后充分测试大语言模型和 Agent 的行为。