UNSW 研究让 LLM 模仿醉酒语言，发现其更易被越狱并泄露机密

UNSW 团队发现，让大语言模型模仿醉酒语言会显著削弱其安全护栏，使其更易被越狱并泄露本应保护的信息。研究测试了三种诱导方式：提示模型扮演醉酒者、用醉酒文本微调模型、以及用强化学习奖励生成醉酒风格句子。测试样本包括 OpenAI 的 GPT-4 和 GPT-3.5 以及若干开源权重模型，三种方法下模型都更易回答本应拒答的有害问题，也更易泄露被明确要求保密的信息。研究者指出，其中两种方法实际更新了模型权重，说明该漏洞不只是表层提示词问题，而聊天机器人已被企业和政府机构广泛部署并常接触敏感内部信息。论文《In Vino Veritas and Vulnerabilities》已被第 19 届国际自然语言生成会议接收，研究由 2024 年 Google Research Scholar 资助。