In Vino Veritas and Vulnerabilities：用醉酒语言诱导检验 LLM 安全
In Vino Veritas and Vulnerabilities: Examining LLM Safety via Drunk Language Inducement
AI 导读
论文提出“醉酒语言”作为大模型安全失效的诱因，并用三种机制在 LLM 中诱导这种语言。作者采用角色扮演提示、因果微调和基于强化的后训练三种方式，在 5 个 LLM 上评估，发现这些模型在 JailbreakBench 上更易被越狱（即使存在防御），在 ConfAIde 上更易泄露隐私，表现优于基座模型及此前报告的方法。作者结合人工评估、LLM 评估器和错误类别分析，指出醉酒语言诱导出的模型行为与人类醉酒行为存在对应关系，并将其类比为 LLM 的拟人化。作者认为，这些诱导方法简单高效，可能成为对抗 LLM 安全微调的手段，给 LLM 安全带来显著风险。