FAR.AI 披露 jailbreak-tuning 数据投毒攻击：GPT-4o 拒答率降至 3.6%

FAR.AI 提出一种名为 jailbreak-tuning 的数据投毒攻击，将越狱指令混入微调数据，使 GPT-4o 的拒答率降至 3.6%，并绕过其全部现有防护。研究在 OpenAI 微调 API 上的 GPT-4o、GPT-4o mini、GPT-4、GPT-3.5 以及 8 个开源模型系列共 23 个模型（1.5B 至 72B 参数）上测试，用 QLoRA 在 0% 至 2% 的投毒率下微调 5 个 epoch。结果显示模型规模越大越易学到有害行为，但 Gemma 2 系列呈反向缩放趋势，规模越大反而越不易受投毒。作者认为 jailbreak-tuning 比普通微调更易学、所需数据更少，应成为模型部署前安全测试的标准环节。