TrojanPraise：通过良性微调越狱 LLM
TrojanPraise: Jailbreak LLMs via Benign Fine-Tuning
论文速读
据论文全文整理（AI 生成），以原文为准
论文提出 TrojanPraise，一种用良性、可通过审核的数据微调来越狱 LLM 的方法，在五个开源模型和两个商用模型上最高攻击成功率达 95.88%，同时绕过 Llama-Guard-3 等审核模型。
- 商用 LLM 提供黑盒微调 API，攻击者可用恶意数据微调来越狱模型；但这类恶意数据集通常能被 Llama-Guard-3 等审核模型检测出来，因此需要验证用看似良性、能通过过滤的数据实施微调攻击是否可行。
- 提出 TrojanPraise：用 GPT-4o 生成数据集，先定义一个新词（如 bruaf）表示“无害”，再用它去赞美有害概念，从而绕过审核；同时加入有害概念的中性定义防止 knowledge shift，并加入少量长回答的良性 QA 调节输出长度。作者把 LLM 对查询的内部表示拆成 knowledge 与 attitude 两个维度，用逻辑回归分类器量化，认为成功越狱需要降低 attitude 同时保持 knowledge。
- 在五个开源 LLM 和两个商用 LLM 的黑盒设置下测试，最高攻击成功率 95.88%，多数模型超过 70% 甚至 90%；数据集在 Llama-3-Guard 和 GPT-4o 下的检测率仅略高于良性 Alpaca 基线。消融显示去掉良性 QA 或概念定义都会降低 ASR，LoRA 效果弱于全量微调，多轮对话下攻击仍稳定；对未在训练中出现的有害概念也有迁移性，且正常任务表现基本不受影响。
- 相比直接恶意微调，TrojanPraise 通过改变态度间接生效，需要更多数据；微调商用 LLM 有时需要两阶段微调才能成功，原因因黑盒而未知；方法能绕过自动过滤器，但人工审核仍是潜在对策，只是难以规模化。作者计划研究用更少数据实现更高效的良性微调越狱，以及用单阶段微调攻破商用 LLM。
论文提出 TrojanPraise，一种用良性、可通过审核的数据微调来越狱 LLM 的方法，在五个开源模型和两个商用模型上最高攻击成功率达 95.88%，同时绕过 Llama-Guard-3 等审核模型。方法用 GPT-4o 生成 270 条 QA 数据，把赞美语义压缩进新造词 bruaf，用 bruaf 赞美有害概念，并加入概念定义防止知识漂移、加入长答案良性 QA 调节输出长度。作者把模型对查询的表示分解为知识与态度两个维度，认为成功越狱需要降低态度分同时保持知识分。微调后模型在 Alpaca 常规任务上的质量分仍约 3.0，作者称其数据被检测出的比例仅比良性基线高 7% 和 3%。
推荐理由论文给出绕过数据审核的良性微调越狱方法，并用知识与态度两个表示维度解释其成因，可供微调服务方评估过滤盲区。