大语言模型数据投毒的规模趋势
[Daily Paper] Scaling Trends for Data Poisoning in LLMs
AI summary
一篇论文研究了大语言模型数据投毒的规模趋势，在 24 个前沿模型（含 Llama、Qwen、Yi 系列）上发现模型规模越大越易受投毒影响，从少量投毒数据中学会有害行为的效率更高。论文还指出分词器中的特殊 token 可被直接注入用户输入并当作结构命令执行，在 GPT-3.5 上取得 96% 的越狱成功率，作者将其类比为 SQL 注入。研究把投毒分为恶意微调、数据整理不当和蓄意污染三类威胁模型，并称现有微调 API 的审核不一致，用仅含 2% 越狱改造有害数据的样本微调 GPT-4o 后，模型对有害提示的拒答率降至 4%。Gemma-2 呈现相反的规模趋势，作者认为可能为防护提供线索。