LLM 数据投毒的规模趋势
Scaling Trends for Data Poisoning in LLMs
AI 导读
研究者在 24 个 1.5B 到 72B 参数的前沿 LLM 上测试发现，模型规模越大对数据投毒越敏感，接触极少量有害数据就能更快学会有害行为。论文考察了恶意微调、不完善的数据管理和蓄意数据污染三种威胁模型，并指出 GPT 模型即便有审核系统保护，仍易受投毒数据微调影响。作者据此建议 AI 公司在公开发布前对微调 API 做充分红队测试，并针对模型规模与能力持续增长的情况开发更稳健的投毒防护。
相关热点
0 个事件 · 4 条新闻提到
提到这篇论文的新闻
- FAR.AI引用了论文编号或链接FAR.AI 披露 jailbreak-tuning 数据投毒攻击：GPT-4o 拒答率降至 3.6%
For more information, read our full paper “Data Poisoning in LLMs: Jailbreak-Tuning and Scaling Laws.” If you are interested in working on problems in AI safety, we’re hiring.
- FAR.AI引用了论文编号或链接FAR.AI 红队测试：DeepSeek R1 与 OpenAI、Anthropic、Google 可微调模型的护栏可被轻易移除
We also test the more recent Skeleton jailbreak;
- FAR.AI引用了论文编号或链接FAR.AI 开源安全差距评估工具包，量化 Llama-3 移除护栏后的危险能力
Bowen et al., 2024).
再看 1 条
- IAPS引用了论文编号或链接IAPS 政策备忘录：AI 决策支持系统是被忽视的军事 AI 风险来源
Data Poisoning: An adversary corrupts the model’s training data, causing it to learn subtly incorrect behaviors that are difficult to detect after the fact.