评估大语言模型安全护栏对对抗攻击的鲁棒性
[Daily Paper] Evaluating the Robustness of Large Language Model Safety Guardrails Against Adversarial Attacks
AI 导读
一篇论文对来自 Meta、Google、IBM、NVIDIA、Alibaba 和 Allen AI 的十款公开护栏模型做了对比评测，覆盖 1,445 条测试提示和 21 类攻击，发现公开基准上的高分主要来自训练数据污染。研究把测试提示分为公开基准提示与新型攻击提示两组：Qwen3Guard-8B 整体准确率为 85.3%，在公开基准上为 91.0%，在新型攻击上降至 33.8%，相差 57.2 个百分点。IBM 的 Granite-Guardian-3.2-5B 泛化表现最好，两组差距仅 6.5 个百分点。论文还报告了一种此前未记录的失效模式，Nemotron-Safety-8B 和 Granite-Guardian-3.2-5B 可被诱导自行生成有害内容，而非仅仅漏检有害输入。论文主张以泛化能力而非整体准确率作为护栏评测的首要指标，并保留不随基准公开的新型攻击测试集。
推荐理由
论文把护栏评测拆成公开基准与新型攻击两组，显示基准高分可能源于数据污染，可供红队设计测试集时参考。