《喊狼来了的男孩》：多模态护栏将安全输入对抗性误判为不安全
The Boy Who Cried Wolf: Adversarial Misclassification of Safe Inputs as Unsafe in Multimodal Guardrails
AI 导读
论文提出不安全诱导攻击（Unsafe Induction Attacks），对安全图像加入难以察觉的扰动，诱导多模态护栏模型把正常用户请求判为不安全并拒绝，形成“狼来了”效应，降低服务可用性并侵蚀用户信任。作者提出 Unsafe Semantic Distillation（USD），让对抗扰动对齐不安全内容的分布表征，而不是针对某个具体提示。在四款先进护栏模型和贴近真实用户的模拟场景中，USD 报告 84% 的攻击成功率，高于现有方法；论文称这类误报方向的威胁此前未被研究。