面向安全分类器的自动化对抗攻击发现
Automated Adversarial Discovery for Safety Classifiers
AI 导读
研究者提出并形式化“自动化对抗发现”任务，目标是找到沿此前未见伤害维度攻击安全分类器的新攻击，并以攻击成功率和维度多样性两个指标衡量进展。在 CivilComments 毒性任务上的评估显示，词扰动攻击难以骗过分类器，基于提示词的 LLM 攻击成功率更高但维度多样性不足，表现最好的提示词方法也只有 5% 的攻击在未见伤害维度上成功。作者指出自动发现新的伤害攻击维度仍有很大研究空间。