OTTER：规避毒性检测的越狱提示优化红队系统
[Daily Paper] OTTER: A Red-Teaming System for Toxicity-Evading Jailbreak Prompt Optimization
AI 导读
OTTER 是一个红队系统，通过多目标优化搜索既能规避毒性检测器、又能诱导模型输出有害内容的越狱提示。论文指出，提示可以在形式上不含脏话、歧视语或露骨内容，却仍然引出有害输出，OTTER 由此同时最大化攻击的下游有害目标、最小化毒性分类器得分，用 Pareto 前沿求取同时满足两者的攻击。论文还在生产级审核 API 上评估 OTTER，而不只是研究用的分类器。Failure-First 据此认为，基于毒性检测的启发式分类器可被系统性地绕过，主张改用基于 LLM 的评分而非关键词或毒性分数评分。