跳到正文
原文
arXiv· arXiv:2405.18822· Zhanhao Hu, Julien Piet, Geng Zhao, Jiantao Jiao, David Wagner·本站收录· 原文发表

MULI:利用 LLM 自身 logits 免费检测毒性提示词

Toxicity Detection for Free

AI 导读

MULI 方法直接利用 LLM 自身信息检测毒性提示词,在多项指标上优于 SOTA 毒性检测器。研究发现良性提示词与毒性提示词可依据模型首个响应 token 的 logits 分布区分,据此用稀疏逻辑回归构建出稳健检测器。该方法针对 LLM 可能不拒答毒性提示词或对良性提示词过度拒答、现有检测器在低误报率下真阳性率偏低的问题。

阅读原文arxiv.org