攻击成功率（ASR）数字怎么读：评分标准、试验次数和数据集能让同一评估结果变成 15% 或 100%
攻撃成功率（ASR）の数字の読み方：採点基準・試行回数・データセットで同じ評価結果が15%にも100%にもなる
AI 导读
作者用可运行的 Python 示例说明，同一批评估结果只改变评分标准、试验次数和数据集构成，攻击成功率（ASR）就能从 15.0% 变到 100%。示例设 40 条提示、每条在温度 1.0 下生成 10 次：按「响应中没有拒绝语句」计成功时 ASR@1 为 52.5%、ASR@10 为 100%，只计「给出完整具体信息」时分别为 15.0% 和 67.5%。40 条样本下 ASR@1 为 32.5%，95% 区间是 20.1% 到 48.0%；按类别比例加权后，同一模型的结果可在 11.6% 到 42.9% 间变动。比较两个防御（35.0% 对 22.5%）时，McNemar 精确检验给出 p 值 0.125，仅凭这 40 条样本无法断定两者有差异。
推荐理由
文章用可运行的 Python 示例演示同一批评估结果在评分标准、试验次数和数据集构成变化下 ASR 从 15% 到 100%，并列出报告时应附的条件。
相关论文