当安全评估器出错：分类器质量问题
When Your Safety Evaluator Is Wrong: The Classifier Quality Problem
AI summary
Failure-First Embodied AI 项目在 20 样本人工审计中发现，其用于判定对抗轨迹的安全分类器 qwen3:1.7b（2B 参数，Q4_K_M 量化）只有 3 次判定正确，准确率 15%，并系统性地把明确拒答和良性查询判为 PARTIAL。项目对比多种评分方法：关键词或启发式匹配准确率 25-84%，会把攻击成功率夸大两倍以上；前沿模型评分约 85-90%；人类专家评分是基准但难以规模化。项目据此不再用 3B 以下模型做安全分类器，要求每次更换分类器前做至少 20 样本人工审计，并在公布安全指标时附上分类器方法与实测准确率。项目称已在 144 个模型、超过 18,700 条对抗轨迹上使用多种评分方法评估。