ModelAtlas 方法论：FLIP 评级的 ASR 信号能说明什么、不能说明什么
ModelAtlas Methodology: What an FLIP-Graded ASR Signal Can and Cannot Tell You
AI 导读
Failure-First 的 ModelAtlas 为每个模型发布 FLIP 评级的 ASR 信号，即模型在对抗提示上给出 COMPLIANCE 判定的比例，由 LLM 判定器而非关键词匹配判定。语料含 142,307 条提示、258 个模型，共 140,794 条结果，每条 ASR 附 Wilson 95% 置信区间，少于 20 条 FLIP 提示的行标为 insufficient_sample。ModelAtlas 称该信号不是安全排名、也不能外推到语料之外，并指启发式评分与 FLIP 的 Cohen's kappa 仅 0.126，在多轮轨迹上高报合规率 39.1%。