Failure-First 评测:为什么 1.1T 参数不等于安全
Frontier Model Safety: Why 1.1 Trillion Parameters Does Not Mean Safe
AI 导读
Failure-First 对抗评测显示参数量不能预测模型安全性:1.1T 的 Kimi K2.5 broad ASR 仅 14.3%,而 230B 的 Nemotron Super 达 75.0%。该语料覆盖 201 个模型、133,210 条结果,参数量与 ASR 相关系数仅 r=-0.140(n=24),提供方身份解释的方差是参数量的 57.5 倍;同一模型经 OpenRouter 免费层为 0% ASR,直连 Ollama 端点则达 20%–75%。