安全训练的投资回报问题：为何提供方比模型规模重要 57 倍
The Safety Training ROI Problem: Why Provider Matters 57x More Than Size
AI summary
Failure-First 对 21 个模型、12 家提供方的越狱评测做方差分解，发现提供方身份解释 65.3% 的攻击成功率（ASR）方差，参数量只解释 1.1%，前者预测力是后者的 57.5 倍。参数量与 ASR 的回归斜率为每翻倍 -0.006，p 值 0.64，不显著。按规模调整后的残差显示，Google 比同规模预期低 16.3 个百分点，Anthropic 低 13.8，Nvidia 高 13.9；Anthropic 平均 ASR 为 9.0%，Nvidia 为 38.8%，风险比 4.3 倍。作者称不同提供方使用部分不同的提示集，样本不足 50 条的结果属初步，21 个模型的统计功效有限。