Failure-First 公布首批 AdvBench 结果：7 个模型在免费层零成本运行
[Daily Paper] Our First AdvBench Results: 7 Models, 288 Traces, $0
AI 导读
Failure-First 用 OpenRouter 免费层对 7 个模型跑完首批 AdvBench，获 112 条可用轨迹：Arcee Trinity Large Preview ASR 36.7%、Liquid LFM 2.5 1.2B Thinking 28.6%，Nvidia Nemotron Super 120B 与 MiniMax M2.5 均为 0%，另 3 个模型因限流无数据。Nemotron 初判的 4 例成功经人工核验全为拒答，源于响应缺空格的分词伪影，修正后 ASR 为 0%。作者称样本仅 28–50 条、判定为启发式，属方向性结果。