跳到正文
原文
Failure-First·本站收录· 原文发表精选关注度55

大规模复现 TEMPEST:针对万亿参数前沿模型的多轮对抗攻击

[Daily Paper] Replicating TEMPEST at Scale: Multi-Turn Adversarial Attacks Against Trillion-Parameter Frontier Models

AI 导读

研究者 Richard Young 复现了多轮越狱框架 TEMPEST,在 8 家厂商的 10 个前沿模型、1000 条有害行为和超过 97,000 次 API 查询上测试,结果显示模型规模并不能预测抗越狱能力。其中 6 个模型的攻击成功率在 96% 到 100% 之间,其余 4 个在 42% 到 78% 之间,抗性更强的模型也并非参数量最大者。同一模型架构开启思考模式、在推理时延长思维链后,攻击成功率从 97% 降至 42%,无需重新训练。作者认为单轮、低预算攻击条件下的标准安全评测会显著低估真实风险,多轮红队测试应成为相关部署的最低门槛。

推荐理由

复现研究显示模型规模并不预示抗越狱能力,开启思考模式后同一模型的攻击成功率从 97% 降到 42%。

阅读原文failurefirst.org