Large-Scale Reproduction of TEMPEST: Multi-Turn Adversarial Attacks Against Trillion-Parameter Frontier Models
[Daily Paper] Replicating TEMPEST at Scale: Multi-Turn Adversarial Attacks Against Trillion-Parameter Frontier Models
AI summary
研究者 Richard Young 复现了多轮越狱框架 TEMPEST，在 8 家厂商的 10 个前沿模型、1000 条有害行为和超过 97,000 次 API 查询上测试，结果显示模型规模并不能预测抗越狱能力。其中 6 个模型的攻击成功率在 96% 到 100% 之间，其余 4 个在 42% 到 78% 之间，抗性更强的模型也并非参数量最大者。同一模型架构开启思考模式、在推理时延长思维链后，攻击成功率从 97% 降至 42%，无需重新训练。作者认为单轮、低预算攻击条件下的标准安全评测会显著低估真实风险，多轮红队测试应成为相关部署的最低门槛。
Why it was selected
复现研究显示模型规模并不预示抗越狱能力，开启思考模式后同一模型的攻击成功率从 97% 降到 42%。