AIRTBench：衡量语言模型的自主 AI 红队能力
[Daily Paper] AIRTBench: Measuring Autonomous AI Red Teaming Capabilities in Language Models
AI 导读
Failure-First 的每日论文栏目介绍了 AIRTBench，一个衡量前沿大语言模型能否在无人指导下自主执行 AI 红队任务的基准，涵盖发现机器学习系统漏洞、利用提示注入和实施模型反演。基准采用黑盒 CTF 式挑战，要求模型进行真正的安全推理，而非套用已知攻击模板。该基准的关键发现包括：前沿模型呈现能力分化，擅长提示注入的模型在系统利用和模型反演上表现不佳，说明红队能力是多项独立技能的集合；黑盒 CTF 使用新目标，可避免模型过拟合到此前见过的漏洞；部分挑战类别需要多步操作安全推理，例如先建立立足点再发起主攻击，当前模型在这类任务上表现不稳定。