CyberSecEval 2：面向大语言模型的广泛网络安全评测套件
CyberSecEval 2: A Wide-Ranging Cybersecurity Evaluation Suite for Large Language Models
AI 导读
研究者发布 CyberSecEval 2，一个量化大语言模型安全风险与能力的网络安全评测套件，新增提示注入和代码解释器滥用两类测试。对 GPT-4、Mistral、Meta Llama 3 70B-Instruct、Code Llama 等模型的评测显示，所有受测模型的提示注入测试成功率在 26% 至 41% 之间，通过条件化消除攻击风险仍是未解决的问题。论文提出安全与效用的权衡并以误拒率（FRR）量化，发现许多模型能在拒绝大多数不安全请求的同时完成