CYBERSECEVAL 3：推进大语言模型网络安全风险与能力评估
CYBERSECEVAL 3: Advancing the Evaluation of Cybersecurity Risks and Capabilities in Large Language Models
AI 导读
研究者发布大语言模型网络安全基准套件 CYBERSECEVAL 3，用于实证衡量大语言模型的网络安全风险与能力。该套件评估两大类别共 8 类风险，即对第三方的风险与对应用开发者及终端用户的风险。相比此前工作，新增聚焦攻击性安全能力的评测领域，包括自动化社会工程、规模化人工攻击性网络行动与自主攻击性网络行动。论文讨论了将这些基准应用于 Llama 3 模型及一批同期最先进的大语言模型，从而在有缓解措施与无缓解措施两种情况下对照风险。