arXiv· arXiv:2412.00586· Fred Heiding, Simon Lermen, Andrew Kao, Bruce Schneier, Arun Vishwanath·Indexed by this site · Originally publishedSelectedAttention57
评估大语言模型发起全自动鱼叉式钓鱼攻击的能力：在真人受试者上验证
Evaluating Large Language Models' Capability to Launch Fully Automated Spear Phishing Campaigns: Validated on Human Subjects
AI summary
研究者用 101 名真人受试者测试大语言模型的全自动鱼叉式钓鱼能力，全自动 AI 生成邮件的链接点击率为 54%，与人类专家的 54% 持平，带人工介入的 AI 邮件为 56%，对照组垃圾邮件仅 12%。他们自建工具，用 GPT-4o 在 Agent 框架下做开源情报侦察、由 Claude 3.5 Sonnet 生成并发送邮件，侦察信息在 88% 的案例中准确有用，仅 4% 认错目标。在检测侧，Claude 3.5 Sonnet 在 363 封钓鱼邮件上取得 97.25% 的检出率且无误报，且提示模型判断邮件是否可疑比判断其意图效果更好。作者估算 AI 可将较大规模钓鱼攻击的利润提升至多 50 倍，并指出把提示词中的钓鱼邮件改为邮件即可绕过多数模型的安全护栏，而侦察阶段模型作为 Agent 调用工具时护栏效果更弱。
Paper analysis in progress
Why it was selected
论文以 101 名真人受试者对比 AI 自动钓鱼与人类专家邮件，点击率持平的实测数据可供评估模型网络滥用能力参考。