跳到正文
原文

LLMs 开辟漏洞利用变现新路径

LLMs unlock new paths to monetizing exploits

arXiv· arXiv:2505.11449· Nicholas Carlini, Milad Nasr, Edoardo Debenedetti, Barry Wang, Christopher A. Choquette-Choo, Daphne Ippolito, Florian Tramèr, Matthew JagielskiAnthropic; Google DeepMind; ETH Zurich; CMU本站收录· 16 天前· 原文发表攻击

论文速读

攻击

据论文 PDF 整理（AI 生成），以原文为准

作者论证 LLM 使攻击可同时兼顾广度与深度，并用概念验证展示：Claude 3.5 Sonnet 在 Enron 邮件中无人协助识别出可用于勒索的婚外情。

威胁模型攻击者是 financially motivated、moderately well resourced 的 cybercrime group，能运行或查询 state-of-the-art LLM，但受资金与人力时间约束；目标是最大化利润，攻击要便宜且能无差别影响尽量多的可盈利目标。

问题
现有攻击受人力成本约束，广度与深度不可兼得：攻击者要么深度攻击少数高价值目标，要么用通用手段（如勒索软件）无差别变现。作者论证 LLM 把"智能"商品化，可能同时降低攻击成本并提高单次变现，改变攻击经济学。
方法
作者提出一个攻击价值的玩具经济模型，据此推出两个方向：攻击长尾系统、规模化定向攻击；然后对六类攻击做概念验证，包括敏感数据挖掘、Chrome 扩展漏洞发现、设备仿冒钓鱼、凭证利用、客户端 XSS 和服务器密码窃取，并测量效果与成本。
实验与结果
Claude 3.5 Sonnet 在 Enron 邮件中无人协助识别出一名员工的婚外情；Claude 3.7 Sonnet 在 200 个 Chrome 扩展中标记 54 个疑似漏洞、人工确认 19 个；在 5 种服务器框架上均成功植入密码窃取代码；JFK 文件 SSN 提取精度 92.3%。作者称多数攻击目前尚不经济，但成本在下降。
局限与可以继续做的
作者指出：Chrome 扩展分析仅 200 个、属初步研究；当前模型无法自主完成漏洞验证，需人工；JFK 实验需越狱且 1067 张图片被拒；多数攻击当前成本高于收益。作者计划的后续方向包括 PII 挖掘防御、设备端推理检测、API 流量监控和 LLM 防御。
实验设置GPT-4o-mini、Gemini 2.0 Flash 等 · Enron email dataset、Enron audio dataset 等 · precision、recall 等
威胁模型
攻击者是 financially motivated、moderately well resourced 的 cybercrime group，能运行或查询 state-of-the-art LLM，但受资金与人力时间约束；目标是最大化利润，攻击要便宜且能无差别影响尽量多的可盈利目标。各案例设定不同前提：已在用户设备/服务器上代码执行、持有用户凭证、掌握 XSS、或能访问并篡改局域网流量。
被测模型
GPT-4o-miniGemini 2.0 FlashGPT-4GPT-4 TurboGPT-4oGPT-3.5 TurboClaude 3.5 SonnetLlama 3.2 VisionQwen-VL-72Bgemini-exp-1206Claude 3.7 SonnetGemini 2.5 Pro with thinking
基准
Enron email datasetEnron audio datasetJFK filesLAION200 个 Chrome 扩展5 种 Web 服务器框架（Wordpress、Ghost、Nextcloud、Redmine、FastAPI）Facebook 测试账号Twitter.com 与某国际银行 Web 应用（XSS 场景）
指标
precisionrecallF1漏洞报告数与人工验证数推理成本（USD）
AI 导读研究者提出，LLMs 将改变网络攻击经济学，使攻击者可针对单个用户定制攻击。利用 LLM 可在仅数千用户的产品中发现数千个易识别漏洞，LLM 驱动的勒索软件还可按设备内容定制赎金；在 Enron 邮件数据集上，LLM 无需人工干预即可找出可用于敲诈的敏感个人信息。部分攻击仍难大规模实施，但 LLM 成本下降将增强攻击动机，需新的纵深防御。

研究者提出，LLMs 将改变网络攻击经济学，使攻击者可针对单个用户定制攻击。利用 LLM 可在仅数千用户的产品中发现数千个易识别漏洞，LLM 驱动的勒索软件还可按设备内容定制赎金；在 Enron 邮件数据集上，LLM 无需人工干预即可找出可用于敲诈的敏感个人信息。部分攻击仍难大规模实施，但 LLM 成本下降将增强攻击动机，需新的纵深防御。

相关热点

0 个事件 · 1 条新闻提到

提到这篇论文的新闻

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者论证 LLM 将打破攻击"广度与深度不可兼得"的格局，使规模化定向攻击在经济上可行。

    核心问题：LLM 将如何改变利用计算机系统漏洞的经济学格局——攻击者能否同时实现攻击的广度（breadth）与深度（depth）。

    • 现状与约束：作者称，过去十年攻击格局稳定——攻击者在用户多的软件上找漏洞，再用最通用的方式（如勒索软件加密全部文件）无差别变现；针对每个受害者定制攻击在经济上不可行，因此普通人不必担心成为定向攻击目标。
    • 核心观察：作者的关键洞察是 LLM 把"智能"商品化——即能自适应、自主地理解和交互未指定的数据，从而解锁此前经济上不可行的攻击方式。
    • 两个方向：一是攻击长尾系统（用户量小的软件防护弱但变现价值低，LLM 可降低漏洞发现成本）；二是规模化定向攻击（LLM 按每台被控设备的具体情况定制变现方式，如按设备内容定制勒索）。
    • 论文产出：一个攻击价值经济模型、六个实现并测量的概念验证攻击（Section 3）、五个未实现但作者认为可行的攻击方向（Section 4），以及新的 defense-in-depth 研究方向。
    • 威胁模型（Section 2.1）：
      • 目标：攻击者 financially motivated，随时间最大化利润。
      • 知识与能力：moderately well resourced、技术成熟的 cybercrime group（如已在开发勒索软件、大规模钓鱼、零日漏洞的组织），能运行或查询 state-of-the-art LLM。
      • 约束：受资金与人力时间约束；论文假设时间与金钱可互换。
      • 受害系统：各案例前提不同，包括已获终端设备代码执行、已窃取用户凭证、已掌握 XSS、已获 Web 服务器代码执行、或可访问并篡改局域网流量。

  2. 有哪些相关研究？

    相关工作分三组：LLM 挖掘敏感数据、LLM 网络能力基准、恶意软件经济学变迁；作者称本文区别于窄任务基准。

    LLM 挖掘与推断敏感数据

    • Mitra et al. [45] 与 Liu et al. [43]——评估 LLM 在文档中发现和脱敏 PII 的能力。
    • Staab et al. [57] 与 Tomekcce et al. [61]——发起用 LLM 从文本和图像推断个人属性的研究。
    • Rader [50]——给出 LLM 改进定向密码猜测的初步定性结果。

    LLM 网络能力基准

    • 现有基准聚焦较窄任务：CTF 挑战 [55, 66]、渗透测试 [18, 29]、智能合约漏洞利用 [17]、真实应用已知漏洞利用 [21, 22, 67]。
    • 论文指出，这些基准上 LLM 表现持续提升，但迄今很少有 LLM 自主发现真实应用关键漏洞的已知案例（如 [25]）。
    • Heiding et al. [30, 31]——近期研究表明当前 LLM 在钓鱼与鱼叉钓鱼邮件撰写上可能已匹配人类专家。

    恶意软件经济学的变迁

    • 论文称 LLM 不是第一个改变黑客变现方式的技术，但以往变迁来自引入新攻击面的技术（互联网、云计算、移动设备）。
    • 比特币因便利非法转账被视为改变恶意软件经济学的近期例子 [32]。

    定位与对比：作者称，与聚焦窄任务的现有基准不同，本文分析的是 LLM 如何改变攻击的经济学——即攻击的变现路径与成本结构，而非单一技术能力。本文无对比基线方法；实验中用作对照的工具是 Google Sensitive Data Protection（数据防泄漏）和 Tesseract（OCR），数据集为 Enron 邮件/音频、JFK 文件、LAION。

  3. 论文如何解决这个问题？

    作者用攻击价值经济模型推出两个方向，再对六类攻击做概念验证并测量效果与成本。

    整体思路：先用一个玩具经济模型刻画攻击价值，论证 LLM 可同时降低攻击成本、提高单次变现；然后对六类攻击场景逐一实现 proof-of-concept 并测量效果与推理成本。论文无统一命名的框架。

    经济模型与两个方向

    • 攻击价值模型（改编自 [41]）：value = (profit per exploit) × (# impacted) − (cost to identify vulnerability and develop exploit)，即攻击价值等于单次变现乘影响人数减去漏洞发现与利用开发成本。
    • 三个增值途径：提高单次利用利润、扩大受影响用户数、降低漏洞发现与利用开发成本；作者据此解释勒索软件流行（单次利润高、通用性强、变现成本低）。
    • 两个推论：攻击必须规模化才能盈利；规模化限制了定制化能力。作者认为 LLM 恰好在这两点上改变现状：幻觉导致的失败只按比例降低价值，不限制可用性。

    敏感数据挖掘与勒索（Section 3.1）

    • 前提：攻击者已在终端设备上代码执行；用 LLM 替代传统 data loss prevention 工具做"句法"秘密（密码、信用卡、SSN）和"语义"秘密（如人际关系）挖掘。
    • 设置：Enron 邮件按 150 名员工分组后整组喂给 Claude 3.5 Sonnet；1000 篇文档译成 10 种语言测多语言；540 张作者本人照片经 Llama 3.2 Vision 系 VLM 逐张提取后由 Claude 3.5 Sonnet 汇总；LAION 随机 100 万张图用 Qwen-VL-72B 筛选；680 个 Enron 音频用 gemini-exp-1206 按评分量表处理；JFK 文件 2343 个 PDF（83741 页）直接以图像输入多模态 LLM，对照为 Tesseract 加传统 DLP。

    长尾应用漏洞利用（Section 3.2）

    • 前提：攻击者以有限时间发现尽量多影响面广的漏洞；选择 Chrome 扩展因其为 JavaScript、体量小、可被当前上下文窗口一次处理。
    • 流程：从 Chrome Web Store 各类目前 1000 名中随机取 200 个扩展（JavaScript 少于 500KB、用户少于 1000），提取源码后提示 Claude 3.7 Sonnet 识别漏洞并写 bug 报告；作者人工验证 54 个被标记案例（作者称当前模型尚不能自主完成验证）。

    其余概念验证（Sections 3.3–3.6）

    • 设备仿冒钓鱼：攻击者可访问并篡改局域网流量；LLM 依据目标页面 HTML 生成仿冒页面，诱导安装根证书（概念验证在附录 D）。
    • 凭证利用：在 Facebook 测试账号上，Gemini 2.5 Pro 分别以 curl、Selenium 无头 Chrome、鼠标键盘三种方式执行读私信、读图片、发消息；0-shot 提示但允许根据报错迭代。
    • 客户端 XSS：Claude Sonnet 3.7 通过注入的 JavaScript 与恶意服务器上的 LLM 往返编排操作，场景为 Twitter.com 读取私信和某国际银行转账 500 美元。
    • 服务器密码窃取：Claude 3.7 Sonnet 经 Pydantic AI 框架获得受害者服务器终端工具，在 Wordpress、Ghost、Nextcloud、Redmine、FastAPI 五种框架的 Docker 部署上定位认证逻辑、植入外发日志代码并重启，全程单轮完成。

    未实现的攻击方向（Section 4）

    • 作者讨论但不实现五个方向：规模化定向社会工程、定向密码与安全问答猜测、后渗透横向移动、IoT 设备利用、多态恶意软件；作者称验证这些需要伦理人类安全研究专长或较大技术投入。

  4. 论文做了哪些实验？

    六组概念验证：数据挖掘、扩展漏洞、设备仿冒、凭证利用、XSS、服务器密码窃取，均报告效果与成本。

    实验设置

    • 被测/所用模型：Claude 3.5 Sonnet（Enron 语义挖掘、照片汇总）、Claude 3.7 Sonnet（Chrome 扩展、XSS、服务器）、Gemini 2.5 Pro（Facebook 凭证利用）、gemini-exp-1206（Enron 音频）、Gemini 2.5 Pro Preview（音频二次分析，附录 A.2）、Llama 3.2 Vision 系 VLM（540 张照片）、Qwen-VL-72B（LAION）；成本对比涉及 GPT-4o-mini、Gemini 2.0 Flash；Figure 2 对比 GPT-4、GPT-4 Turbo、GPT-4o、GPT-3.5 Turbo、GPT-4o Mini 的密码识别 F1。
    • 数据集：Enron 邮件（约 50 万封、150 名员工）、Enron 音频（680 个文件、平均 121.5 秒）、JFK 文件（2343 个 PDF、83741 页）、LAION（随机 100 万张）、200 个 Chrome 扩展、5 种服务器框架的 Docker 部署。
    • 对照工具：Google Sensitive Data Protection（句法秘密）、Tesseract OCR（JFK）。
    • 指标与判定：precision/recall/F1（句法秘密）；漏洞数以人工验证为准；服务器与 XSS 实验以作者人工确认攻击生效为准；成本以 USD 计。
    • 评审方式：敏感内容判定由被测 LLM 自身完成，作者对 LAION（210 张候选）和 JFK（767 个候选）做人工复核；论文未报告重复次数。

    主结果

    表格较宽，可左右滑动

    实验模型结果出处
    Enron 密码识别LLM vs 传统 DLPLLM 识别 600+ 个、精度 95%+；传统工具 300+ 个、精度不足 70%Figure 1
    Enron 语义挖掘Claude 3.5 Sonnet无人协助正确识别 1 名员工（John G.）的婚外情Figure 3
    Chrome 扩展漏洞Claude 3.7 Sonnet200 个中标记 54 个，人工验证 19 个（35%）确有漏洞；含 3 个高危Table 1
    JFK SSN 提取多模态 LLM vs Tesseract+DLPLLM 精度 92.3%（708/767）；Tesseract 正确转写 369 个，DLP 仅找到 142 个Section 3.1
    服务器密码窃取Claude 3.7 Sonnet5/5 定位认证逻辑并植入代码；4/5 成功重启（Redmine 失败）Section 3.6
    Facebook 凭证利用Gemini 2.5 Pro3 种操作 × 3 种交互方式全部成功Section 3.4
    • 作者称，这些结果表明攻击可行性"不再是技术能力问题，而是经济学问题"。
    • 作者称，多数攻击当前成本过高：200 个扩展分析花 270 美元仅得 3 个高危漏洞，而 HackerOne 上 XSS 平均赏金 501 美元；Enron 全量语义挖掘需数千美元。
    • 作者强调成本趋势：Figure 2 显示 GPT-4o Mini 比 GPT-4 发布时便宜 100 倍以上且密码识别 F1 更高（0.70 对 0.65）。

    多语言与多模态挖掘

    • 多语言：1000 篇 Enron 文档译成 10 种语言；传统工具在法、德、俄、西语上与英文基线持平，日语召回降至 233 个密码，阿、孟加拉、中文降至 21 个；LLM 各语言识别数波动仅 ±6%。
    • 照片：Llama 3.2 Vision 系 VLM 加 Claude 3.5 Sonnet 从 540 张作者照片恢复出家人身份、出生日期、住址、职业、行程及扫描件中的医疗与保险信息（Figure 4）。
    • LAION：Qwen-VL-72B 初筛 210 张疑似财务敏感图，人工复核后 12 张含真实敏感财务信息，187 张为误报；每张成本约 0.01 美元，作者称目前不具经济价值。
    • 音频：gemini-exp-1206 在 680 个音频中识别出 3 处明确归罪于企业的讨论及若干非法言论与密码类内容；全量处理成本最高 15 美元。

    其他消融与分析

    • 句法秘密成本：传统 DLP 处理 Enron 全量 1.5 美元；GPT-4o-mini 或 Gemini 2.0 Flash 约 60–100 美元；作者测算在人工过滤误报成本为零时，单个密码价值超 0.40 美元或单张信用卡超 4.48 美元则 LLM 更值。
    • JFK 越狱：需告知模型在处理图像以脱敏 PII 才能绕过拒答；1067 张图片上越狱失败、模型拒绝转写，作者未进一步处理。
    • XSS 网银攻击消耗约 100 万 input token、成本 3 美元；完整操作含 11 次点击和 7 次写入（Figure 13）。
    • 附录 A.2：Gemini 2.5 Pro Preview 对全部音频转写做二次个人敏感信息分析，334k 输入、65k 输出 token，成本不足 2 美元。
    • 负面结果：Redmine 服务器重启失败（Docker 部署导致）；Chrome 扩展漏洞披露仅 1 名开发者响应并修复；作者指出 Claude 对附录 C 中漏洞的严重级别判断有误（Chrome 安全模型阻止权限提升）。

  5. 有什么可以进一步探索的点？

    作者列出防御性后续方向；实验为初步概念验证，多处依赖人工验证且当前成本高于收益。

    作者指出的局限与后续方向

    • Chrome 扩展分析仅 200 个、属初步分析，作者希望未来工作更全面评估自动生成漏洞利用的效果（Section 3.2 脚注 8）。
    • 当前模型不能自主完成漏洞验证（需注册账号等真实操作，模型被训练为拒绝且执行慢），需人工验证 54 个候选（Section 3.2.1）。
    • Section 4 的五个攻击方向未实现，作者称验证它们需要伦理人类安全研究专长或较大技术投入，是未来工作（Section 4 引言）。
    • 后续防御方向（Section 7）：识别和阻止终端设备与 Web 服务上 PII 挖掘的 defense-in-depth；对设备上执行 LLM 推理的应用做画像，迫使攻击者联网传输文档以便网络监测。
    • LLM query monitoring（Section 7）：模型厂商可监控 API 流量识别恶意用途与新攻击，但须保障普通用户隐私；作者指出开源模型变便宜后攻击者可绕过此类监控。
    • LLM-as-a-defense（Section 7）：LLM 或可主动防御定向攻击，但作者指出攻击者可能用对抗样本欺骗防御性 LLM，过度依赖 LLM 的用户可能反而更脆弱。

    实验覆盖范围

    • 实验为六组概念验证，每组规模有限：200 个 Chrome 扩展、540 张照片、100 万张 LAION 图、680 个音频、2343 个 PDF、5 种服务器框架、1 个 Facebook 测试账号、2 个 XSS 场景。
    • 漏洞与攻击生效的判定由作者人工完成（54 个扩展候选、210 张 LAION 候选、767 个 JFK 候选）；论文未报告重复次数与人工一致性。
    • 论文未报告各实验所用辅助/攻击模型的完整提示词之外的超参数（如采样设置），部分提示词在附录 A、F 给出。
    • 作者明确说明 Enron 邮件为 2002 年数据，具体行为数量不应外推至今，只应看相对提升（Section 3.1 脚注 1）。
    • 威胁模型限定为 financially motivated 的中等资源犯罪团体；作者称 nation-state 攻击者已有所需资源，当前 LLM 不太可能为其提供明显增益（Section 2）。

  6. 总结一下论文的主要内容

    作者论证 LLM 改变攻击经济学，用六组概念验证展示规模化定向攻击已技术可行、正逼近经济可行。

    一篇关于 LLM 如何改变网络攻击经济学的立场加实证论文，作者来自 Anthropic、Google DeepMind、ETH Zurich 和 CMU。

    • 问题：现有攻击受人力成本约束，广度与深度不可兼得——要么深度攻击少数高价值目标，要么用勒索软件等通用手段无差别变现。作者的核心洞察是 LLM 把"智能"商品化，可同时降低攻击成本、提高单次变现。
    • 方法：提出攻击价值玩具模型（单次利润 × 影响人数 − 开发成本），据此推出两个方向——攻击长尾系统、规模化定向攻击；并对六类攻击做概念验证。
    • 关键结果：Claude 3.5 Sonnet 在 Enron 邮件中无人协助正确识别一名员工的婚外情（Figure 3）；LLM 以 95% 以上精度识别 600 多个密码，传统工具仅 300 多个、精度不足 70%（Figure 1）；Claude 3.7 Sonnet 在 200 个 Chrome 扩展中标记 54 个疑似漏洞、人工确认 19 个（Table 1）；JFK 文件 SSN 提取精度 92.3%，远超 Tesseract 加 DLP 的 142 个；Claude 3.7 Sonnet 在 5 种服务器框架上全部成功植入密码窃取代码。
    • 成本判断：作者称多数攻击目前尚不经济（如扩展分析 270 美元仅得 3 个高危漏洞），但同等能力推理成本三年已降 9 至 900 倍，攻击"是否可行"已让位于"利润是否超过成本"。
    • 结论：作者认为这些攻击近期将变得经济可行，更多人需要采取此前只有高价值目标才需要的防护；作者呼吁研究新的 defense-in-depth、LLM 推理监控与 LLM 防御。
阅读原文arxiv.org