跳到正文
原文

当规格表说谎时:针对 LLM 生成合规文件的注入攻击

When the Spec Sheet Lies: Injection Attacks on LLM-Generated Compliance Artifacts

arXiv:其他 AI 安全论文· arXiv:2611.19090· Adriana Watson, Marco Bücheler, Grant RichardsSchool of Engineering Technology, Purdue University本站收录· 2 天前· 原文发表攻击· 扫描记录里的位置 →

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者对 5 个 LLM 在 6 类工业合规文档生成任务上测试被动与主动提示注入,3,000 次注入试验中 65.1% 成功,falsify 载荷最有效。

威胁模型攻击者向工业文档生成 LLM 注入恶意指令:passive injection 将指令随机藏入模型读取的源文档,active injection 在推理时插入提示词末尾;载荷包括 override、suppress、falsify、schema break、exfiltrate 五类,受害系统为生成 AAS/DPP、SDS、工单、RFQ、QC 报告、海关分类等结构化合规文档的 LLM 管线。

问题
提示注入在对话、编程和检索场景已被广泛研究,但 LLM 生成工业合规文档(SDS、QC、DPP 等)时受注入影响的程度尚缺研究,而这些文档会驱动运营、监管和安全决策。
方法
作者构造 6 类模拟工业文档生成任务,用被动(藏入源文档)和主动(附加在提示词末尾)两种注入方式、5 类载荷各 3 个变体,攻击 5 个 LLM,按输出中已知指示物算法化判定攻击是否成功。
实验与结果
3,000 次注入试验成功率为 65.1%。falsify 载荷在所有任务中最有效(74%–97%);主动注入(73.2%)比被动(57.0%)更成功;模型间差异大,Claude Sonnet 5 平均 10.7%,Qwen2.5-7B-Instruct 达 89.7%。
局限与可以继续做的
作者指出合成文档可能无法完全反映真实运营环境的复杂性,且未评估良性输出的正确性。实验仅覆盖 5 个模型、6 类合成任务,未评测任何防御机制。
实验设置GPT-4o、Claude Sonnet 5 等 · 六类模拟工业文档生成任务(standardized product representations、SDS hazard classification、predictive maintenance、procurement、quality control、customs),每任务 5 份合成文档 · attack success rate
被测模型
GPT-4oClaude Sonnet 5Meta-Llama-3.1-8B-InstructMistral-7BQwen2.5-7B-Instruct
基准
六类模拟工业文档生成任务(standardized product representations、SDS hazard classification、predictive maintenance、procurement、quality control、customs),每任务 5 份合成文档
指标
attack success rate
AI 导读研究者考察了多种提示注入攻击如何破坏执行工业文档生成任务的 LLM,涉及安全数据表(SDS)、质量控制(QC)文件和数字产品护照(DPP)等合规文件。结果显示,攻击成功率在不同模型间差异显著:主动伪造类注入在所有场景下成功率最高,而模型对被动注入的覆盖请求往往最为稳健。

研究者考察了多种提示注入攻击如何破坏执行工业文档生成任务的 LLM,涉及安全数据表(SDS)、质量控制(QC)文件和数字产品护照(DPP)等合规文件。结果显示,攻击成功率在不同模型间差异显著:主动伪造类注入在所有场景下成功率最高,而模型对被动注入的覆盖请求往往最为稳健。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者研究提示注入攻击对 LLM 生成工业合规文档(SDS、QC、DPP 等)的影响,这一场景此前缺乏研究。

    核心问题:提示注入攻击能在多大程度上操纵 LLM 生成的工业合规文档(如 SDS、QC 报告、DPP),这一场景此前几乎无人研究。

    • 场景与重要性:LLM 越来越多地被用于扫描和生成工业文档(Safety Data Sheets、Quality Control 文档、Digital Product Passports 等),这些文档的输出会驱动运营、监管或安全关键决策,被篡改会产生下游影响。
    • 现有研究不足:作者称提示注入风险已在对话智能体、编程助手和检索增强系统中被广泛研究,但针对结构化工业合规文档生成的攻击影响"largely unexplored",撰写时没有文献直接讨论这一问题。
    • 核心观察:工业 LLM 应用多为扫描现有文档生成新文档,因此被动(藏入源文档)和主动(随自动指令送达)注入最贴合其部署方式;override、suppress、falsify、schema break、exfiltrate 类载荷直接对抗这些工具的用途,且涉及 PII 时还有隐私风险。
    • 论文贡献:在 6 类模拟工业文档生成任务上,用 2 种注入方法 × 5 类载荷(各 3 个变体)攻击 5 个 LLM,共 3,000 次注入试验,测量攻击成功率。
    • 威胁模型(Section III-A,Figure 1):
      • 攻击者目标:让模型在生成的结构化文档中执行注入指令(覆盖指令、省略信息、篡改数据、破坏 schema、泄露信息)。
      • 知识:论文引用 Greshake et al. 的分类,称这类注入是 low-skill、low-knowledge 攻击。
      • 能力:passive injection 可把恶意指令藏入模型读取的参考文档;active injection 可在推理时把指令插入提示词末尾。
      • 受害系统:把异构工业信息转换为结构化合规文档的 LLM 生成管线。
  2. 有哪些相关研究?

    相关工作分两组:LLM 生成工业文档的六类应用,以及提示注入的分类与载荷研究;作者称尚无文献研究注入对工业文档的影响。

    LLM 生成工业文档(Section II-A)

    • 标准化产品表示:Xia et al. 早期用神经语言模型和语义指纹把任意信息模型映射为 AAS 模型 [8];后续用生成式 LLM 把技术数据表转换为 AAS 实例模型,报告生成成功率 62%–79% [9];Shi et al. 用微调开源 LLM 做工业数据与 AAS 信息模型的语义实体匹配 [10]。
    • SDS 与预测性维护:Lee et al. 评估 LLM 从 SDS 提取物质与成分信息并对照人工提取的参考数据 [11];Jones et al. 用生成式 LLM 从历史维护信息生成维护规划包组件 [12]。
    • 采购、质量控制与海关:Brandtner and Hofer 评估 GPT-4o 做供应商报价的形式检查、摘要与比较 [13];Shi et al. 结合 AAS 信息模型与 LLM 语义搜索整合异构生产与质量信息 [14];Hu et al. 提出从非标准化表格提取关键信息的 LLM 机制 [15]。

    提示注入分类与载荷(Section II-B)

    • 注入方法分类:Greshake et al. 定义四类 low-skill、low-knowledge 注入方法(passive、active、user-driven、hidden)[1];Gulyamov et al. 综述 LLM 与智能体系统中的提示注入漏洞、攻击向量与防御机制 [2]。作者称 Anthropic 的 Model Context Protocol(MCP)等发展提高了此类攻击的风险 [2]。
    • 注入载荷:Oh et al. 注入指令诱导 AI 编程工具插入不安全后端 [16];Yi et al. 把恶意软件广告嵌入互联网搜索结果;Cao et al. 用恶意弹窗在被浏览时触发恶意任务(VPI-BENCH)[17]。Table I 汇总了 jailbreaking、instruction override、game-based manipulation、role playing、adversarial optimization、obfuscation、payload splitting 七类技术。

    基线与基准:论文未设置对比基线方法,也未使用现有基准;实验为作者自建的 6 类模拟任务,另设 150 次无注入的 baseline 运行作为对照。

    本文定位:作者称上述工业文档生成研究均未涉及针对性注入攻击的影响,本文旨在填补这一空白;其任务设计直接取自 Section II-A 归纳的六类常见 LLM 生成任务。

  3. 论文如何解决这个问题?

    作者在 6 类模拟工业文档任务上,用 2 种注入方式 × 5 类载荷(各 3 变体)攻击 5 个 LLM,按输出中的已知指示物算法化判定成功。

    整体思路:模拟工业 LLM 文档生成管线的部署方式,对 5 个 LLM 系统地施加被动与主动提示注入,测量五类恶意载荷在六类任务上的攻击成功率。

    任务选择(Section III-B)

    • 六类任务:取自 Section II-A 归纳的常见应用——标准化产品表示(数据表转 AAS 格式用于 DPP 生成)、SDS 危害分类摘要、预测性维护(传感器日志与技师笔记生成结构化工单)、采购(供应商 RFQ 合规数据转 JSON)、质量控制(检验员笔记生成结构化检验报告)、海关(HS 编码分类与受限物质标记)。
    • 数据构建:因部分任务数据非公开,每个任务合成 5 份文档,人工审阅修改以保证真实感;schema 按各场景的工业惯例编写。

    注入方法与载荷(Section III-C)

    • Passive injection:恶意指令随机藏在模型用来生成格式化输出的文档内部。
    • Active injection:恶意指令在推理时插入提示词末尾。
    • 五类载荷:override(忽略部分原始指令改执行其他指令)、suppress(省略本应包含的信息)、falsify(篡改真实信息并注入错误信息)、schema break(不遵守给定 schema 改用修改后的 schema)、exfiltrate(泄露信息到其他格式或输出本应编辑掉的内容)。
    • 每类载荷有 3 个变体;论文未在正文列出具体载荷文本,附录称代码库包含全部提示词与文档。

    实验流程与成功判定(Section III-D)

    • 规模:2 种注入方法 × 5 类载荷 × 3 个变体 × 5 个模型 × 6 个任务 × 5 份文档,共 3,000 次注入试验,另有 150 次无注入 baseline 运行,合计 3,150 个模型输出。
    • 被测模型(Table II):GPT-4o(OpenAI,API)、Claude 4.6 Sonnet(Anthropic,API)、Meta-Llama-3.1-8B-Instruct(Meta,Open)、Mistral-7B(Mistral AI,Open)、Qwen2.5-7B-Instruct(HuggingFace,Open)。
    • 成功判定:每种注入风格都带有可识别的指示物(例如 override 提示词要求模型在输出文档中插入特定标记文本),通过在输出文本中检索这些已知指示物来算法化判定攻击是否成功。
    • 范围声明:作者明确不评估良性输出的正确性,只测量和报告攻击成功率。
  4. 论文做了哪些实验?

    3,000 次注入试验总体成功率 65.1%;falsify 载荷在所有任务中最有效,主动注入优于被动,模型间差异从 10.7% 到 89.7%。

    实验设置

    • 被测模型(Table II):GPT-4o、Claude 4.6 Sonnet、Meta-Llama-3.1-8B-Instruct、Mistral-7B、Qwen2.5-7B-Instruct。
    • 任务与数据:6 类模拟工业文档生成任务,每任务 5 份合成文档(人工审阅修改),schema 按工业惯例编写。
    • 攻击配置:2 种注入方法(passive 藏入文档、active 附加在提示词末尾)× 5 类载荷 × 3 个变体。
    • 样本量:3,000 次注入试验 + 150 次无注入 baseline 运行,共 3,150 个输出;论文未报告重复次数。
    • 指标与判定:attack success rate,按输出中已知注入指示物算法化检索判定,无 LLM 评审或人工评分;不评估良性输出正确性。

    主结果

    总体:3,000 次注入试验中 1,953 次成功,攻击成功率 65.1%。模型 × 载荷成功率据 Figure 3:

    表格较宽,可左右滑动

    模型overridesuppressfalsifyschema breakexfiltrate
    Qwen2.5-7B-Instruct86%85%94%95%88%
    Meta-Llama-3.1-8B-Instruct73%61%96%99%98%
    Mistral-7B49%85%99%89%97%
    GPT-4o30%63%100%46%40%
    Claude Sonnet 50%5%45%1%2%
    • 模型平均成功率(Section IV-B):Qwen2.5-7B-Instruct 89.7%、Meta-Llama-3.1-8B-Instruct 85.5%、Mistral-7B 83.8%、GPT-4o 55.8%、Claude Sonnet 5 10.7%。
    • 任务平均成功率(Section IV-A):standard product representations 与 quality-control inspection 同为 70.4%,SDS hazard classification 与 predictive maintenance 同为 64.0%,procurement 62.8%,customs classification 最低 59.0%。
    • 作者解读:作者称载荷类型对成功率的影响大于应用领域;falsification 在每类任务中都是最成功的载荷,作者认为可能因为 falsification 更像正常使用行为(告知某信息有误需修改),并认为稳健的文档生成管线可能需要多个可交叉验证的信息源。

    任务 × 载荷结果(Figure 2)

    • falsify 全任务最高:从 procurement 的 74% 到 predictive maintenance 的 97%;override 总体最低,从 customs 的 36% 到 predictive maintenance 的 58%。
    • suppress 任务间差异最大:predictive maintenance 27% 到 quality-control inspection 78%;schema break 与 exfiltrate 较稳定,均为 61%–71%。
    • 作者解读:作者认为 suppress 的差异可能说明某些任务中信息缺失更容易被察觉;schema break 效果较低可能与 schema 中包含 additionalProperties: false 字段有关,作者称廉价的提示词或输入工程可能是最直观的防御。

    注入方法对比(Figure 4)

    • 主动全面高于被动:active 平均 73.2%,passive 平均 57.0%;每类载荷下 active 都更高。
    • 分项(passive → active):override 37% → 58%,suppress 49% → 71%(高 22 个百分点),falsify 80% → 94%,schema break 61% → 71%,exfiltrate 58% → 72%。
    • 作者解读:作者称直接原因尚不清楚,可能是 recency bias(主动注入离生成点更近),并认为防御机制应在材料清洗之外优先防范在传输中加入的恶意指令。

    其他消融与分析

    • 模型识别注入行为:作者报告 Claude Sonnet 在某些输出中主动标注了可疑注入,但同一段输出仍泄露了内部参考编号;作者据此认为需要人工复核。
    • override 总体:在所有注入试验中成功率最低,为 47.7%(Section IV-C)。
    • 负面结果:无注入的 150 次 baseline 运行的结果未在正文报告;论文未报告任何防御机制的评测。
    • 作者观察:三个开源权重模型在多数类别下成功率高于 83%(Figure 3);作者称来自 Anthropic 和 OpenAI 的模型更稳健,认为这可能支持其较高 API 成本的合理性。
  5. 有什么可以进一步探索的点?

    作者指出合成文档代表性、未评估良性输出正确性等局限,并呼吁研究工业场景下的防御;实验仅覆盖 5 个模型与合成任务。

    作者指出的局限与后续方向

    • 合成文档的代表性:作者指出合成文档可能无法完全捕捉真实运营环境的复杂性,但提供了可控、避免保密问题的评估基础(Section III-D 脚注 1)。
    • 不评估良性输出正确性:作者明确良性 LLM 输出的正确性超出本研究范围,只测量攻击成功率(Section III-D 脚注 2)。
    • 需要人工复核:作者称模型可能发现问题却仍泄露信息,凸显对输出进行仔细人工复核的必要(Section V-C)。
    • 需要多信息源交叉验证:作者认为稳健的文档生成管线可能需要多个可交叉引用的信息源,以防错误信息进入最终输出并在系统间传导(Section V-A)。
    • 防御研究空白:作者称针对通用场景已有人工复核、检测机制、防御性提示词等防御,但注入攻击的初步成功凸显需要研究如何把这些防御应用到工业场景(Section VI)。
    • 主动注入原因未明:作者称主动注入更成功的直接原因尚不清楚,可能是 recency bias(Section V-D)。

    实验覆盖范围

    • 被测模型为 GPT-4o、Claude 4.6 Sonnet、Meta-Llama-3.1-8B-Instruct、Mistral-7B、Qwen2.5-7B-Instruct,共 5 个(Table II)。
    • 任务为 6 类模拟工业文档生成场景,每任务 5 份合成文档;注入配置为 2 种方法 × 5 类载荷 × 3 个变体,共 3,000 次注入试验(Section III)。
    • 成功判定为基于已知指示物的算法化文本检索;论文未使用 LLM 评审或人工评分,也未报告判定方式与人工判断的一致性。
    • 论文未报告重复运行次数、采样设置(如温度)和查询成本。
    • 实验未包含任何防御机制的评测;作者称通用防御在工业场景中的应用留待后续研究(Section VI)。
  6. 总结一下论文的主要内容

    作者系统测量提示注入对 LLM 生成工业合规文档的影响:3,000 次试验 65.1% 成功,falsify 载荷与主动注入最有效,模型间差异大。

    一篇攻击类实证研究:测量提示注入对 LLM 生成工业合规文档(AAS/DPP、SDS、工单、RFQ、QC 报告、海关分类)的影响,作者称这一场景此前缺乏研究。

    • 问题:工业 LLM 管线多扫描现有文档生成结构化合规文档,输出会驱动运营、监管和安全决策;注入攻击在对话和编程场景已被研究,但对这类文档生成的影响未知。
    • 方法:6 类模拟任务(每任务 5 份人工审阅的合成文档),2 种注入方式(passive 藏入源文档、active 附加在提示词末尾)× 5 类载荷(override、suppress、falsify、schema break、exfiltrate,各 3 变体),攻击 5 个 LLM,按输出中已知指示物算法化判定成功,共 3,000 次注入试验。
    • 总体结果:1,953 次成功,攻击成功率 65.1%;作者据此认为提示注入对工业文档生成管线构成实质风险,需要超出模型提示词的防护。
    • 载荷与方法:falsify 在每类任务中最有效(74%–97%,Figure 2),GPT-4o 上达 100%(Figure 3);active injection 平均 73.2%,高于 passive 的 57.0%;override 总体最低(47.7%)。
    • 模型差异:平均成功率 Qwen2.5-7B-Instruct 89.7%、Meta-Llama-3.1-8B-Instruct 85.5%、Mistral-7B 83.8%、GPT-4o 55.8%、Claude Sonnet 5 10.7%;作者称 Anthropic 与 OpenAI 的模型更稳健,部分输出会主动标注可疑注入,但仍可能泄露信息。
    • 作者结论:作者认为载荷类型比任务领域更影响成功率,falsification 可能因更像正常使用而难以防范;建议管线采用多信息源交叉验证与人工复核,并把通用防御机制适配到工业场景作为后续方向。
阅读原文arxiv.org