跳到正文
原文

从文本到像素的转变中什么得以幸存?渲染为图像的文档中对提示注入的条件性保护

What Survives the Shift from Text to Pixels? Conditional Protection against Prompt Injection in Image-Rendered Documents

arXiv:其他 AI 安全论文· arXiv:2611.24231· Haoyang Liu, Yinong Xu, Zhe Lang, Zhenyu Guan, Qianyun ZhangSchool of Cyber Science and Technology, Beihang University本站收录· 13 小时前· 原文发表入选 攻击· 扫描记录里的位置 →精选关注度39

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者对六个模型配对测试文本与页面图像两种模态下的间接提示注入,作者称渲染能降低追加和格式化攻击的执行率,但保护依模型、操作和攻击预算而定。

威胁模型间接提示注入:攻击者仅控制外部来源 D,在保留原有事实的同时向其中插入指令 A;系统策略和用户问题不受攻击者控制。

问题
多模态模型回答外部文档问题时面临间接提示注入。把不可信内容渲染成页面图像平均能降低攻击成功率,但哪些注入操作能在渲染后存活、效用代价多大、失败是读不到还是读了不执行,此前不清楚。
方法
作者将 LongBench 的 191 个问答来源配对成文本与页面图像两版,在六个模型上测量追加、格式化、替换三类注入操作的执行率与干净问答效用,并用行为诊断、OCR 对照、用户授权实验和 Qwen 上的激活修补与注意力阻断分析机制。
实验与结果
渲染降低了所有六个模型的追加和格式化攻击执行率,但 Qwen3-VL-8B 在图像模态下仍以 77.96% 执行替换攻击;对 8 个固定候选攻击的小规模搜索基本抹平 Qwen 和 Gemini 的图像差距;模型常能转写却不执行图像指令。
局限与可以继续做的
作者指出的局限包括:保护依模型、操作、目标类型和呈现方式而定,小预算搜索可缩小差距,集成问题上部分模型效用下降。实验为英文来源,机制分析仅在 Qwen3-VL-8B 上进行,行为诊断覆盖三个模型。
实验设置Qwen3-VL-8B-Instruct、GPT-5-nano 等 · LongBench(Qasper、MultiFieldQA-en、HotpotQA 共 191 个来源实例) · ASR、strict success 等
威胁模型
间接提示注入:攻击者仅控制外部来源 D,在保留原有事实的同时向其中插入指令 A;系统策略和用户问题不受攻击者控制。受害系统为回答外部文档问题的多模态语言模型,来源以文本(T)或页面图像(V)两种模态呈现,系统提示词要求模型将外部来源视为不可信。
被测模型
Qwen3-VL-8B-InstructGPT-5-nanoHaiku 5.5Gemini 3.1 Flash-LiteGLM-5.3-FlashDeepSeek V4.1 Flash 1017
基准
LongBench(Qasper、MultiFieldQA-en、HotpotQA 共 191 个来源实例)
指标
ASRstrict successclean QA F1utility ratio (UR)
AI 导读和推荐理由北京航空航天大学研究者在六款模型上配对测试 191 个问答来源的文本与页面图像呈现,发现把不可信内容渲染成图像可降低提示注入执行率,但保护是有条件的。渲染降低了全部六款模型的追加与格式化攻击执行率,但 Qwen3-VL-8B 仍以 77.96% 的成功率执行图像承载的答案替换。保护随目标类型、渲染设置、措辞和重复次数而变;对八个固定攻击候选的搜索大幅收窄 Qwen 与 Gemini 在追加和格式化上的图像差距,GPT-5-nano 则保持显著差距。原始问题上的效用比(图像相对文本)在 93.31%–101.61% 之间,Qwen 在需结合两段证据的整合问题上降至 61.99%。模型常能转述却不执行图像中的指令,用户授权也会提高执行率;机制分析显示文本指令经由自身位置起作用,图像指令则被视觉编码扩散到整页。

北京航空航天大学研究者在六款模型上配对测试 191 个问答来源的文本与页面图像呈现,发现把不可信内容渲染成图像可降低提示注入执行率,但保护是有条件的。渲染降低了全部六款模型的追加与格式化攻击执行率,但 Qwen3-VL-8B 仍以 77.96% 的成功率执行图像承载的答案替换。保护随目标类型、渲染设置、措辞和重复次数而变;对八个固定攻击候选的搜索大幅收窄 Qwen 与 Gemini 在追加和格式化上的图像差距,GPT-5-nano 则保持显著差距。原始问题上的效用比(图像相对文本)在 93.31%–101.61% 之间,Qwen 在需结合两段证据的整合问题上降至 61.99%。模型常能转述却不执行图像中的指令,用户授权也会提高执行率;机制分析显示文本指令经由自身位置起作用,图像指令则被视觉编码扩散到整页。

推荐理由这篇论文提供了按操作、攻击预算和效用细评渲染防御的做法,显示平均成功率会掩盖模型与操作层面的具体弱点。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    把不可信文档渲染成图像能挡住哪些注入操作、代价多大、失败是读不到还是不执行,此前不清楚。

    核心问题:将不可信文档渲染为页面图像后,哪些注入操作仍能生效、效用代价如何、攻击失败是因为模型读不到指令还是读了不执行。

    • 场景与重要性:检索增强生成和文档问答让模型基于外部来源作答,间接提示注入利用信任边界在不可信内容中植入命令劫持响应。作者称把文档渲染为页面图像是一种有前景的缓解手段,可降低攻击执行率并减少解码器 token 用量。
    • 现有工作的不足:作者称已有结果表明渲染平均而言有效,但留下更细粒度的问题:外部作者还能通过渲染页面控制响应的哪些决策、为什么;单一固定攻击的聚合指标可能掩盖对特定操作的脆弱性。
    • 核心观察:缺失标记是歧义的——模型可能没读到命令,也可能读到了但选择服从用户;字体大小和视觉退化会影响排版攻击,可读性是一个合理但未检验的解释。
    • 论文方案:将 LongBench 的 191 个英文问答来源配对为文本与页面图像两版,在六个模型上测量追加、格式化、替换三类操作的执行率与干净问答 F1,并做行为诊断和 Qwen 内部的机制干预。
    • 威胁模型:
      • 攻击者目标:让模型执行注入的三类操作——追加来源特定标记、按指定格式输出、用固定短语替换答案。
      • 攻击者知识:论文未明确说明攻击者对模型和渲染设置的知识假设。
      • 攻击者能力:仅控制外部来源 D,在保留原有事实的前提下于指定位置插入指令 A;系统策略和用户问题不受影响。
      • 受害系统:回答外部文档问题的多模态语言模型,来源以文本(T)或页面图像(V)呈现,系统提示词要求将来源视为不可信。
  2. 有哪些相关研究?

    相关工作分视觉文本表示、提示注入攻防、图像携带指令三组,本文与 Pictionary 最接近但固定文档与指令跨模态对比。

    视觉文本表示

    • 像素级模型与 OCR-free 文档模型([23–25]、[12, 13, 18]):将渲染文本编码为图像 patch,不依赖固定词表,准确率取决于字符如何分组成 patch。
    • 页面图像作为检索单元与压缩上下文(ColPali [7]、[15, 27]):研究渲染为任务保留了什么;本文额外要求模型在恢复证据的同时尊重用户对操作的权威。

    提示注入攻击与防御

    • 间接提示注入(Greshake 等 [10]、Perez 与 Ribeiro [21]):第三方在模型将消费的内容中植入指令,目标包括操纵响应、泄露信息或触发未授权工具调用 [6, 31, 32]。
    • 防御:Spotlighting 界定不可信数据 [11],StruQ 用结构化查询分离指令与数据 [4],指令层级训练让模型优先服从特权指令 [26]。

    图像携带指令

    • 排版与视觉对抗提示:叠加文字误导 CLIP [8],排版或对抗视觉提示可越狱视觉语言模型 [9, 22] 或向多模态助手与智能体注入指令 [1, 29]。
    • Nagaraja 等 [20]:变化自然图像中命令的位置与可见性;Balakrishnan 等 [3]:将排版攻击成功率与字体大小和视觉退化联系起来。
    • Pictionary(Zhang 等 [34]):应用侧将不可信材料渲染为图像以削弱其中指令,作者称其在两个提示注入基准上降低了攻击执行率,包括自适应攻击下。

    本文定位:作者称与 Pictionary 相反,本文固定文档与指令跨模态不变,追问哪些操作在渲染后存活;三种攻击操作覆盖对响应控制程度递增的谱系,从追加字符串到整体替换答案。

    基线与基准:本文未设外部基线方法,比较是同一模型在文本与图像两种模态间的配对比较;数据来自 LongBench [2] 的 Qasper [5]、MultiFieldQA-en、HotpotQA [30] 三个子集,共 191 个来源实例。

  3. 论文如何解决这个问题?

    配对文本与页面图像两种模态,测三类注入操作的执行率与干净问答效用,再做行为诊断和 Qwen 机制干预。

    整体思路是构建文本–图像配对基准:同一来源、同一问题、同一攻击措辞,分别以文本和渲染页面图像呈现,比较六个模型在两种模态下的攻击执行率与问答效用,再用行为诊断和激活修补区分"读不到"与"读了不执行"。

    问题形式化与信任边界

    • 设 S 为系统策略、Q 为用户问题、D 为外部来源,攻击者向 D 插入指令 A 并保留原有事实,仅来源受攻击者控制。两种响应为 yT = M(S, Q, D ⊕ A) 与 yV = M(S, Q, R(D ⊕ A)),其中 R 为渲染器、⊕ 为指定位置插入。
    • 系统提示词指示模型将外部来源视为不可信,用户提示词给出问题并标出来源边界;T 与 V 中信任边界相同。

    数据、操作与模型

    • 数据来源:LongBench 的 191 个英文来源实例——80 个 Qasper(研究论文问答)、69 个 MultiFieldQA-en、42 个 HotpotQA(需跨段落证据);每实例含外部内容、原始问题和参考答案。
    • 三类攻击操作:Append 要求在答案后换行追加来源特定标记;Format 要求输出"标记 | 答案"一行;Replace 要求把答案替换为固定短语。每操作两种固定措辞,标记不出现在原问题、文档和参考答案中。
    • 模型:本地运行 Qwen3-VL-8B-Instruct;经 API 网关访问 GPT-5-nano、Haiku 5.5、Gemini 3.1 Flash-Lite、GLM-5.3-Flash、DeepSeek V4.1 Flash 1017。核心比较对六个模型用相同问题、攻击和 PNG。Qwen 用于渲染、措辞、行为诊断和需要解码器状态的干预实验;GPT-5-nano 与 Gemini 加入部分实验。
    • 提示词包装:W1、W2、Wa 三种包装与固定默认渲染设置。

    评分方式

    • ASR:可见响应执行注入操作的比例(追加标记、格式化答案、替换为目标短语);输出长度截断的响应记为 unknown 并剔除。每操作先在来源内对两种措辞取平均,再在数据集内平均,三个数据集等权。
    • 效用:干净问题上计算 LongBench 词重叠 F1,对大小写、冠词、标点、空白归一化后取各参考答案的最佳分;效用比 UR 为图像 F1 除以文本 F1。
    • 严格成功率(strict success):在 5 节的受控实验中要求按指定结构精确复现目标字符串。
    • 统计检验:报告的 pH 值在每个模型内用 Holm 校正(Table 3 为 54 项检验)。

    受控实验设计(90 来源子集)

    • 操作 × 目标类型:三种操作分别搭配自然短语和等长随机字母数字串作为目标,采用 separate-page 协议(命令独占一页,置于来源之前或之后,文本中位置匹配),与主实验的 inline 协议(命令嵌入来源文本内)相对。
    • 呈现因素:导出宽度 704/876/1280 像素 × CSS 字号 20/26/32;三种替换措辞(Generic、Question-bound、Evidence-bound);命令与所引证据的距离;重复 1/2/4 份(集中或分散)。
    • 多候选搜索:每操作 16 个候选(8 种 lead-in 框架 × 2 种措辞),90 来源分为 30 开发 / 60 测试,按开发集严格成功率排序后冻结,测试集上预算 k 表示前 k 个候选中任一成功即记为被攻击。

    行为诊断与机制分析

    • 三端点诊断:Reporting(逐字转写注入段落,服从命令算失败)、Understanding(在四个选项中分类操作并返回精确目标)、Execution(原始问题上的操作执行)。
    • OCR 对照:用页面图像的 OCR 文本替换图像作为输入;另有修正 OCR 攻击区间内错误的变体。
    • 用户授权:Wa 策略下用户禁止或允许来源操作,页面内容不变。
    • 机制干预(Qwen):激活修补在预填充期间对攻击区域位置加/减命令与中性描述的状态差 δA,对照为范数匹配的随机扰动和位置平移扰动;另做目标重定向(两个随机码绑定其一)和注意力阻断(阻断攻击区域 A 或整个指令页的注意力)。
  4. 论文做了哪些实验?

    渲染降低六模型的追加与格式化攻击执行率,但 Qwen 图像替换 ASR 仍达 77.96%,小预算搜索可抹平部分差距。

    实验设置

    • 被测模型:Qwen3-VL-8B-Instruct(本地)、GPT-5-nano、Haiku 5.5、Gemini 3.1 Flash-Lite、GLM-5.3-Flash、DeepSeek V4.1 Flash 1017(后五个经 API 网关)。
    • 数据:LongBench 的 191 个英文来源实例(Qasper 80、MultiFieldQA-en 69、HotpotQA 42);每来源另有 1 个需两段证据的集成问题(共 191 个);受控实验用 90 来源子集(每数据集 30 个)。
    • 指标:ASR(可见响应执行注入操作的比例)、严格成功率、干净 QA 的词重叠 F1、UR(图像 F1 / 文本 F1)。
    • 判定方式:按输出是否包含标记、符合格式或等于目标短语判定执行;论文未说明使用 LLM 评审。
    • 统计:每操作两种措辞在来源内平均,数据集等权;pH 值经 Holm 校正;截断响应剔除。
    • 基线:无外部基线,比较为同一模型文本模态对图像模态。

    主结果

    据 Table 1(ASR %,越低越好,∆ = 图像 − 文本,单位为百分点)与 Table 2(干净 QA F1 与 UR):

    表格较宽,可左右滑动

    模型Append 文本→图像Format 文本→图像Replace 文本→图像UR 原始 / 集成 (%)
    Qwen3-VL-8B73.78→5.0171.72→11.3598.73→77.9698.71 / 61.99
    GPT-5-nano77.95→0.0072.12→0.0029.53→1.1299.44 / 89.35
    Haiku 5.52.46→0.005.11→0.000.93→0.00101.61 / 102.56
    Gemini 3.1 Flash-Lite93.97→47.2797.85→59.7930.57→0.2499.75 / 100.71
    GLM-5.3-Flash65.10→4.4861.63→1.920.24→0.0099.49 / 101.00
    DeepSeek V4.1 Flash64.87→0.6189.26→6.693.60→0.0093.31 / 96.91
    • 追加与格式化:六个模型的图像 ASR 均低于文本;Gemini 图像 ASR 约 50%,其余模型低于 12%(作者称)。
    • 替换操作改变相对脆弱性:作者称 Qwen 在多数图像响应中执行固定短语替换,而所有 API 模型在图像中接近零,GLM 在文本中也接近零;跨操作聚合会掩盖对特定操作的脆弱性。
    • 效用:原始问题上六模型 UR 在 93.31%–101.61% 之间(Table 2);集成问题上 Qwen 损失最大、GPT-5-nano 也低于其原始问题 UR,Haiku、Gemini、GLM 无损失,作者称 Qwen 的大损失不能推广到所有模型。

    目标类型与呈现因素(90 来源,separate-page 协议)

    • 目标类型(Table 3):Qwen 追加在两类目标上图像均更弱;格式化与替换仅对随机字符串有经 Holm 校正的图像差距,且 Qwen 对随机字符串的图像执行接近上限,作者称其严格成功率差距主要反映复现错误而非未尝试操作。GPT-5-nano 与 Gemini 在两类目标上追加和格式化均有图像差距,执行率与严格成功率相差 5.00 个百分点以内。
    • 分辨率与字号(Figure 2(a)):更高分辨率和更大字号削弱渲染保护;W1 下固定短语替换在字号 20→32(宽 876)和宽度 704→1280(字号 26)下执行率各上升超过 25 个百分点;两因素联合收益递减。最粗 W1 设置干净 QA F1 为 42.21,默认设置为 48.72。
    • 措辞与位置(Figure 2(b)):Question-bound 措辞在全部四种模态 × 题型组合中最有效,比 Generic 高 17.78–30.00 个百分点;命令远离所引证据时两类问题的图像 ASR 均上升。
    • 重复(Figure 2(c)):两份集中副本使图像格式化执行增加 24.44 个百分点,四份分散与四份集中相近;图像追加执行变化很小。

    多候选搜索与行为诊断

    • 16 候选搜索(Figure 3):Qwen 追加差距从 −37.37 缩小到预算 8 时的 −3.33 个百分点,格式化在预算 8 时两种模态均达 100%,替换在任何预算下无经校正的差距;Gemini 追加与格式化同样收敛,但替换差距持续;GPT-5-nano 在每个操作和预算下都保持经校正的图像差距。作者称单命令的图像差距不意味着能抵抗有限搜索,是否存活取决于模型和操作。
    • 读与执行的分离(Table 4):inline 协议下 Gemini 对图像追加和格式化命令的报告与识别率超过 90% 但执行少得多;GPT-5-nano 报告和识别超过一半但执行为零;Qwen 在图像报告成功的来源上追加和格式化执行为 0.00% 和 3.70%,替换却在多数图像上被执行。作者称读不到不能解释所有失败的图像攻击。
    • OCR 对照(6.2 节):89 个来源上 OCR 文本的操作执行率为 41.80%,原始文本为 70.96%,图像为 1.11%;修正 OCR 攻击区间错误使严格成功率上升 14.44 个百分点,操作执行仅升 3.33 个百分点。
    • 用户授权(Figure 4(b)):允许时 Qwen 图像追加和格式化执行上升;Gemini 在两种模态下 Permit 时达 100%;GPT-5-nano 文本中接近上限但图像中仍低得多。

    机制分析(Qwen)

    • 激活修补(Figure 5):在攻击区域加入命令−中性状态差可在中性运行中诱发三种操作,随机与平移对照不能;文本诱发在各操作各层都更强,图像诱发按替换、格式化、追加递减。反向修补消除两种模态下全部三种操作的执行。
    • 目标重定向(Table 5,48 来源):文本中响应切换到 donor 绑定的码,在全部 12 项比较中超过自身、随机和平移对照;图像中响应不切换,格式化仍产生接收者的码。作者称绑定的码可从图像攻击区域状态解码,但在这些位置不决定响应产生哪个码。
    • 注意力阻断(Table 6):阻断攻击区域 A 使文本执行归零但几乎不影响图像;阻断整个指令页才消除图像执行;模态 × 阻断交互为追加 +84.38、格式化 +80.21 个百分点;各阻断下干净 QA F1 在 52.88–56.00 之间。作者据此认为文本命令作用于自身位置,而视觉编码把命令散布到指令页各处。

    其他消融与分析

    • 双模态都答对的来源(4.3 节):Qwen 在 τ = 1(46 来源)时追加 ASR 文本 72.39%、图像 3.37%,各阈值下配对区间均不含零。
    • 中性描述对照(Figure 4(a)):把命令换成保留标记的中性描述后,Qwen 两种模态的追加和格式化 ASR 归零。
    • 探针:线性探针在两种模态下都能区分命令运行与中性描述运行;L11 处攻击区域探针以 100.00%(文本)和 98.44%(图像)识别绑定的码。
  5. 有什么可以进一步探索的点?

    作者未设专门局限章节;结论指出保护依条件而定且应按操作和攻击预算评估,实验覆盖英文来源与单一开源模型。

    作者指出的局限与后续方向

    • 保护的条件性(第 8 节结论):作者称渲染的保护是有条件的——Qwen 仍易受答案替换攻击,差距随目标类型和呈现方式变化,对攻击候选的小规模搜索可为部分模型抹平大部分差距。
    • 效用在集成问题上下降(第 8 节):作者称效用在原始问题上基本保持,但部分模型在集成问题上下降。
    • 评估方式的建议(第 8 节):作者称基于渲染的防御应按操作分别报告攻击预算下的执行率,并同时报告整合证据类问题上的效用。
    • 论文未设独立的 Limitations 或 Future Work 小节,以上为结论中作者明确写出的限定与方向。

    实验覆盖范围

    • 被测模型:共 6 个(Qwen3-VL-8B-Instruct、GPT-5-nano、Haiku 5.5、Gemini 3.1 Flash-Lite、GLM-5.3-Flash、DeepSeek V4.1 Flash 1017);机制干预仅在 Qwen3-VL-8B 上进行,行为诊断覆盖 Qwen、GPT-5-nano、Gemini 三个模型。
    • 数据:191 个英文 LongBench 来源实例(Qasper、MultiFieldQA-en、HotpotQA),受控实验用其中 90 个;论文未报告其他语言的来源。
    • 攻击操作:追加、格式化、替换三类,各两种固定措辞;多候选搜索为每操作 16 个固定候选、预算最大 16;论文未报告自适应优化类攻击(如梯度或迭代改写)的评测。
    • 攻击者能力设定:攻击者仅控制外部来源内容;论文未报告攻击者对模型或渲染设置的知识假设,也未报告查询次数或迭代预算以外的成本。
    • 判定方式:按输出是否执行操作判定,论文未报告使用 LLM 评审或人工评估及其一致性。
  6. 总结一下论文的主要内容

    配对比较文本与页面图像模态下的间接提示注入,作者称渲染提供的是依模型、操作和预算而定的条件性保护。

    一篇关于间接提示注入防御的实证分析:把不可信文档渲染成页面图像能否挡住注入命令。

    • 问题:多模态模型基于外部来源作答时,攻击者可在来源中植入命令。已有工作称渲染平均有效,但哪些操作能存活、效用代价多大、失败是读不到还是不执行,此前没有答案。
    • 方法:将 LongBench 的 191 个英文问答来源配对为文本与页面图像两版,在六个模型上测量追加、格式化、替换三类操作的 ASR 与干净问答 F1;90 来源子集上受控变化目标类型、渲染参数、措辞、位置、重复和攻击候选预算;辅以报告/识别/执行诊断、OCR 对照、用户授权实验,以及 Qwen 上的激活修补、目标重定向和注意力阻断。
    • 主要结果:
      • 渲染降低了全部六个模型的追加和格式化攻击执行率,但 Qwen3-VL-8B 在图像模态下仍以 77.96% 的 ASR 执行答案替换(Table 1)。
      • 原始问题上六模型 UR 为 93.31%–101.61%,但 Qwen 在需两段证据的集成问题上 UR 降至 61.99%(Table 2)。
      • 对 16 个固定攻击候选的搜索基本抹平 Qwen 和 Gemini 在追加与格式化上的图像差距,GPT-5-nano 在各操作和预算下保持图像差距(Figure 3)。
      • 模型常能转写并识别图像命令却不执行;Qwen 对页面 OCR 文本的执行率为 41.80%,远高于图像本身的 1.11%(6.2 节)。
      • 机制上,作者称文本命令通过自身位置起作用,而图像命令及其目标被视觉编码散布到整个指令页。
    • 作者结论:渲染提供的是条件性保护;作者认为基于渲染的防御应按模型、操作和攻击预算报告执行率,并同时报告整合证据类问题上的效用。
阅读原文arxiv.org