Render Before Reading：把不可信内容渲染成图像以防御提示注入

多模态模型更服从文本通道里的指令；能否把不可信内容移出该通道，做成无需训练的提示注入防御。

• 场景：作者认为提示注入是已部署语言模型应用的核心安全问题。智能体要阅读网页、文档和工具输出，这些内容可携带隐藏指令，把模型导向攻击者目标（Perez & Ribeiro, 2022; Greshake et al., 2023）。
• 现有不足：作者称先前防御在输入文本上检测、清洗或对抗训练。分隔符、转义和 sandwiching 借自其他安全场景，作者认为语言模型既非 SQL 解析器也非人类读者，这类迁移往往脆弱。作者引用 Nasr et al. (2025)：足够强的自适应攻击者能绕过这些防御，固定攻击套件会高估真实防护。
• 核心观察：作者假设指令服从主要来自文本指令微调，图像和语音更多被当作待描述或转写的内容。同一指令写成图像时，模型仍能读出内容，但更少把它当命令执行。
• 本文提出：Pictionary，训练无关、模型无关：把不可信文本渲染成印刷体图像（或合成语音）再输入，可信的系统提示词与用户请求仍走文本。作者称这形成由输入模态本身强制的通道级 instruction hierarchy。
• 威胁模型：作者采用标准 agentic-LLM 威胁模型。智能体由 VLM M 与固定工具库 T 组成；用户给出良性任务提示 p，可选辅助文档 Daux；系统提示词由用户提供或固定在 harness 中。智能体多轮运行，每轮输出工具调用或面向用户的消息，工具输出以 role:"tool" 追加，直到最终消息或达到轮数上限。
  • 目标与通道：攻击通过用户提供的文档（直接注入，Daux）或开放世界工具输出（间接注入）植入指令。除非另有说明，攻击者只控制单一不可信通道。
  • 能力：攻击者完全控制该通道内容，可嵌入任意文本载荷；不控制系统提示词或 p，但在 Section 5.2 的一个模板和 Section 5.3 的自适应攻击中知道 p 并据此构造载荷。
  • 知识：无对 M 的 white-box 访问，不知道工具库 T 或渲染方法；可对智能体做任意多次 black-box 查询并观察回复。
  • 范围外：作者写明基于图像的攻击超出范围，本防御对此不提供保护。

• 提示注入攻击：Perez & Ribeiro (2022)、Greshake et al. (2023) 提出提示注入。作者分成两类：利用模型服从看似合理文本的手工包装（Chang et al., 2026; Toyer et al., 2024; Liu et al., 2026; Ye et al., 2026），以及针对特定受害者调载荷的优化方法，近期包括强化学习与自动化红队（Chen et al., 2026; Wen et al., 2025; OpenAI, 2025）。
• 提示注入防御：提示级方法重构上下文以隔离不可信输入，如 spotlighting 与 sandwiching（Hines et al., 2024; Learn Prompting, 2023）。模型级方法重新训练模型以忽略注入指令（Chen et al., 2025）。系统级设计在模型外做能力与信息流控制（Debenedetti et al., 2025）或运行时程序分析（Wang et al., 2025a）；作者称后者有时能给出更强、有时是可证明的保证，但构建和集成更重。作者指出足够强的自适应攻击者几乎能绕过上述全部防御（Nasr et al., 2025），因此本文在固定套件之外还测自适应攻击与人工红队。
• VLM 越狱与视觉提示注入：Liu et al. (2024)、Ying et al. (2026) 报告有害请求配上图像时 VLM 更不安全；Gong et al. (2025)、Ma et al. (2024)、Wang et al. (2025b) 报告文本中被拒绝的意图以视觉形式可以成功。Li et al. (2025)、Nagaraja et al. (2025)、Timbrell (2023) 表明网页或自然图像中的普通印刷体可劫持黑盒多模态模型；Cao et al. (2025)、Evtimov et al. (2026) 覆盖通过截图导航的 VLM 网页智能体。作者称这一支把图像通道当作直接攻击面，并认为越狱效果通常被归因于安全对齐主要施加在文本上。作者提出的问题不同：同一载荷下，文本通道还是图像通道更有效；他们的结论是文本通道明显更有效，并把这种不对称做成防御。作者认为两者一致，因为拒绝有害内容与服从指令是不同行为，两者在图像通道上都更弱。
• 基线方法与基准：安全评测使用自建 DirectInject 与 AgentDojo（Debenedetti et al., 2024）。防御对比（Table 3）的模型侧基线为 DataFilter（Wang et al., 2025c，改写不可信文档以去除注入）、PromptLocate（Jia et al., 2026，定位并删除注入片段）和 DataSentinel（Liu et al., 2025，检测并阻断可疑输入）。效用压力测试使用 τ2-Bench（Barres et al., 2025）和 SWE-bench Verified（OpenAI, 2024; Jimenez et al., 2024）。通道级层级对照 Wallace et al. (2024) 的 instruction hierarchy。

作者把 Pictionary 定位为来自模型构建方式而非从其他安全设定移植的机制：指令服从被指令微调放在文本通道，把不可信内容移出该通道即针对漏洞产生处。结论中作者称它补充而非替代现有防御。

整体思路是利用文本与非文本通道的指令服从不对称：Pictionary 不过滤、不改写、不摘要，只把不可信文本换成印刷体图像（或语音）再交给模型。

问题设定与形式化

• 智能体循环：VLM M 加固定工具库 T。用户提示 p 描述良性任务，可选辅助文档 Daux。每轮模型发出工具调用或用户可见消息，工具输出以 role:"tool" 追加。
• 两条不可信通道：直接注入来自用户文档（文本、转发邮件、会议记录或代码评审附件）；间接注入来自 search web、read email 等工具从攻击者可写来源取回的内容。
• 成功判定：DirectInject 中，模型发出对目标函数的可执行调用即成功，不要求参数匹配；效用要求三道阅读理解题全部正确，由 GPT-5.4 mini 评判，两者不互斥。AgentDojo 主结果用基准的严格安全检查（完成指定对抗目标且参数符合要求）和基准验证的用户任务完成；宽松 ASR 见附录 C.1。

模态差距的测量

• 冲突指令：构造 21 对互斥指令，覆盖单词回复、短句主题、大小写和语言选择。两条指令框架相同，无系统提示词、无辅助指令。六个 VLM，每条件重复 5 次，报告均值和标准差。
• 单通道与冲突：先单独给一条指令，确认文本和图像都能被服从。冲突时同时给出两条，并交换模态与顺序（image-then-text 或 text-then-image），每模型 5×4×21=420 次查询。由 GPT-5.4 mini 判定服从文本、服从图像或都不服从。

防御实现

• 渲染什么：直接注入把用户文档作为图像附件；间接注入把工具返回的文本换成图像。harness 通常无法判断哪次工具返回受攻击者控制，因此保守地渲染每一次工具输出。用户提示、系统提示词和工具 schema 保持原文。
• 默认样式：黑字白底。附录 B.1：DejaVu Sans，900 像素宽 RGB 画布，30 像素边距与行距，约 65 字符换行，画布高度随文本增长、最低 200 像素，base64 经图像接口提交。DirectInject 与标准 AgentDojo 每条不可信消息一张图。
• 长输出与代码：附录 B.2 的多页渲染用 1024×1024 像素页面、每页 40 行；无攻击的字号扫描选 16pt。附录 B.3 的代码渲染用等宽字体、固定列换行且不剥缩进，并加行号和页眉。SWE-bench 使用该代码渲染器。附录 B.4 还比较搜索结果页风格与黑板风格，作者称视觉框架可在纯文本渲染之外进一步降低 ASR。
• 音频变体：Section 6.1 用 GPT-4o-mini-tts 把不可信文本合成 WAV，作为音频块输入且不提供转写。作者将其作为概念验证，而非部署建议。

攻击与对比协议

• 静态模板：七个固定模板，覆盖边界混淆、任务完成伪装和工具调用重定向；全文在附录 F。十个模型、两个基准都测。
• 自适应攻击：RL 后缀优化在 AutoInject（Chen et al., 2026）上增加图像奖励通道，后缀生成策略为 Qwen2-1.5B，后缀至多 30 token，模板固定；DirectInject 每配置 120 次 rollout，AgentDojo 为 200 次，文本与图像策略分开优化。ART 用 deepseek-v4-pro 搜索完整模板，每轮最多五个候选，三个搜索实例并行；每个模型、每种模态产生 225 个载荷，搜索在 25 个任务的子集上进行。人工红队七名专家共 144 小时，约 20,000 美元，针对四个模型的 AgentDojo banking 任务，可看回复和工具调用轨迹。
• 并集 ASR：主文把发现的攻击取并集。AgentDojo banking 上，任一攻击者发现的载荷都在六个模型、两种通道上重放；任一对上任一载荷成功即计为攻破，分母为 45 对。作者给出 ASRunion(m, c) 为该经验最坏情况。DirectInject 的并集只含 RL 与 ART。Table 3 的防御对比使用另外三个 ART 发现的模板，而非对每个防御单独优化。

训练干预

• 指令微调对照：四个开源基座（Qwen3.5 与 InternVL3.5）与其指令微调版本，在两个通道上比较 ASR（附录 E.2）。
• 良性图像指令微调：用 RLVR-IFeval（Lambert et al., 2025）的纯文本指令跟随数据，把提示渲染成图像后微调，不用攻击数据。三个开源模型：Gemma-4-E4B、Qwen-3.5-4B、Qwen3-Omni-30B。细节在附录 E.3。

实验设置

• 被测模型：静态攻击十个 VLM：Claude Opus 4.7、Claude Haiku 4.5、GPT-5.5、GPT-5.4 mini、GPT-5.4 nano、Gemini 3.1 Pro、Gemini 3.1 Flash Lite、Qwen3.6-plus、Kimi-K2.6、Grok 4.3。自适应自动化攻击针对 GPT-5.4 mini、Claude Haiku 4.5、Gemini 3.1 Flash Lite、Kimi-K2.6；人工红队针对 Claude Haiku 4.5、Claude Opus 4.7、GPT-5.4 mini、GPT-5.5。音频实验另用 GPT-Audio Mini 与 Qwen3.5-Omni-Plus。
• 基准规模：DirectInject 为 4 类文档 × 14 个工具调用目标 = 56 对，七模板共 392 次试验/模型/通道。AgentDojo v1.2.1 静态评测 130 对，七模板共 910 次/模型/通道；ASR 为至少一模板成功的对所占比例。自适应子集为 banking 45 对、workspace 30 对；人工红队为 42 个 banking 对。效用压力测试为均匀抽样的 100 个 SWE-bench Verified 实例和 164 个 τ2-Bench 任务（114 telecom、50 airline）。
• 指标：DirectInject 的 ASR 为发出目标函数的可执行调用（不要求参数）；效用为三题全对，评审模型 GPT-5.4 mini。AgentDojo 主表用严格 ASR 与基准验证的用户任务完成。模态冲突实验的服从由 GPT-5.4 mini 判定。
• 攻击条件：RL 与 ART 分别对文本和图像优化；另报告文本优化载荷不做再优化直接渲染的 text-to-image transfer。主文报告并集，分攻击者结果在附录 C。
• 渲染：主结果为黑字白底单图。Claude Haiku 4.5 的 AgentDojo 实验使用 autonomy 系统提示词；作者称默认提示下报告试验的 ASR 为零，但轨迹常推迟未充分指定的金融动作。
• 重复：Figure 2 每条件 5 次。Table 1 与主安全表未报告多次重复。

主结果

Table 1 为七个静态模板下文本到图像（ASR 括号内为绝对下降，百分点）。攻击下效用同列给出。

Swipe horizontally to read the table

模型	DI ASR 文→图	DI 效用	AD ASR 文→图	AD 效用
Claude Opus 4.7	5.4→0.0	99.5→100	0.0→0.0	90.4→90.2
Claude Haiku 4.5	17.9→0.0	99.5→98.7	1.5→0.8	70.5→62.2
GPT-5.5	0.0→0.0	100.0→100.0	0.8→0.0	92.7→92.6
GPT-5.4 nano	14.3→0.0	100.0→98.7	14.6→0.0	50.3→43.6
GPT-5.4 mini	75.0→0.0	99.7→100.0	29.2→7.7	71.4→64.9
Qwen3.6-plus	96.4→58.9	98.7→99.7	60.8→22.3	88.8→90.2
Kimi-K2.6	80.4→7.1	76.0→83.9	50.8→12.3	84.7→84.4
Grok 4.3	100.0→64.3	97.4→99.7	32.3→23.8	87.1→72.7

据 Table 1，另有 Gemini 3.1 Pro：DirectInject 98.2→55.4（效用 87.0→96.4），AgentDojo 83.1→41.5（效用 77.7→87.4）；Gemini 3.1 Flash Lite：DirectInject 100.0→46.4（效用 100.0→100.0），AgentDojo 90.0→49.2（效用 63.8→52.0）。表中省略的是上表八行之外的这两个 Gemini 模型，数字见上句。

• 作者解读：图像渲染在 Table 1 中从不提高 ASR，并对几乎每个文本 ASR 非零的模型–基准组合降低 ASR。DirectInject 上 GPT-5.4 mini 从 75.0% 到 0.0%；AgentDojo 上 Gemini 3.1 Pro 从 83.1% 到 41.5%。图像 ASR 最高为 DirectInject 64.3%（Grok 4.3）、AgentDojo 49.2%（Gemini 3.1 Flash Lite）。
• 效用：作者称 DirectInject 攻击下效用最多下降 1.3 个百分点。AgentDojo 效用变化为 −14.4 到 +9.7 个百分点；按 Table 1，−14.4 对应 Grok 4.3（87.1→72.7），+9.7 对应 Gemini 3.1 Pro（77.7→87.4）。
• 模态偏好：Figure 2(a) 六个模型在单独文本或图像上接近上限。Figure 2(b) 冲突时文本指令被服从的可能性是图像的 2×（Claude Haiku 4.5）到 300×（Kimi-K2.6）；其余为两条都不服从。六个模型为 GPT-5.4 nano、Claude Haiku 4.5、Grok 4.3、Gemini 3.1 Flash、Kimi-K2.6、Qwen3.6 Plus。

自适应攻击与人工红队

Table 2 是 AgentDojo banking 子集上 RL、ART 与人工红队的并集 ASR（%）。

Swipe horizontally to read the table

通道	Opus 4.7	Haiku 4.5	GPT-5.5	GPT-5.4 mini	Kimi-K2.6	Flash Lite
Text	14.3	97.6	19.0	83.3	77.8	100.0
Image	11.9	9.5	16.7	31.0	40.0	97.8

• 测了什么：所有已发现载荷在六个模型、文本与图像上重放，任一对任一载荷成功即计攻破，含对图像直接优化的攻击以及跨通道、跨模型迁移。
• 结果：Claude Haiku 4.5 从 97.6% 到 9.5%，GPT-5.4 mini 从 83.3% 到 31.0%，Kimi-K2.6 从 77.8% 到 40.0%。Claude Opus 4.7 与 GPT-5.5 的文本 ASR 本就较低，下降更小（14.3→11.9、19.0→16.7）。Gemini 3.1 Flash Lite 为 100.0%→97.8%。
• 作者解读：渲染对全部六个模型降低 ASR，但效果依赖模型；对部分模型仅渲染不够。DirectInject 上 RL 与 ART 的并集为 GPT-5.4 mini 100.0%→17.8%、Claude Haiku 4.5 98.2%→10.7%（附录 C.2）。人工红队收集 2,894 条策略，其中 386 条至少在一个模型、一个通道上成功。

与先前防御对比及效用压力测试

Table 3 在 DirectInject 上用三个 ART 模板的并集，格子为 ASR / 效用（%）。DataSentinel 为检测后阻断，不报告效用。

Swipe horizontally to read the table

防御	GPT-5.4 mini	GPT-5.4	Kimi-K2.6
No defense	82.1 / 98	87.5 / 99	71.4 / 96
PromptLocate	82.1 / 94	85.7 / 99	71.4 / 96
DataSentinel	64.3 / –	69.6 / –	58.9 / –
DataFilter	32.1 / 88	12.5 / 87	17.9 / 87
Ours	3.6 / 100	3.6 / 100	3.6 / 99

• 作者说明：该对比使用指定模板，而不是对每个防御独立优化的攻击。PromptLocate 的 ASR 接近无防御；DataFilter 的 ASR 为 12.5–32.1%，效用 87–88%。表中第二列模型写作 GPT-5.4，论文未在该表标题中写明是 mini 还是其他规格。
• τ2-Bench 与 SWE-bench（Table 4，任务成功率，文本→图像）：Kimi-K2.6 为 65.0→65.0（SWE-bench）与 87.2→85.9（τ2-Bench）；GPT-5.4 mini 为 66.0→56.0 与 44.5→43.6；Claude Haiku 4.5 为 66.0→57.0 与 50.4→48.3。作者称 τ2-Bench 三个模型都落在文本基线的 0.9–2.1 个百分点以内；SWE-bench 上 Kimi-K2.6 不变，GPT-5.4 mini 与 Claude Haiku 4.5 分别下降 10 与 9 个百分点。作者认为代码编辑要求字符级精确，一次误转写即可使补丁锚点失效。

其他消融与分析

• 音频（Table 5，DirectInject 静态设置）：GPT-Audio Mini 的 ASR 27.3%→1.3%，无攻击效用 100.0±0.0→95.0±22.4，攻击下效用 100.0→91.3；Qwen3.5-Omni-Plus 的 ASR 50.5%†→15.8%，无攻击效用保持 100.0±0.0，攻击下效用 82.1†→93.4。† 表示 Qwen 文本条件有 1 个模板在到达模型前被 API 硬拒绝。
• 指令微调（Table 6，文本 / 图像 ASR，base→instruction-tuned）：Qwen3.5-0.8B 为 9.5→26.2 / 0.0→11.9；Qwen3.5-9B 为 2.4→69.0 / 0.0→4.8；InternVL3.5-1B 为 14.3→90.5 / 0.0→0.0；InternVL3.5-38B 为 50.0→57.1 / 2.4→4.8。作者称每个模型上微调对文本 ASR 的提升大于图像。
• 良性图像指令微调（Figure 4，DirectInject 图像通道 ASR）：Gemma-4-E4B、Qwen-3.5-4B、Qwen3-Omni-30B 在微调后上升，作者称每个模型上升 13 到 19 个百分点；图中标注微调前约为 0.3、8.9，以及 37.0 与增量 +18.6、+13.0、+13.5，微调后一根柱标为 50.5%。作者称数据不含注入，增加的易感性来自教会模型图像也可携带要执行的指令。
• 长工具输出分页（Table 8，294 个模板–对）：GPT-5.4 mini 的 ASR 文本/单图/多图为 2%/0%/0%，效用 48%/28%/49%；Gemini 3.1 Flash Lite 为 12%/1%/1% 与 83%/20%/70%；Claude Haiku 4.5 为 0%/0%/0% 与 90%/14%/99%。作者称分页恢复单图损失的大部分效用，且报告的图像 ASR 不变。
• 视觉风格（附录 B.4）：相对纯渲染，搜索结果框对 Qwen3.6-plus、Grok 4.3、Gemini 3.1 Flash Lite 的降幅为 6–8 个百分点；Kimi-K2.6 从 1.3% 到 0%。作者称这是消融内部比较，不应替换主静态表。
• 服务成本：作者称主流 API 按固定 token 数计图像，通常比所替换文本高一个数量级；附录 D.3 的测量中，整通道渲染的成本至多加倍。作者引用 Wei et al. (2025)，称光学上下文压缩最多可把文本压到 10× 更少的视觉 token。

作者指出的局限与后续方向

• OCR 依赖（Section 6.3）：Pictionary 假设模型能足够忠实地恢复渲染内容。作者称这对所评前沿模型成立，对视觉文字识别弱的模型不成立，渲染会连同注入一起压掉良性内容。标识符、代码或结构化数据上的恢复错误可能表现为自信的错误答案，而不是可见失败。
• 服务成本（Section 6.3）：主流 API 对图像按固定 token 计费，通常比所替换文本高一个数量级。作者称附录 D.3 中该溢价被系统提示词和工具 schema 摊薄，整通道渲染在其测量中至多使成本加倍；同时引用光学上下文压缩，称把内容作为图像有时能降低成本。
• 本来就是图像的不可信内容（Section 6.3）：防御假定不可信内容以文本到达、从而能被移出文本通道。截图、扫描 PDF 或 GUI 智能体视口已处在防御会放置内容的位置。作者称先前工作表明该攻击面存在（Cao et al., 2025; Evtimov et al., 2026），Pictionary 在此不提供保护。威胁模型也写明基于图像的攻击超出范围。
• 差距并非根本（Section 6.2）：作者称若模型被故意或附带地训练去服从图像指令（如全模态或 GUI 智能体训练），差距会明显更小。Pictionary 取决于当前主流训练分布，而不是由模态切换所保证。
• 与现有防御叠加（Section 7）：作者称 Pictionary 补充而非替代现有防御，将其叠在现有防御之上是值得探索的方向。
• 音频定位（Section 6.1）：音频结果被作者报告为概念验证，而不是部署建议。可复现性声明中作者计划公开释放所用全部代码与数据。

实验覆盖范围

• 静态安全：十个 VLM、DirectInject（56 对 × 7 模板）与 AgentDojo v1.2.1（130 对 × 7 模板），指标为 ASR 与攻击下效用（Table 1、附录 A）。
• 自适应与人工：RL 与 ART 针对四个模型，覆盖 DirectInject 以及 AgentDojo 的 banking（45 对）和 workspace（30 对）；人工红队七人、144 小时、四个模型、42 个 banking 对；三方法并集的分母为 45 对（附录 A.3、Table 2）。
• 防御对比：Table 3 在三个受害者上比较 DataFilter、PromptLocate、DataSentinel 与 Pictionary，使用三个指定 ART 模板的并集，而非对各防御单独优化。
• 效用与其他通道：无攻击的 SWE-bench Verified（100 例）和 τ2-Bench（164 任务）覆盖三个模型（Table 4）；音频为两个音频原生模型（Table 5）；指令微调对照为四个开源基座及其微调版（Table 6）；良性图像指令微调为三个开源模型（Figure 4）。
• 论文写明未作为主设置的项：默认提示下 Claude Haiku 4.5 的报告试验 ASR 为零，主实验改用 autonomy 提示词（附录 A.2）。宽松 ASR、分页、代码渲染、OCR 与成本分别在附录 C.1、B.2、B.3、D.2、D.3。Table 1 未报告重复次数。Figure 2 的冲突判定模型为 GPT-5.4 mini。

Pictionary 是一种训练无关的提示注入防御：不可信文档或工具输出先渲染成印刷体图像（或语音），系统提示词和用户请求仍以文本进入模型。

• 问题：作者认为多模态模型的指令服从主要来自文本指令微调，因此同一指令走文本比走图像更可能被执行。Figure 2 在六个 VLM 的冲突设置中，文本被服从的可能性为图像的 2×（Claude Haiku 4.5）到 300×（Kimi-K2.6），而单通道时两种模态都接近上限。
• 做法：不改写内容。直接注入渲染用户文档，间接注入渲染每一次工具输出。攻击者控制单一不可信文本通道，无白盒访问，可任意黑盒查询；图像攻击不在范围内。
• 静态结果（Table 1）：图像 ASR 不高于文本。DirectInject 上 GPT-5.4 mini 为 75.0%→0.0%，Grok 4.3 为 100.0%→64.3%；AgentDojo 上 Gemini 3.1 Flash Lite 为 90.0%→49.2%。攻击下 DirectInject 效用最多降 1.3 个百分点，AgentDojo 效用变化为 −14.4 到 +9.7 个百分点。
• 更强攻击（Table 2）：banking 上三种攻击的并集，Claude Haiku 4.5 为 97.6%→9.5%，GPT-5.4 mini 为 83.3%→31.0%，Gemini 3.1 Flash Lite 为 100.0%→97.8%。DirectInject 上 RL 与 ART 并集，GPT-5.4 mini 为 100.0%→17.8%，Claude Haiku 4.5 为 98.2%→10.7%。
• 效用与机制：τ2-Bench 上三个模型的任务成功率距文本基线 0.9–2.1 个百分点；SWE-bench 上 Kimi-K2.6 保持 65.0%，GPT-5.4 mini 与 Claude Haiku 4.5 分别下降 10 与 9 个百分点（Table 4）。音频同样降低 ASR（Table 5）。指令微调主要抬高文本 ASR（Table 6）；在良性图像指令上微调后，图像通道 ASR 上升 13 到 19 个百分点（Figure 4）。
• 作者结论：保护来自当前以文本为中心的指令微调，而不是模态切换本身所保证。作者认为该防御补充现有方法，并指出它依赖 OCR、增加图像计费，且不覆盖本来就是图像的不可信内容。