Masked Mirror: Covert Prompt Injection Attacks Against LLM-Based Phishing Detection

LLM 钓鱼检测直接摄入攻击者控制的网页，提示注入可改判定或打断流水线，而这一风险尚未被系统评估。

• 场景：作者称钓鱼仍是常见网络犯罪，且更频繁、更复杂。基于 URL、HTML 或视觉相似的传统检测依赖预定义特征与固定参考集，面对未见攻击、多语言和依赖上下文的社会工程往往吃力。近期系统用 LLM 联合分析 URL、HTML 与截图，以推断页面意图和被仿冒品牌。
• 现有不足：作者称提示注入在多种 LLM 应用中已有研究，但对 LLM 钓鱼检测关注较少。先前工作把它标为潜在问题，威胁模型与缓解策略尚未被系统刻画；既有防御类别在该场景中是否有效仍不清楚。
• 核心观察：作者定义感知不对称（perceptual asymmetry）：藏在网页中的指令对人可不显眼，却可被检测用 LLM 读取。后果不限于误判为良性，也包括拒答和损坏输出。问题因此不只是分类准确率，而是证据由对手控制时流水线是否仍能完成。
• 威胁模型：
  • 目标：规避检测，并干扰检测过程；效果包括良性误判、行为扰乱和资源消耗。
  • 能力：对手控制钓鱼站点，可改 URL、HTML 与嵌入资源；修改须保持钓鱼功能，且对用户不显眼。作者称此类攻击部署便宜、载荷常为短文本、可跨站点复用。
  • 受害系统：用 HTML 源码、截图和 URL 做网站分类的自动化 LLM 系统。作者将此归为间接提示注入。论文未使用白盒或黑盒等知识分级用语。
  • 两轴：攻击技术描述所求效果，攻击面描述指令嵌在网页何处。
• 本文提出：摘要称这是对多模态 LLM 钓鱼检测提示注入的首次全面评估；引言与结论称首次系统评估。评估覆盖受控实验、既有系统组件和真实钓鱼站点。缓解框架为 InjectDefuser，组合提示词加固、允许名单锚定检索和输出校验。

传统检测与视觉深度模型

• 启发式与经典机器学习：引言称传统检测主要依赖 URL 结构、HTML 特征或视觉相似。第 2.1 节称这些方法在已知模式上有效，但依赖预定义特征与固定参考集，面对未见攻击、多语言和依赖上下文的社会工程往往吃力。
• 视觉与品牌意图：VisualPhishNet（2020）学习页面视觉表示；Phishpedia（2021）结合标志检测与品牌匹配；PhishIntention（2022）同时建模品牌意图与凭据收集意图；DynaPhish（2023）用动态分析提高稳健性。作者称其中许多系统仍依赖已知品牌、标志或模板参考集，对零日攻击效果较差。
• LLM 与智能体检测：KnowPhish（2024）构建多模态知识库以大规模理解品牌；ChatPhishDetector（2024）做多语言多模态检测；PhishLLM（2024）强调上下文线索和凭据收集意图，不使用固定品牌或域名参考。作者把 PhishAgent（2025）等智能体式系统归入同一方向，并称语义覆盖变广的同时，不可信网页被直接送入 LLM。

提示注入及其防御

• 直接与间接：作者转述既有工作区分经用户界面的直接提示注入（含越狱与泄露）和嵌在外部内容中、随后被模型消费的间接提示注入。后者与检索系统及面向网页的 LLM 流水线尤其相关。
• 网页与评审器：论文转述 Kaya 等（2025）报告真实网页聊天机器人插件中的漏洞，并转述 Liu 等（2024）的系统评估认为许多已提出的防御仍然不足。JudgeDeceiver（2024）被列为针对 LLM 评审器的攻击。作者称本文关注钓鱼检测中的间接提示注入，因为攻击者控制被分析的网站。
• 防御类别：提示级方法强调指令层级与信任边界（文中点名 StruQ，2025）；输入侧检测或清洗恶意内容；输出侧用模式检查、工具限制或人工监督约束动作；模型级则用微调、对齐或专门提示做加固。作者称这些想法大体有用，但在钓鱼检测中是否有效仍不清楚。

基线与数据

• 基线方法：Standard 是询问是否为钓鱼并要求 JSON 的最小提示；Advanced 是基于 ChatPhishDetector 的更强提示，含域名、视觉与 HTML 检查。无注入的基础 HTML 用于健全性检查。
• 数据集：HTML 受控注入集、仅 URL 注入集、凭据收集页预测与品牌抽取子任务、urlscan.io 上的真实钓鱼站点，以及 Tranco 排名尾部的良性网站。

作者称 PhishLLM、KnowPhish、ChatPhishDetector 与 PhishAgent 所代表的先前钓鱼检测工作没有系统研究这一风险。本文用攻击技术与攻击面的分类法回应这一空缺，并给出面向不可信网页的加固策略。

作者把钓鱼向提示注入分成攻击技术与攻击面，并在代表性多模态检测器之外加一层模块化防御 InjectDefuser。原则是网页内容始终不可信：写明信任边界，有外部证据时锚定高影响判断，并拒绝违反预期模式的输出。作者称这不能消除模型对提示注入的易感性，只降低攻击者内容改写任务指令、覆盖判定标准或扰乱下游处理的机会。防御不假定特定检测器结构，可套在摄入 URL、HTML、截图之任意子集的系统上。

攻击技术

• 主技术：按对流水线的效果分类。T-1 合法借口（Legitimate Pretexting）把站点说成教育、研究、培训或开发内容，以诱导非钓鱼判定。T-2 角色劫持（Role Hijacking）给模型换角色、人格或评判标准。T-3 安全策略触发（Safety Policy Triggering）试图激活模型拒答或外围审核过滤。T-4 工具/函数劫持（Tool/Function Hijacking）改预期输出格式、字段名、语言或数据类型，使下游解析失败。T-5 内容灌入/分心（Content Flooding/Distraction）用递归任务或大量生成消耗 token 或计算，目标是延迟、耗尽或超出 token 预算，而不一定是误分类。
• 辅助技术：不单独作为最终目标。AT-1 隐蔽编码用近背景色、极小字体或不显眼呈现，使人少注意到、模型仍能读到。AT-2 解析边界混淆插入伪造分隔符或闭合标记，使模型把不可信文本当成更高优先级的新指令上下文。
• 消息集：附录 Table 7 列出实验用的 25 条消息：合法借口 5、角色劫持 8、安全策略触发 4、工具/函数劫持 5、内容灌入 3。此处不复述原文。

攻击面

• 六类表面：附录 Figure 6 将攻击面对到 HTML、CSS、JavaScript、Resources 与 URL。(1) HTML Metadata，如 title 与 meta，常被当作页面摘要；(2) Script and Comment，浏览器不渲染，但分析原始 HTML 时可能被读入；(3) HTML Visible Content，用小字、近背景色或页脚等低显著性区域；(4) HTML Invisible Content，如 hidden、display:none、opacity:0 或视口外元素；(5) Embedded Resources，把指令放进 img、svg、canvas 等媒体；(6) URL Structure，嵌进子域、路径、查询或片段。作者称 URL 字符与结构约束更强，但检测系统常把 URL 当作强合法性信号。
• 受控插入位置：Table 1 的 8 处对应前五类表面：meta description、title、body 末尾 HTML 注释、head 起始处脚本注释、页顶伪装文本、body 末尾不可见 div、页顶透明 SVG、页脚极小 canvas 文本。URL 另做实验。附录 A.2 给出若干实现示例，此处不展开可照做的写法。

InjectDefuser

• 提示词加固：用明确区域包住外部网页，并指示把区域内一切视为不可信数据而非可执行指令；边界用不可预测标识符，而不是固定标记，以增加伪造分隔符的难度。除完整 URL 外，还给出 scheme、subdomain、registrable domain、path、query 等解析结果。系统提示明确要求忽略出现在 HTML、截图或 URL 中的指令，包括换角色、改输出格式，以及把页面说成演示、教育或研究等借口；这些内容只作为页面证据。附录 A.3 给出完整提示词。
• 允许名单锚定检索：可选。先从 title 和选定 meta 抽取可能的品牌线索，再从允许名单式知识库取出该品牌的合法域名候选，追加为参考上下文，供模型与观察到的域名比较。作者将其定位为锚定而非独立贡献或强制依赖，价值取决于品牌–域名库的覆盖与新鲜度，维护有运营成本。
• 输出校验：对照预定模式检查 JSON 结构、必填字段、类型与取值约束，以及意外字段。轻微格式错误可自动修复；严重模式违反被视为可能的输出操纵。作者称这对不改钓鱼判断、只想用坏格式停掉流水线的攻击尤其重要。论文未写校验失败后的重试或改标规则。

成功判定

检测输出解析为 y，取 true、false 或 null，null 表示缺失或非法值。全部受控与真实注入样本的正确标签都是 is_phishing=true。只要 y 不是 true 即计为攻击成功，拒答和损坏输出也算，因为自动化流水线仍被打断。对 N 个样本，ASR=1/N∑_i=1^N1[y_i≠true]。论文未使用单独的 LLM 评审。

实验设置

• 模型：OpenAI GPT-5（版本 2025-08-07，闭源，Azure OpenAI）、xAI Grok 4 Fast（Non-Reasoning，闭源，Azure AI Foundry）、Meta Llama 4 Maverick（开源权重，Azure Databricks）、Google Gemma 3 27B（开源权重，Google Cloud）。参数与内容过滤均为默认值。论文未报告 temperature 等采样设置。
• 三种模式：Standard 为最小提示，JSON 含 is_phishing 与 rationale；Advanced 基于 ChatPhishDetector，含域名、视觉与 HTML 检查；InjectDefuser 为第 4 节防御。
• HTML 受控集：Q2 2025 被针对最多的 10 个品牌（Adobe、Amazon、Apple、Booking、Facebook、Google、LinkedIn、Microsoft、Spotify、WhatsApp）的登录模板。25 条消息 × 8 个插入位置 × 10 品牌 = 2000 个 HTML。输入为 HTML、Chromium/Playwright 的 1280×1280 截图，以及每样本唯一的 8–12 个随机字母加 .com。作者称知名品牌和无意义域名都使样本更易被判为钓鱼，成功攻击是偏保守的证据。
• 指标：正确标签为 is_phishing=true；y 不为 true 即攻击成功。论文未使用 LLM 评审，也未报告主 ASR 的逐样本重复次数。
• 其他集合：仅 URL 注入 200 条；既有子任务 40 条；urlscan.io 当日真实钓鱼站 25 个，注入后每模式–模型 225 页；Tranco 1M 底部 10 万中抽到 250 个可访问普通合法站，排除无法访问及赌博等法律敏感类别。
• 健全性：无注入基础 HTML 上，每种模式–模型对 10 个品牌各 5 次，全部为 is_phishing=true。

主结果

HTML 受控集 ASR（Table 2，每个模式–模型 N=2000）：

Swipe horizontally to read the table

模型	Standard	Advanced	InjectDefuser
OpenAI GPT-5	39.9%	10.1%	0.3%
Grok 4 Fast	65.1%	76.2%	26.1%
Llama 4 Maverick	84.7%	75.6%	61.7%
Gemma 3 27B	64.7%	55.4%	36.7%

• 作者称四种模型在至少一种基线下都易受攻击，InjectDefuser 对每个模型都给出最低 ASR，降幅因模型而异。GPT-5 的失败样本为 5/2000。
• 作者称 Advanced 并不稳定：它改善 GPT-5，对 Llama 4 与 Gemma 3 增益有限，对 Grok 4 Fast 则为负。作者称详细提示本身并不是可靠的防御，还可能给部分模型增加混乱。
• 作者称抗注入并不只由模型规模或基准表现决定，还取决于对抗输入下能否维持指令层级。作者称 Llama 4 在防御后仍大幅易受攻击。

URL 注入与既有组件

• 仅 URL：基础 HTML 不变，5 类消息 × 4 个成分（子域、路径、查询、片段）= 200。Table 3 中 Standard、Advanced、InjectDefuser 依次为：GPT-5 20.0%、1.0%、0.0%；Grok 4 Fast 33.5%、2.0%、8.0%；Llama 4 22.0%、16.0%、7.0%；Gemma 3 均为 0.0%。作者称仅 URL 弱于 HTML 注入，但仍可造成误判或拒答式失败。作者称 InjectDefuser 对所有模型都消除或大幅降低该 ASR；Table 3 中 Grok 4 Fast 的防御结果高于其 Advanced、低于其 Standard。
• 既有组件：沿 PhishLLM、KnowPhish、PhishAgent 的截图流水线，测凭据收集页（CRP）预测和品牌抽取。10 个品牌 × 4 类近背景可见文本（两类良性借口、角色劫持、跨语言指令）= 40。作者称目的不是大规模统计估计。
• Table 4：CRP 预测 ASR 为 GPT-5 20.0%、Grok 4 Fast 7.5%、Llama 4 25.0%、Gemma 3 2.5%；品牌抽取为 12.5%、5.0%、2.5%、2.5%。作者称更窄的二分类或抽取并不因此更稳健；错误的 CRP 判断、损坏输出或错误品牌身份仍可传到下游。

真实钓鱼站点

• 设置：urlscan.io 当日、标为恶意、仿冒知名品牌的 25 个站点，品牌见 Table 8。无注入时，三种模式和四个 LLM 都把 25 页判为钓鱼。再以 3 种技术 × 3 个攻击面注入，每模式–模型 225 页。
• Table 5（Standard、Advanced、InjectDefuser）：GPT-5 为 52.0%、20.9%、8.9%；Grok 4 Fast 为 70.2%、43.6%、25.8%；Llama 4 为 77.8%、62.2%、48.0%；Gemma 3 为 67.1%、45.3%、20.4%。
• 作者解读：每个模型都是 Standard 最高、Advanced 只部分降低、InjectDefuser 最低。作者称这不是模板构造造成的；剩余 ASR 尤其见于较弱的开源权重模型，真实条件下防御并未消除提示注入。

良性误报与开销

• FPR：正确标签为 is_phishing=false，250 个长尾合法站（Table 6，顺序同为三种模式）。GPT-5 为 1.6%、0.8%、1.2%；Grok 4 Fast 为 5.2%、7.2%、4.4%；Llama 4 为 2.0%、1.2%、3.6%；Gemma 3 为 6.5%、7.6%、25.2%。
• 作者解读：作者称较强模型上，防御并非靠把更多站标成可疑来换稳健；GPT-5 接近基线，Grok 4 Fast 低于两种基线。Llama 4 小幅上升，Gemma 3 更保守。作者称实用代价取决于基座模型能否区分恶意指令式内容与长尾站上的良性不规则，防御的实用性主要针对较强模型。结论称保持了良性站上的低误报；Table 6 中 Gemma 3 27B 的防御 FPR 高于其两种基线。
• 开销：只测 GPT-5。端到端平均 14.65 秒，其中不含 LLM 推理的防御处理 3.08 秒；相对 Standard 至少多 573 个输入 token，作者给出约 0.00072 美元，允许名单检索时再增加数十个 token。作者称相对多模态推理的整体成本，开销不大。

其他消融与分析

• 品牌（控制模型与模式）：B=10，每品牌 Nb=200，Ncond=2000；成功率范围 R 通常 11–17 个百分点，最大 22 个百分点；卡方的 Cramér's V 约 0.10–0.15。作者称即使统计上显著，效应量仍小。
• Legitimate Pretexting、Standard：GPT-5 58.3%，Grok 4 Fast 97.3%（正文，配合 Figure 4）。作者称该技术跨模型最强，部分模型在 Advanced 下仍然很有效；正文未给出其余技术×模式的完整数字。
• 作者称不可见、文本主导的攻击面 ASR 通常高于视觉渲染面；可见内容与嵌入资源是否成功，强烈依赖视觉理解能力（正文，Figure 5；未列出各面全部分数）。
• 作者称 GPT-5 加 InjectDefuser 时各攻击面均低于 1%，多数技术接近零。
• 定性上，成功攻击分成判定操纵与流水线扰乱。作者称有的理由仍提到钓鱼迹象，结构化输出却已损坏。附录 A.5 给出 GPT-5 在 Standard 下的响应示例。

作者指出的局限与后续方向

• 流行程度而非已在使用（§6.1）：结果说明攻击者控制网页时，提示注入可以操纵或扰乱流水线，但不应读成此类攻击已在野外常见。作者检索真实钓鱼站点（含 URLScan）后，未发现明确针对 LLM 系统的自然发生实例。作者称贡献是说明攻击可行，而不是声称攻击者已在实践中使用。
• 评估范围（§6.1）：受控基准把技术与攻击面隔开，以便可复现测量。作者称未来攻击可能是更复杂的组合策略；评估刻意从简化设定开始，并先验证最简单的单次提示注入也能成功。因此不覆盖更自适应或多阶段攻击，应理解为研究更广真实策略的第一步。
• 防御不保证免疫（§6.1）：InjectDefuser 是纵深防御。实验中有可测量的缓解，但不消除模型对恶意指令的底层脆弱性，效果仍取决于基座模型。允许名单检索还受参考知识库的覆盖与新鲜度限制。
• 后续方向（§6.1）：作者称未来工作包括改进框架与基座模型，例如更好的指令微调与对抗训练，以使系统对恶意或误导性指令更稳健。
• 隐蔽性与人因（§6.1）：感知不对称的动机是 LLM 能否摄入普通用户不太会注意到的指令，但没有用用户研究直接测量人类可检测性。评估因此更直接刻画的是对 LLM 的脆弱性，而不是人类感知到的隐蔽性。

实验覆盖范围

• 被测模型为 OpenAI GPT-5（2025-08-07）、xAI Grok 4 Fast（Non-Reasoning）、Meta Llama 4 Maverick、Google Gemma 3 27B，参数与内容过滤为默认值（§5.1）。
• HTML 受控集为 10 个品牌模板、25 条预写消息、8 个插入位置，共 2000 个 HTML；输入为 HTML、1280×1280 截图和随机字母域名（§5.1、Table 1、Table 7）。另有仅 URL 的 200 条、截图子任务 40 条、真实站点 25 个及注入后 225 页、Tranco 尾部良性站 250 个（§5.1–5.3）。
• 成功由解析 JSON 的 is_phishing 是否为 true 判定；无注入健全性检查为每种模式–模型在 10 个品牌上各 5 次（§5.1）。论文未报告主 ASR 的逐样本重复次数，也未报告误判、拒答与格式损坏在成功案例中的比例。
• 开销只在 GPT-5 上测量（§5.3）。论文未报告提示词加固、允许名单检索与输出校验分开时的 ASR，也未报告与文中列举的既有提示注入防御（如 StruQ）的对照。
• 真实站点实验在注入前确认四种模型和三种模式都能把 25 页判为钓鱼；注入使用 3 种技术 × 3 个攻击面的预写单次消息（§5.2）。

作者评估多模态 LLM 钓鱼检测上的间接提示注入，并提出防御框架 InjectDefuser。摘要称这是首次全面评估，引言与结论称首次系统研究。

• 问题：检测器读取攻击者控制的 URL、HTML 和截图。作者称人可不显眼的指令仍能被模型执行，造成良性误判、拒答或输出损坏。修改须保持钓鱼功能且对用户不显眼。
• 做法：五种主技术是合法借口、角色劫持、安全策略触发、工具/函数劫持和内容灌入，另有隐蔽编码与解析边界混淆。六类攻击面覆盖元数据、脚本与注释、不可见 DOM、可见低显著性文本、嵌入资源和 URL。InjectDefuser 用不可预测分隔符划定不可信内容，给出解析后的 URL 成分，可选地检索允许名单中的品牌域名，并按预定 JSON 模式校验输出。
• HTML 主实验：2000 页、四种模型（Table 2）。Standard 的 ASR 为 GPT-5 39.9%、Grok 4 Fast 65.1%、Llama 4 Maverick 84.7%、Gemma 3 27B 64.7%。InjectDefuser 均为各模型最低：GPT-5 为 0.3%（5/2000），Llama 4 Maverick 仍为 61.7%。Advanced 对 Grok 4 Fast 为 76.2%，高于其 Standard。
• 其他设置：真实钓鱼站每模式–模型 225 页上，GPT-5 从 Standard 的 52.0% 到 InjectDefuser 的 8.9%，Llama 4 的防御结果为 48.0%（Table 5）。仅 URL 的 200 条中，Gemma 3 三种模式均为 0.0%；Grok 4 Fast 的 InjectDefuser 为 8.0%，高于其 Advanced 的 2.0%（Table 3）。CRP 预测在 40 条上最高为 Llama 4 的 25.0%（Table 4）。
• 代价：250 个长尾合法站上，Gemma 3 27B 的 InjectDefuser FPR 为 25.2%，高于其 Standard 的 6.5% 与 Advanced 的 7.6%（Table 6）。GPT-5 端到端平均 14.65 秒，防御侧 3.08 秒。
• 作者结论：提示注入是 LLM 钓鱼检测的实际威胁，应同时看检测准确率和面对不可信网页指令时的稳健性。InjectDefuser 能降低 ASR，但不消除模型对恶意指令的易感性，效果取决于基座模型。结论中的低误报概括，与 Table 6 里 Gemma 3 27B 的结果不同。