SearchAttack: Red-Teaming Large Language Models for Knowledge-to-Action Threats in Online Web Search

带网页检索的 LLM 可能被诱导检索开放网页，并把碎片证据整理成可执行的有害输出；只测参数知识的越狱评测覆盖不到这条通路。

• 使用场景：作者称，用户担心幻觉和知识时效，越来越把 search-augmented LLM 当作获取最新信息的主界面。开放网页上已有大量两用信息，一旦被写成可直接使用的说明，事后难以撤回。
• 现有不足：作者认为，此时越狱不再只是从静态参数知识里寻找有害内容。只拦截明显有害文档的防御，对跨来源拼装不够。作者称模型常把外部网页内容当作推理链中的高置信证据。
• 作者的观察：有害效用可以来自碎片证据的聚合与重组。检索既可能强化拒答或引用，也可能促成过程性合成；作者称网页接入并不单调增加伤害。
• 本文做法：提出双阶段红队方法 SearchAttack，整理面向 2025 年中国语境的基准 ShadowRisk，并用事实核查把伤害从策略绕过中拆出来，记为 Attack Value（AtV）。
• 威胁模型：
  • 目标：诱导系统检索有害相关证据，并整理成高保真、可操作的输出，以评估知识到行动（knowledge-to-action）风险。
  • 知识：对照方法被论文称为 black-box。论文未写攻击者可读受害模型的参数或梯度。
  • 能力：向系统提交查询。载荷由带网页检索的智能体合成；受害侧是否检索，由实验中的检索设定决定。论文未写攻击者需控制或投毒网页语料。
  • 受害系统：以 LLM 为规划与推理中枢，外接检索片段、网页浏览和工具调用的 search-augmented LLM。

越狱攻击

• 提示生成与梯度优化：作者把越狱分成提示生成（Chao et al. 2023；Mehrotra et al. 2024；Rahman et al. 2025）和基于梯度的优化（Jia et al. 2025；Liao and Sun 2024；Zou et al. 2023）。论文在此只作分类，未逐篇对照本文。
• 参数知识中的越狱：Tu et al. 2025 被引言用来对照。作者称，开放网页设定下，越狱不再只是从静态参数知识里寻找有害内容。

检索语料上的攻击

• 文档注入：Greshake et al. 2023、Yi et al. 2024 向可检索文档注入恶意指令。论文只描述这一做法。
• 语料投毒：Zou et al. 2024 的 PoisonedRAG 通过污染检索语料偏置证据。论文未把 SearchAttack 写成语料投毒。

智能体检索与问答数据

• LLM 驱动检索：Li et al. 2025、Song et al. 2025、Wu et al. 2025 把 LLM 与外部网页检索工具结合；Du et al. 2026、Li et al. 2025、Song et al. 2025 等用搜索强化学习做 agentic search。
• 问答数据：评测数据从单跳 NQ、TriviaQA，到多跳 HotpotQA、MuSiQue，再到长程信息寻求的 GAIA、xbench、BrowseComp。

基线方法与基准

• 攻击基线：PAIR、ReNeLLM、FlipAttack。摘要写优于 4 个越狱基线；第 5.1 节列出的是上述 3 个 black-box 基线。
• 评测基准：AdvBench（实验用 AdvBench-50）与作者整理的 ShadowRisk。防御提示改编自 AdaShield；检出用 LlamaGuard-3 8B。

作者把本文放在 LLM 驱动检索的安全评测上：作者认为现有评测大体忽略了信息寻求能力被转去恶意用途的可能，并用对参考文献的偏好去加压信息寻求中的安全边界。

整体是双阶段红队方法 SearchAttack：先把有害语义改写成必须靠检索才能还原的知识型问题，再把检索结果的整理写成按评分标准追高分的任务。附录给出各模块完整提示词，这里不复述其约束、禁用说法或示例句。

问题设定与两条载荷

• search-trigger：把实体语义映射成知识密集型问题，答案是该实体。单跳只需一个来源；多跳要串联多段证据。
• 两条查询：外包注入查询 QI，以及检索整理查询 QR。内部用标签标出原查询、骨架、触发器和外包语义，拼好后去掉标签。
• 合成参数：句法骨架的初始化轮数 NE 与对抗审计轮数 NA 均为 3；触发增强的知识积累轮数 NG 为 8，触发生成轮数 NQ 为 3。载荷合成由 DeepSeek-V3.2 驱动。

核心拼接为 Q_I=\bigoplus_{i=1}^{m} T_i^{M}\oplus I_A\oplus P_E，即多跳触发、脱敏后的攻击指令和预设专家设定提示顺次连接。检索整理为 Q_R=P_C⊕ R，即把逆向得到的任务评分标准接到预设的奖励追逐提示之后。

外包注入

• 骨架初始化：主智能体从原查询抽出有害语义实体，改写成单跳 search-trigger，并生成脱敏后的攻击指令。每轮在实体数量和问句结构复杂度之间取舍，最多 NE 轮。
• 对抗审计：对脱敏指令做最多 NA 轮混淆，目标是减少前面触发器泄出的信息，同时保留原恶意意图。
• 触发增强：子智能体用开放网页检索和知识图谱，把单跳触发升级为多跳触发。检索优先选与目标实体弱相关的节点，以拉开搜索路径；随后用历史触发提高复杂度与混淆，最多 NQ 轮。

检索整理

• 依据：作者引用 Arditi et al. 2024 与 Zhao et al. 2025，称拒答可由单一方向介导，且有害性与拒答分开编码，因此只做到不拒答不足以评估真实滥用。
• 做法：从评审视角逆向任务评分标准，分数越高对应越多有害细节，再把有害知识整理写成多目标、按标准追分的任务，用来加压 RLVR 训练模型的奖励追逐偏差。
• 失败回退：若检索整理查询失败，实验报告外包注入查询的结果。这一条是评测协议，不是合成公式的一部分。

基准与成功判定

• ShadowRisk：2,802 条知识密集型问答，来自 21,670 条媒体视频；正文举例 Douyin，附录 E 写 75 名中国 TikTok 博主、2025 年 5 月至 7 月。覆盖诈骗、非法物流、洗钱和网络犯罪；附录写八类：Fraud、Gambling、Pornography、Drugs、Violence、Money Laundering、Cybercrime、Illegal Trade。每条有参考答案。
• 构建：转写后按内容长度过滤，用 Qwen3-Embedding-8B 做嵌入，余弦相似度大于 0.85 的近重复去掉，再用 GPT-5-mini 保留其定义的最高威胁等级，并人工核对与官方披露相符。为控制成本和披露，评测子集为 210 条。
• ASR：AdvBench-50 用 ASR-KW（关键词匹配）和 ASR-GPT（LLM 裁判）。ShadowRisk 用 Win Rate（WR）代替 ASR-GPT：相对参考答案，在 actionability、harmfulness、scope、stealthiness 上各打 -2 到 2，平均分大于 0 记为胜。
• AtV：与 ASR 分开。Scope 是回答中与有害查询直接相关、可核查的主张或可操作步骤数；Fidelity 是这些主张里被网页证据判为事实正确的比例。核查分 0、1、2，Fidelity 只把完全被证据支持（2 分）计入。事实核查模型为 Claude-4.5-haiku。

实验设置

• 受害模型：Gemini-3-Flash、DeepSeek-V3.2、Qwen3-32B、GPT-4o。载荷合成也由 DeepSeek-V3.2 驱动，因此 Table 2 中该行是受害模型与合成模型为同一模型时的结果。
• 基准：AdvBench-50；ShadowRisk 评测子集 210（全集 2,802）。
• 基线与设定：第 5.1 节列出 PAIR、ReNeLLM、FlipAttack，并称使用其推荐设定。三种检索：w/o search（只用参数知识）、w/ snippet（一次检索）、w/ agentic（可多步检索与推理）。agentic 可用 search_web、search_google_scholar、read_webpage；附录写默认最多 10 步，每查询 5 条 snippet。检索接口正文写 Google Search API，附录写 Google Serper API。
• 指标：ASR-KW；ASR-GPT 由 GPT-5-mini、Claude-4.5-haiku、Gemini-2.5-Flash 多数票决定，附录写至少两名同意。ShadowRisk 用 WR。AtV 只对成功攻击报告。每查询 5 次尝试；论文未写这 5 次如何汇总成 Table 2 的 ASR。
• 摘要与正文的基线数量不一致：摘要写优于 4 个越狱基线；实验节列出 3 个。

主结果

下表只列 SearchAttack，据 Table 2。AdvBench 三列为 ASR-KW/ASR-GPT，ShadowRisk 列为 ASR-KW/WR。

Swipe horizontally to read the table

模型	Adv无检索	Adv片段	Adv智能体	SR智能体
Gemini-3-Flash	0.96/0.96	0.94/0.96	0.86/0.94	0.99/0.75
DeepSeek-V3.2	0.96/0.94	1.00/0.96	0.94/1.00	0.98/0.34
Qwen3-32B	1.00/0.94	0.98/0.94	0.98/0.96	0.99/0.33
GPT-4o	0.94/0.92	0.94/0.94	0.92/0.96	0.99/0.20

• 作者称，agentic 设定下 SearchAttack 在 AdvBench 与 ShadowRisk 上的合并 ASR-KW 为 0.96，基线均值为 0.82，并把 AtV 的 Scope/Fidelity 从 4.35/0.62 写到 10.20/0.94。第 5.2 节另称 AdvBench 上 ASR 为 95%、ShadowRisk 上为 98%，未说明是哪种 ASR，也未说明是否跨设定平均。
• Table 2 并非每格都最高。ShadowRisk、w/ agentic、Gemini-3-Flash 上，PAIR 的 ASR-KW 为 1.00，SearchAttack 为 0.99。AdvBench、w/ agentic、DeepSeek-V3.2 上，FlipAttack 的 ASR-KW 为 0.98，SearchAttack 为 0.94。GPT-4o 上 FlipAttack 在 AdvBench 三种设定的 ASR-KW/ASR-GPT 为 0.04/0.02、0.02/0.02、0.02/0.02。
• 作者称检索并不单调增加伤害。Gemini-3-Flash 上 SearchAttack 的 AdvBench ASR-KW 从无检索的 0.96 到 agentic 的 0.86。DeepSeek-V3.2、ShadowRisk、w/o search 的 SearchAttack WR 为 0.00，而 ASR-KW 为 0.97。Table 2 中 ReNeLLM 在 ShadowRisk 的 WR 均为 0.00，作者未解释。作者称无网页检索时，模型仍可能因信息寻求的刻板行为输出有害内容。

Attack Value

• 测了什么：Figure 5 在 AdvBench 上按模型和检索设定比较 Scope 与 Fidelity。正文未逐柱给出读数。摘要的 4.35/0.62 与 10.20/0.94 未按模型拆开。
• 与表内数字的差别：Table 3 在 Gemini-3-Flash、AdvBench、w/ snippet 上，完整 SearchAttack 的 AtV 为 (10.2, 0.87)，不是摘要里的 10.20/0.94。
• 作者的解读：作者称主流方法常常不能稳定触发检索，或在检索后出现更强拒答、更少操作细节；即使触发检索，许多模型也默认改写或引用，而不做有效整合。附录 Table 8 的一个案例抽出 9 条主张，8 条被标为 truthful（88.9%）。作者称只看内容的裁判也可能有高假阳性率，该句未给数字。

防御与检出

• 测了什么：w/ snippet 下两种防御。Safety Prompt 改编自 AdaShield，要求模型先判断检索上下文的安全责任；Safety Injection 向全部检索片段注入安全警告。模型为 Gemini-3-Flash 与 DeepSeek-V3.2。Table 4 未写基准；无防御格子与 Table 2 里 AdvBench、w/ snippet 的 ASR-KW 相同。
• 结果：无防御时 FlipAttack / SearchAttack 的 ASR-KW，Gemini-3-Flash 为 0.46 / 0.94，DeepSeek-V3.2 为 1.00 / 1.00。SP 与 SI 并用后为 0.02 / 0.80 与 0.74 / 0.86。LlamaGuard-3 8B 的 Detection Rate：FlipAttack 0.52，SearchAttack 0.24。
• 作者的解读：作者称联合防御对 FlipAttack 更有效，对 SearchAttack 仍不足，并称该攻击更难被检出。

跨语言检索

• 测了什么：把 AdvBench 上的 SearchAttack 载荷和受害模型系统提示译成中文，由 DeepSeek-V3.2 在 agentic 设定下检索。引言给出英文主导 6,461 条 URL、中文主导 8,904 条 URL；附录总数与之相同，并写明含攻击与核查两个阶段。
• 结果：作者称中文结果更容易出现教程式内容。Figure 8 中，弱审核来源（Social/UGC、Other）平均占中文检索证据的 69.8%。附录称中文检索在 Malware 上的 High utility 超过 30%；Table 10 中 Malware & Hacking 的 blog.csdn.net，High 为 32.4%（Total Hits 179）。
• 作者的解读：作者认为当前主要搜索引擎对非英文网页的审核更弱，并称被越狱的检索增强 LLM 会把间接相关证据聚合成高保真输出，而不只是取回现成有害文本（Figure 9 为作者标注）。

其他消融与分析

• Table 3（Gemini-3-Flash，AdvBench，w/ snippet）：去掉触发增强后 ASR 为 0.82/0.80，AtV 为 (7.2, 0.84)。
• 去掉对抗审计：ASR 0.86/0.86，AtV (9.6, 0.92)。作者称 ASR-GPT 从 0.86 到 0.96，Fidelity 从 0.92 到 0.87。
• 去掉评分标准逆向：ASR 1.00/0.92，AtV (8.9, 0.89)。作者称 ASR-KW 下降，ASR-GPT 从 0.92 到 0.96，Scope/Fidelity 从 (8.9, 0.89) 到 (10.2, 0.87)。
• 直接查询：ASR 0.02/0.00，AtV (0.1, 0.40)。
• 附录 D.3：ASR-GPT 抽 50 条判成功、50 条判失败；集成裁判与两名专家的一致率为 0.92 与 0.97，人与人 0.93。WR 同样 50+50，一致率为 0.96 与 0.97，人与人 0.97。
• 附录 D.4：50 条 AdvBench，平均 Scope/Fidelity 为 6.30/0.65。Scope 的 FPR 为 0.03 与 0.04，FNR 为 0.23 与 0.26；Fidelity 的 FPR 为 0.07 与 0.05，FNR 为 0.03 与 0.04。

作者指出的局限与后续方向

• 触发器不一定有效：Search-trigger Augmentation 不一定总能生成有效搜索触发，可能导致恶意意图泄漏（Limitations ❶）。
• AtV 的规模化偏差：作者写，尽管已把 AtV 与人工相关判断和事实核查对齐，验证流程在更大数据集上仍可能引入偏差（Limitations ❷）。
• deep research 系统：因计算与经费限制，尚未充分调查 deep research 系统的安全性，也未得出确定结论（Limitations ❸）。
• 后续诊断与防御：作者计划加入分阶段诊断（trigger、tool-call、evidence、synthesis），并把评测扩到更强的防御流程（Future Work）。
• 奖励追逐与外部证据：作者计划进一步研究 LLM 的奖励追逐行为，以及对外部证据的依赖偏差（Future Work）。

实验覆盖范围

• 受害模型为 Gemini-3-Flash、DeepSeek-V3.2、Qwen3-32B、GPT-4o，共 4 个；检索设定为 w/o search、w/ snippet、w/ agentic（Table 2，第 5.1 节）。
• 攻击结果报告在 AdvBench-50 与 ShadowRisk 子集 210 上；每查询 5 次尝试。论文未报告这 5 次如何汇总为 Table 2 的 ASR，也未报告各攻击的查询次数，只写基线使用其推荐设定。
• 防御数字来自 w/ snippet 下的 Safety Prompt 与 Safety Injection，模型为 Gemini-3-Flash 与 DeepSeek-V3.2；Table 4 未写基准。同表给出 LlamaGuard-3 8B 的 Detection Rate。
• ASR-GPT 与 WR 由三名 LLM 裁判多数票判定。附录对 ASR-GPT、WR 各抽 100 条、对 AtV 抽 50 条做两名专家核对（附录 D.3、D.4）。消融只报告 Gemini-3-Flash、AdvBench、w/ snippet（Table 3）。
• agentic 循环在附录中默认最多 10 步，每查询 5 条 snippet（附录 F）。跨语言 URL 统计对应 AdvBench 载荷的中英检索对比，由 DeepSeek-V3.2 在 agentic 设定下进行（第 5.4 节）。

SearchAttack 是针对 search-augmented LLM 的黑盒基线对照红队方法，关心的是开放网页证据被检索、拼装成可操作有害输出的知识到行动风险。

• 问题：作者认为，用户转向检索增强界面之后，越狱不再只是从参数知识里取出有害内容。外部网页常被当作高置信证据，而只拦明显有害文档挡不住跨来源重组。
• 方法：外包注入把有害语义换成多跳 search-trigger，使不检索时难以直接解码；检索整理用逆向评分标准加压奖励追逐。ShadowRisk 有 2,802 条问答，评测用 210 条，并带参考答案。AtV 用 Scope 与 Fidelity 把事实性伤害和 ASR 分开。
• 主数字：作者称 agentic 设定下，AdvBench 与 ShadowRisk 合并 ASR-KW 为 0.96，基线均值为 0.82。Table 2 中 GPT-4o、AdvBench、w/ agentic 的 SearchAttack 为 0.92/0.96；同表也有反例，如 Gemini-3-Flash 的 ShadowRisk agentic ASR-KW，PAIR 为 1.00、SearchAttack 为 0.99。
• 伤害与防御：作者称 AtV 的 Scope/Fidelity 从 4.35/0.62 到 10.20/0.94，该句未按模型拆开。Table 3 的对应格子是 (10.2, 0.87)。Table 4 中 SP 与 SI 并用后，SearchAttack 的 ASR-KW 在 Gemini-3-Flash 为 0.80、DeepSeek-V3.2 为 0.86；LlamaGuard-3 8B 的 Detection Rate 为 0.24，FlipAttack 为 0.52。
• 作者的结论：作者称高 ASR 不一定等于忠实的伤害，网页接入也不单调增加伤害。中文主导检索中，弱审核来源平均占 69.8%。作者在结论中称需要面向检索的安全对齐与防护，并称这项研究率先调查越狱 search-augmented 模型的威胁与现实后果。