跳到正文
原文

通过询问方向对 LLM 输出进行黑盒优化

Black-box Optimization of LLM Outputs by Asking for Directions

arXiv· arXiv:2510.16794· Jie Zhang, Meng Ding, Yang Liu, Jue Hong, Florian TramèrETH Zurich; University at Buffalo; Bytedance, Security Research本站收录· 21 天前· 原文发表入选 攻击精选关注度39

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出让目标 LLM 用文本比较两个候选输入来引导黑盒优化,在越狱、提示注入和视觉对抗样本上均报告高 ASR。

威胁模型攻击者对目标模型仅有查询访问(text-only output):无法访问参数、梯度、logits 或 token log-probabilities,只能观察文本输出;不使用任何 surrogate 或 auxiliary models。

问题
黑盒攻击 LLM 通常需要 logits 或置信度分数,或依赖代理模型;在只返回文本的 API 下缺乏优化信号。作者问:能否让目标模型自己用文本表达置信度来引导对抗优化。
方法
把优化改写成一系列二元比较:每次迭代对当前输入做随机扰动,问模型哪个候选更接近攻击目标,被选中则接受(hill-climbing)。作者称二元比较比直接询问绝对置信度校准更好,且不易触发拒答。
实验与结果
在 ImageNet 对抗样本、AgentDojo 提示注入、AdvBench 越狱三类任务上评测。越狱在 6 个模型中 5 个 ASR 达 98%–100%;提示注入 ASR 从 23.2%–42.1% 升至 55.4%–87.5%;作者称更大更强的模型更易被攻击。
局限与可以继续做的
作者指出的失败模式:能力弱的模型无法比较候选、比较存在假阳/假阴性、强对齐模型拒绝比较(如 GPT-4o mini 越狱时)。作者未做大量调参,也未探索其他扰动方法;防御仅讨论未实测。
实验设置Qwen2.5-VL-3B-Instruct、Qwen2.5-VL-7B-Instruct 等 · ImageNet、AgentDojo 等 · ASR、Mean queries
被测模型
Qwen2.5-VL-3B-InstructQwen2.5-VL-7B-InstructQwen2.5-VL-72B-InstructLlama-3.2-11B-VisionLlama-3.2-90B-VisionGPT-4o miniGPT-5 miniClaude Haiku 3.5Claude Sonnet 3.7Claude Opus 4Llama-3.1-70B-InstructGPT-4oLlama-3.1-8BGPT-4 TurboGPT-4.1 miniClaude Sonnet 3.5Claude Sonnet 4
基准
ImageNetAgentDojoAdvBench
指标
ASRMean queries
AI 导读和推荐理由研究者提出一种仅凭文本输出的黑盒攻击优化方法,通过让模型比较两个候选输入来获得优化信号,并将该方法用于视觉 LLM 对抗样本、越狱和提示注入。作者发现直接询问绝对置信度会坍缩到 0、5、95 等少数值,二元比较则校准更好;在 56 个 AgentDojo 提示注入样本上成功率从 23.2% 到 42.1% 提升到 55.4% 到 87.5%,越狱在 Llama-3.1、GPT-4 Turbo 和 Claude Sonnet 3.5 上达到 100%。作者还称更大、能力更强的模型比较置信度校准更好,因而更易受此类攻击。

研究者提出一种仅凭文本输出的黑盒攻击优化方法,通过让模型比较两个候选输入来获得优化信号,并将该方法用于视觉 LLM 对抗样本、越狱和提示注入。作者发现直接询问绝对置信度会坍缩到 0、5、95 等少数值,二元比较则校准更好;在 56 个 AgentDojo 提示注入样本上成功率从 23.2% 到 42.1% 提升到 55.4% 到 87.5%,越狱在 Llama-3.1、GPT-4 Turbo 和 Claude Sonnet 3.5 上达到 100%。作者还称更大、能力更强的模型比较置信度校准更好,因而更易受此类攻击。

推荐理由论文显示仅凭文本输出即可优化越狱和提示注入,并给出能力更强的模型更易受这类比较式查询影响的数据。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    在只返回文本的黑盒 API 下,如何不借助代理模型对 LLM 做对抗优化。

    核心问题:在目标 LLM 只暴露文本输出(text-only)的黑盒设置下,如何获得足够好的优化信号来生成对抗输入。

    • 场景与重要性:LLM 被部署在聊天、代码助手、智能体等系统中,攻击面包括越狱、提示注入和视觉对抗样本;作者认为 text-only 设置在实践中越来越常见(如 Anthropic 的 Claude API 刻意减少暴露信息)。
    • 现有方法不足:白盒攻击需要梯度;有 logits/置信度时可用无梯度优化;text-only 下现有攻击依赖代理信号——在本地 surrogate 上优化再迁移,或用外部奖励模型引导,作者认为这些代理信号可能与目标模型行为不一致。
    • 核心观察:直接让模型打绝对置信度分数效果差(取值塌缩到 0、5、95 等少数值,且可能拒答);但作者发现模型在比较两个候选输入哪个更接近攻击目标时校准更好,且通常认为这类查询无害。
    • 论文提出:一种通用的查询式黑盒优化方法——二元比较引导的 hill-climbing,应用于对抗样本、越狱、提示注入三个场景。
    • 威胁模型:
      • 目标:按场景分别是造成误分类(无目标/有目标)、让智能体执行恶意函数、诱导有害回复。
      • 知识:black-box,仅查询访问;text-only output,看不到参数、梯度、logits、token log-probabilities。
      • 能力:可提交任意提示词并观察文本输出;不使用任何 surrogate 或 auxiliary models。
      • 受害系统:通过 API 或网页接口访问的部署模型(vision-LLM 或 LLM)。
  2. 有哪些相关研究?

    相关工作分黑盒攻击(人工提示、LLM 引导、迁移、查询式)与 LLM 置信度校准两类。

    黑盒攻击——人工设计的对抗提示

    • Zvi (2022)、Wei et al. (2023a;b) 等发现多种越狱技巧;Willison (2022)、Goodside (2022)、Greshake et al. (2023) 等提出提示注入。策略包括角色扮演(Shen et al., 2024)、指令覆盖(Perez & Ribeiro, 2022)等。论文指出这类攻击成功率高但费人力、不遵循显式优化。

    黑盒攻击——LLM 引导与迁移

    • PAIR(Chao et al., 2025)用攻击方 LLM 迭代改写提示词;Mehrotra et al. (2024)、Sitawarin et al. (2024) 等用辅助 LLM 做红队;Beutel et al. (2024) 用多步强化学习训练攻击模型。论文指出这些方法用辅助模型做 ad-hoc 优化,而本文直接在目标模型上优化。
    • 迁移攻击:Szegedy et al. (2013)、Papernot et al. (2016) 奠定基础;Li et al. (2025)、Hu et al. (2025)、Jia et al. (2025) 针对 vision-LLM,Zou et al. (2023)、Andriushchenko et al. (2024) 等针对越狱。作者称本文是首个不依赖迁移性、在黑盒 vision-LLM 上直接优化对抗样本的方法。

    查询式攻击

    • Chen et al. (2017)、Brendel et al. (2017)、Cheng et al. (2018) 在传统对抗样本领域研究充分;论文指出在 LLM 上成功的查询式攻击有限,且依赖置信度分数可用(Andriushchenko et al., 2024;Hayase et al., 2024)。

    LLM 置信度的引出与校准

    • Jiang et al. (2020)、Xiong et al. (2024)、Yang et al. (2024) 等显示 LLM 能报告并校准自身置信度;Kadavath et al. (2022) 称自报置信度有时比 token log-probability 校准更好;self-consistency(Wang et al., 2024)和 SelfCheckGPT(Manakul et al., 2023)提供隐式置信度信号。

    基线与基准:基线为优化前 ASR、有 log-probabilities 访问的更强攻击(Andriushchenko et al., 2024 的方法,作者自己实现用于对抗样本与提示注入)、迁移攻击(用三个不同尺寸的 CLIP 模型生成可迁移对抗样本,按 Li et al., 2025)。基准为 ImageNet、AgentDojo(Debenedetti et al., 2024)、AdvBench(Zou et al., 2023,采用 Chao et al., 2025 整理的 50 条)。作者定位:用模型自身的内省能力替代外部代理信号,作为黑盒优化信号。

  3. 论文如何解决这个问题?

    把攻击建模为约束优化,用目标模型的二元比较回答做 hill-climbing 搜索。

    整体思路:把黑盒攻击形式化为约束优化问题,由于拿不到梯度或分数,改为反复向目标模型提交二元比较查询(两个候选中哪个更接近攻击目标),用回答驱动 hill-climbing。

    问题形式化

    • 目标:找对抗输入 xadv 使 M(xadv) ∈ G 且 xadv ∈ C(x),G 为攻击目标,C(x) 为约束集。
    • 约束按领域定义:图像用 ℓ∞ 球(扰动 ≤ ϵ);文本在原始提示后拼接后缀 s,长度 |s| ≤ N。

    优化信号:二元比较

    • 直接问绝对置信度(如“1–100 打分”)被作者证明失败:Figure 3(a) 中 Qwen2.5-VL-72B-Instruct 的表达置信度只取 0、5、95 等少数值,无法区分细微改进;模型还可能拒答。
    • 改为问“两个输入中哪个更接近攻击目标 G”。Figure 3(b) 显示在 Qwen2.5-VL-72B-Instruct 上,模型的二元回答与 logit 差距平均而言校准:假阳性只出现在两候选差距小时,假阴性较多但只拖慢优化,真阳性引导方向正确。作者还称闭源模型一般更“permissive”(更易接受更新)。

    算法流程(Algorithm 1)

    1. 初始化 xadv ← x;迭代至多 T 次。
    2. 在约束 C 内对 xadv 随机扰动生成 xnew。
    3. 向 M 提交二元比较查询;若 xnew 被偏好(r=1)则接受 xadv ← xnew。
    4. 检查 M(xadv) ∈ G,成功则返回。

    扰动策略

    • 对抗样本:采用 Square Attack(Andriushchenko et al., 2020),每步在图像随机方形区域加 ℓ∞ 扰动(界 ϵ),用二元比较替代原方法的置信度分数决定是否保留。
    • 提示注入与越狱:在提示后拼接长度 N 的后缀,每步随机选后缀中一段连续片段,替换为词表中随机采样的 token;作者称与 Hayase et al. (2024) 的攻击相似,区别是对方用模型真实置信度引导。

    成功判定

    • 对抗样本:无目标攻击问“Does this image contain a ⟨label⟩?”,回答否定即成功;有目标攻击问“是否含 ⟨target_label⟩ 但不含 ⟨source_label⟩”,回答肯定即成功。
    • 提示注入:以恶意函数是否被执行判定(如模型调用 send_email)。
    • 越狱:用 Llama-3.1-8B 和 GPT-4o mini 作 judge 模型判定回复是否有害。比较查询按模型回复风格设计:GPT 拒答常以“I’m sorry”开头、Claude 以“I do not”开头、其他模型以“Sure”表示顺从(附录 B);Figure 4 给出越狱与提示注入的比较查询模板,附录 D 给出完整攻击示例。
  4. 论文做了哪些实验?

    三个场景共 17 个模型,越狱 5/6 模型 ASR≥98%,提示注入升至 55.4%–87.5%。

    实验设置

    • 被测模型:对抗样本 10 个 vision-LLM(Qwen2.5-VL-3B/7B/72B-Instruct、Llama-3.2-11B/90B-Vision、GPT-4o mini、GPT-5 mini、Claude Haiku 3.5、Claude Sonnet 3.7、Claude Opus 4);提示注入 5 个(Llama-3.1-70B-Instruct、GPT-4o mini、GPT-4o、Claude Haiku 3.5、Claude Sonnet 3.7);越狱 6 个(Llama-3.1-8B、Llama-3.1-70B、GPT-4 Turbo、GPT-4.1 mini、Claude Sonnet 3.5、Claude Sonnet 4)。
    • 数据集:ImageNet 随机 57 张图(缩放到 224×224,所有目标模型在其上干净准确率 100%);AgentDojo 改编的 56 个样本(4 类用户任务、14 种注入攻击类型);AdvBench 中 Chao et al. (2025) 整理的 50 条有害请求。
    • 基线:优化前 ASR;有 log-probabilities 的攻击(作者按 Andriushchenko et al., 2024 实现);迁移攻击(三个不同尺寸 CLIP 模型生成,按 Li et al., 2025)。
    • 指标与判定:ASR;越狱由 Llama-3.1-8B 和 GPT-4o mini 作 judge 判定有害性;提示注入按恶意函数是否执行;越狱另报告平均查询数。
    • 预算与参数:对抗样本查询预算 1,000、ϵ=32/255;越狱查询预算 200。提示注入为自适应攻击,GPT-4o mini 和 Claude Haiku 3.5 加了 system-prompt 防御以免优化前就被攻破(附录 B)。
    • 重复次数:论文未报告。

    主结果

    越狱(Table 3,AdvBench 50 条,预算 200 查询):

    表格较宽,可左右滑动

    模型优化前with logprobsOurs平均查询
    Llama-3.1-8B8%100%100%32.4
    Llama-3.1-70B0%100%100%15.2
    GPT-4 Turbo54%100%100%6.1
    GPT-4.1 mini28%56%98%4.9
    Claude Sonnet 3.50%NA100%12.5
    Claude Sonnet 40%NA40%79.3

    提示注入(Table 2,AgentDojo 56 样本):Ours 在 Llama-3.1-70B-Instruct、GPT-4o mini、GPT-4o、Claude Haiku 3.5、Claude Sonnet 3.7 上分别为 75.0%、87.5%、75.0%、55.4%、62.5%,优化前为 42.1%、32.1%、23.2%、28.6%、26.8%;with logprob 在前三个模型为 61.4%、85.7%、76.8%,Claude 模型不提供 logprob 访问(NA)。

    • 作者称本文方法在所有模型上超过优化前基线,且在可获得 logprob 的模型上与 logprob 优化相当;对 GPT-4.1 mini 越狱,logprob 方法(56%)反而低于本文方法(98%),作者认为可能是因为直接优化肯定回复会触发防御,而比较查询显得无害。
    • Claude Sonnet 4 越狱 ASR 只有 40%,是越狱主表中最低的。

    对抗样本(Table 1、Figure 5)

    • 无目标攻击:纯文本查询(Ours)在 10 个模型上 ASR 为 5.3%–50.8%,最低 Qwen2.5-VL-3B-Instruct 5.3%,最高 GPT-4o mini 50.8%;Transfer-only 为 31.6%–92.9%;Transfer+ours 为 59.6%–94.7%;Ensemble 为 59.6%–96.5%(Table 1)。
    • 混合初始化:作者称 Transfer+ours 在两个单独方法之上均有提升,例如 Llama-3.2-11B-Vision 从 26.3%(Ours)和 57.9%(Transfer-only)升至 71.9%;但 Qwen2.5-VL-3B-Instruct 无提升,作者称该模型总是选第一个候选(即使交换顺序)。
    • 有目标攻击:在 Qwen 和 Llama 上未成功(作者称这些模型无法完成复杂比较);Figure 5 中 GPT-4o mini 从 66.6%(Transfer-only)升至 70.1%(Transfer+ours),GPT-5 mini 从 70.1% 升至 79.0%,Claude Haiku 3.5 从 38.5% 升至 42.1%。

    校准验证与 logprob 基线

    • 信号验证(Figure 3):在 Qwen2.5-VL-72B-Instruct 上,绝对置信度查询只输出 0、5、95 等值;二元比较的回答与 logit 差距平均校准,假阴性多于假阳性。
    • logprob 基线(Table 4、Figure 6):有 logprob 时无目标 ASR 大幅上升(如 Llama-3.2-90B-Vision 从 10.5% 升至 Transfer+logprobs 的 80.7%);Qwen 和 Llama 家族的有目标攻击只在有 logprob 时成功(Figure 6:Qwen-3B 19.3%→71.9%,Llama-90B 86.0%→100.0%,均为 Transfer-only→Transfer w/ logprob)。

    其他消融与分析

    • 越狱模板(Table 5):随机后缀 vs 强模板——Llama-3.1-70B-Instruct 均为 100%(16.6 vs 15.2 查询);Claude Sonnet 3.5 为 78%(27.9 查询)vs 100%(12.5 查询)。
    • 失败模式:GPT-4o mini 在越狱比较查询中持续拒答,无法提供信号;Qwen2.5-VL-3B-Instruct 总选第一个候选。
    • 附录 D 给出三个攻击的优化轨迹示例(含 OpenAI Playground 截图,Figure 10)。
  5. 有什么可以进一步探索的点?

    作者列出三类失败模式、未做的调参与优化改进,以及仅讨论未实测的防御。

    作者指出的局限与后续方向

    • 失败模式(Discussion):能力较弱的模型无法有意义地区分候选(如 Qwen2.5-VL-3B-Instruct 总选第一个);比较存在假阳性与假阴性,影响优化效率;强对齐模型可能完全拒绝比较任务(如 GPT-4o mini 在越狱时持续拒答)。
    • 未做调参(Discussion):作者称主要目标是验证 LLM 表达的置信度可作为信号,未做大量调优或针对模型适配,也未探索其他扰动方法。
    • 后续方向(Discussion):组合多个提示词提升稳定性;每次更新用多次查询加多数投票的集成;更复杂的输入优化算法;发展通用、可迁移的对抗输入。
    • 防御(Discussion,仅讨论未评测):扩展安全对齐让模型拒绝提供可引导迭代攻击的反馈;API 侧限制安全敏感查询的置信度表达;部署检测连续相似查询的系统(引 Chen et al., 2020);作者称需平衡以免损害合法用途。

    实验覆盖范围

    • 被测模型共 17 个:对抗样本 10 个 vision-LLM,提示注入 5 个 LLM,越狱 6 个 LLM(Llama、Qwen、GPT、Claude 四个家族)。
    • 数据集规模:ImageNet 57 张图、AgentDojo 改编 56 样本、AdvBench 50 条。
    • 越狱判定使用 Llama-3.1-8B 和 GPT-4o mini 两个 judge;论文未报告 judge 与人工判定的一致性。
    • 论文未报告每个条件的重复次数;提示注入与对抗样本未报告平均查询数(摘要称三个场景平均 5–450 次查询)。
    • 防御只在 Discussion 中讨论,未做实验评测。
  6. 总结一下论文的主要内容

    用目标模型自身的二元比较做黑盒对抗优化,三场景有效,且更强模型更易被攻击。

    一篇黑盒攻击论文:在目标 LLM 只返回文本、无 logits、无代理模型的设置下,通过让模型比较两个候选输入哪个更接近攻击目标,获得优化信号做 hill-climbing。

    • 问题:text-only API 下现有攻击只能靠迁移或外部奖励模型等代理信号;直接问绝对置信度会塌缩到少数取值且可能被拒答。
    • 方法:每步随机扰动当前输入(图像用 Square Attack 的方形 ℓ∞ 扰动,文本随机替换后缀片段),向模型提交二元比较查询,被偏好则接受;应用于对抗样本、提示注入、越狱。
    • 越狱(Table 3):AdvBench 50 条、预算 200 查询,Llama-3.1-8B/70B、GPT-4 Turbo、Claude Sonnet 3.5 上 ASR 100%,GPT-4.1 mini 98%,Claude Sonnet 4 40%;平均查询 4.9–79.3 次。
    • 提示注入(Table 2):AgentDojo 56 样本,ASR 从优化前 23.2%–42.1% 升至 55.4%–87.5%,与 logprob 方法相当,且是 Claude 模型上唯一可行的优化途径。
    • 对抗样本(Table 1):ImageNet 57 图,纯文本查询 ASR 5.3%–50.8%,结合迁移初始化后 Ensemble 达 59.6%–96.5%。
    • 作者结论:作者称更大、更强的模型比较置信度校准更好,反而更易被攻击,构成“能力越强越脆弱”的安全悖论;作者认为比较查询显得无害、不易触发防御。作者已在投稿前向 OpenAI 和 Anthropic 披露。

相关论文

共同使用 AgentDojo
再看 3 篇
共同使用 AgentDojo
阅读原文arxiv.org