跳到正文
原文

FlipJev:快速黑盒红队测试找出类型化决策模型的通用对抗后缀

FlipJev: Fast Black-Box Red Teaming Finds Universal Adversarial Suffixes for Typed Decision Models

arXiv· arXiv:2610.38895· Xiaogeng Liu, Xinyan Wang, Chaowei XiaoJohns Hopkins University; University of Wisconsin–Madison本站收录· 21 天前· 原文发表攻击

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者对 typed decision model Jev 做黑盒查询攻击:通用后缀在 9 个数据集上翻转 43% 未见文档,并跨任务迁移。

威胁模型攻击者目标是把 Jev 的正确决策翻转(如 yes 变 no、unsafe 变 safe)。

问题
typed decision model(如 Jev)以单次廉价查询做决策并用于安全场景,但现有自适应攻击没利用其速度,也几乎无人研究跨输入、跨任务的通用对抗样本。
方法
作者提出 FlipJev:不用攻击方 LLM,用词级编辑的进化搜索生成短后缀,仅以 Jev 返回概率为适应度;按 10 个训练文档的平均 P(no) 评分即可生成通用后缀。
实验与结果
常见提示注入在 10,240 次配对测试中零翻转;而每文档搜索在 9 个数据集翻转 58/180 目标,通用后缀翻转 43% held-out 文档,arXiv 全文后缀跨任务翻转 5 个数据集 90–100% 文档。
局限与可以继续做的
作者称改变内容语义的攻击属另一威胁模型、超出范围;搜索组件可进一步精简以减少查询,留作未来工作。实验仅在 Jev 单一模型、英文公开数据集上进行。
实验设置Jev · email-comprehension dataset、TREC-QC 等 · ASR (flip rate)、mean safety score drop 等
威胁模型
攻击者目标是把 Jev 的正确决策翻转(如 yes 变 no、unsafe 变 safe)。black-box:只能读 Jev 返回的概率;只能在不可信内容末尾追加后缀,不能改开发者的可信问题;后缀不含问题主题词、不超过 32 个 o200k_base BPE token(轨迹评审 64)。
被测模型
Jev
基准
email-comprehension datasetTREC-QCAG NewsDBpedia-14Yahoo! AnswersPatent abstractsarXiv abstracts20 NewsgroupsLexGLUE ECtHRarXiv full textR-JudgeATBench500IMDB
指标
ASR (flip rate)mean safety score dropP(no)
AI 导读研究者提出 FlipJev,一种针对类型化决策模型(直接输出决策而非自由文本的语言模型)的快速黑盒查询攻击,不调用攻击者语言模型,在代表性模型 Jev 上几分钟内即可找到翻转高置信度答案的短后缀。实验覆盖 12 个不同数据类型和应用场景的数据集,结果显示 Jev 能抵御常见提示注入,10,240 组配对测试中没有策略改变正确答案,但攻击找到的后缀具有通用性,每个数据集一个后缀可翻转 43% 的未见文档,且由一个任务生成的后缀在其他任务上可翻转 90-100% 的样本。作者据此认为,类型化决策模型的评测必须纳入严格的自适应攻击。

研究者提出 FlipJev,一种针对类型化决策模型(直接输出决策而非自由文本的语言模型)的快速黑盒查询攻击,不调用攻击者语言模型,在代表性模型 Jev 上几分钟内即可找到翻转高置信度答案的短后缀。实验覆盖 12 个不同数据类型和应用场景的数据集,结果显示 Jev 能抵御常见提示注入,10,240 组配对测试中没有策略改变正确答案,但攻击找到的后缀具有通用性,每个数据集一个后缀可翻转 43% 的未见文档,且由一个任务生成的后缀在其他任务上可翻转 90-100% 的样本。作者据此认为,类型化决策模型的评测必须纳入严格的自适应攻击。

相关热点

1 个事件 · 1 条新闻提到

提到这篇论文的新闻

周报:预训练投毒可植入智能体后门

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何红队测试 typed decision model Jev:利用其速度做自适应攻击,并寻找跨输入、跨任务的通用对抗后缀。

    核心问题:typed decision model(以 Jev 为代表)的对抗鲁棒性缺乏严格评估——现有自适应攻击没有利用它毫秒级响应的速度,也几乎没有人搜索能翻转多个输入乃至多个任务的通用对抗样本。

    • 场景与重要性:typed decision model 不生成文本,而是在单次查询中返回各选项概率,约 0.3 秒响应、每百万输入 token 约四美分,已被用作分类器、路由器、guardrail 和智能体安全评审。作者认为,在安全敏感任务中,攻击者能改变的决策就是安全失效。
    • 现有研究的不足(作者观点):Xu et al. 与 Check Point Team 用攻击方 LLM 生成攻击文本,整个流程被 LLM 的生成速度拖慢;Wu and Lim 只在 72 个固定模板组合中搜索,候选空间有限。作者认为这些工作都没有利用 Jev 的速度,且都是针对单个输入的攻击。
    • 核心假设:经典 NLP 分类器只服务一个任务,而一个 typed decision model 靠开发者的问题定义任务、可服务多任务;作者据此假设在单个任务上找到的通用后缀能迁移到同一模型的其他任务。
    • 论文的贡献:先系统测试常见提示注入(RQ1),再提出不用攻击方 LLM 的快速黑盒查询攻击(RQ2),并验证后缀的通用性(RQ3)与跨任务迁移(RQ4),共在 12 个数据集上实验。
    • 威胁模型:
      • 目标:翻转 Jev 的正确且自信的决策,例如把正确的 yes 变成 no、把 unsafe 判成 safe。
      • 知识:black-box——攻击者只能读取 Jev 每次查询返回的概率,无权重、logits 或 tokenizer。
      • 能力:只能在不可信内容末尾(空行后)追加后缀;后缀不得含问题主题词(保证正确标签不变),长度至多 32 个 o200k_base BPE token(轨迹评审场景 64)。
      • 受害系统:部署 Jev 的应用,攻击者是外部内容作者(如邮件发送者、网页作者),无法改变开发者的可信问题。
  2. 有哪些相关研究?

    相关工作分四组:typed decision model 研究、对抗攻击与提示注入、直接攻击 Jev 的工作,以及并行的 Jev 攻击研究。

    Typed decision models

    • Jev 是首个此类模型(论文转述 TypeSafe),近期工作把它用作智能体的快速决策层、评估评审、智能体轨迹安全评审、对齐失效与提示注入检测器;对 2,170 个公开 GitHub 项目的分析发现应用用它做判断、打分、动作选择、内容过滤和工具选择。
    • 两项研究显示其答案跟随选项名而非选项定义,另一项显示误导性的选项名能打开基于开源 typed decision model 的智能体 guardrail;论文指出这些研究用的都是攻击者未适配模型的基准输入。

    对抗攻击与提示注入

    • 黑盒文本分类攻击用词级编辑搜索扰动;通用攻击方面,Wallace et al. 找到 input-agnostic 触发词,Zou et al. 的越狱后缀通用且可迁移,但 Meade et al. 发现该迁移在 13 个开源模型间差且不一致。
    • 通用文本还能操纵 LLM 应用中的决策组件:抬高 LLM 评审分数、绕过 guard model、让 LLM 路由器把任意查询发给强模型;论文指出这些攻击大多针对单一任务,仅两项工作找到跨任务触发词,且都依赖持有模型权重。
    • 自适应攻击研究(Liu et al. 的通用提示注入、Zhan et al.、Nasr et al. 绕过 12 个防御、Hackett et al. 绕过注入检测器)印证了作者引用的教训:固定攻击套件只度量对已知策略的抵抗,只有自适应攻击才度量对抗鲁棒性。

    直接攻击 Jev 的工作

    • Wu and Lim 把 InjecAgent 工具选择案例改建成 Jev 选择题并搜索 72 个模板组合;Xu et al. 让语言模型插入自然句子;Check Point Team 用多轮攻击方 LLM;JevAdvBench 初版测单个固定编辑,Liu 显示加一个冒号可让 Jev 接受错误答案。
    • 论文指出这些工作中的自适应攻击未利用 Jev 的速度,且都逐输入优化,而本文增加了通用后缀及其跨数据集、跨任务迁移。

    并行工作(concurrent):论文指出三点区别——Wang et al.、Lan et al. 和新版 JevAdvBench 的攻击文本可能改变正确答案(需额外审查),本文后缀按构造不改变正确标签;Luo et al.、Wang et al.、Li et al. 等用另一语言模型或固定集合生成攻击文本,本文用词级编辑加返回概率;这些工作均未测试同一模型内跨任务的后缀迁移。

    基线与基准:本文的对照臂包括常见提示注入策略(Liu et al. 的 naive、context-ignoring、fake-completion、combined 与 InjecAgent 指令)、种子文本不搜索、无后缀与中性注释;策略比较臂为随机变异、爬山与完整进化搜索(附录 A、E)。评测用 12 个数据集(含 R-Judge、ATBench500 轨迹基准)。

  3. 论文如何解决这个问题?

    FlipJev:精英进化搜索词级后缀,仅以 Jev 返回概率评分;按 10 个文档的平均 P(no) 评分即得通用后缀。

    整体思路:FlipJev 不用攻击方 LLM,而用廉价的词级编辑做精英进化搜索,把全部预算花在查询 Jev 上;把适应度从单文档改为 10 个训练文档的平均 P(no),同一算法即可生成通用后缀。

    问题设定与约束

    • Jev 输入分两部分:开发者写的可信问题(Noul 是非题、Choice 选项题、Score 等级题)和不可信内容;攻击者只改内容。
    • 后缀约束:不含任务禁用主题词(如邮件任务禁 machine、learn、course),按 o200k_base BPE 计至多 32 token,保证正确标签按构造不变。
    • 每个请求对同一内容问四个问题:plain/boundary 指令 × Noul/Choice;攻击优化 plain Noul 下的 P(no),其余三个答案仅用于打破平局。

    进化搜索(Algorithm 1)

    • 适应度 f(x) 是追加后缀后 Jev 返回的 P(no);通用搜索时为 10 个训练文档上的平均 P(no),每文档一次查询。
    • 维持 16 个精英;每代 Mutate 从精英产生 64 个新后缀,父代按排名线性递减权重选取,施加 1–3 个词级编辑(替换、插入、删除、交换、复制、插入随机字符串、精英交叉);停滞 10 代后多施加一个编辑。
    • 词汇表约 110 个指令、结构、框架词(剔除任务禁用词);邮件搜索用较早的 192 词表。
    • 排序键 K(x) = (1[f(x)>0.5], f(x)−λ|x|, f̄o(x), −|x|):先按是否翻转,再按适应度减长度惩罚(λ=0.0025,32 token 时罚 0.08),再按其余三个答案的均值和长度。

    确认与缩短

    • 相同请求返回概率有 0.03–0.04 标准差,单次查询可能偶然越过 0.5;Confirm 对新最优后缀再查 3 次,至少 2 次翻转才接受。
    • Shorten 从右往左删词,删后单次查询仍翻转则保留;缩短后再过 Confirm。
    • 预算 B 按 f 的评估次数计:每文档搜索 2,000,通用搜索 5,000(轨迹评审 3,000)。2,000 次查询的邮件搜索用 6–8 个并行 worker 耗时 1.5–2.6 分钟、约 $0.10。

    成功判定与测量

    • 翻转定义:正确的 yes 变 no,或正确的 unsafe 判成 safe;只攻击正确且自信的决策(9 个数据集上干净 pass 中 P(yes) ≥ 0.8 的正例,轨迹上分数 ≥ 2.5 的不安全轨迹)。
    • 三种测量(Figure 4):每文档 ASR(20 个目标中确认翻转的比例,确认后再查 10 次验证可重复);通用 ASR(10 个训练文档搜出的一个后缀在 30 个 held-out 文档上的翻转比例,每文档 10 次查询取多数);迁移 ASR(一个数据集的通用后缀在另一数据集前 20 个 held-out 文档上的翻转比例,各 3 次查询)。
    • 对照:无后缀、中性注释;轨迹场景另有等长中性填充与种子文本。比率为精确二项 95% 区间,分数下降为 bootstrap 区间。
  4. 论文做了哪些实验?

    12 个数据集四个 RQ:常见注入零翻转;查询攻击翻转 58/180 目标;通用后缀翻转 43% held-out 文档并跨任务迁移。

    实验设置

    • 被测模型:Jev,经 OpenRouter API 访问,快照 typesafe/jev-1.13-20260917,返回概率四舍五入到 0.01。
    • 数据集:12 个——邮件理解、TREC-QC、AG News、DBpedia-14、Yahoo! Answers、专利摘要、arXiv 摘要、20 Newsgroups、LexGLUE ECtHR、arXiv 全文(文档均长 15–2,831 token),以及智能体轨迹安全基准 R-Judge 与 ATBench500;IMDB 因情感可被追加文本改变而排除在总数之外、单独报告。
    • 目标与划分:9 个数据集各取 20 个攻击目标、10 个训练文档、30 个 held-out 文档(20NG 为 24),三者不相交;邮件任务 28 次搜索(6 个种子 × 9 封 yes 邮件)。
    • 指标:翻转率(ASR)与轨迹安全分数的平均下降;区间为精确二项 95% CI 或 bootstrap CI。
    • 对照:常见提示注入(5 种策略)、种子文本不搜索、无后缀、中性注释;轨迹场景加等长中性填充。
    • 重复与查询:held-out 每文档 10 次查询取多数,迁移每文档 3 次;论文未报告 LLM 评审(判定基于返回概率阈值,无 LLM judge)。

    主结果

    据 Table 1(正确且自信决策被翻转的比例;每文档搜索:邮件 28 次搜索、其他各 20 目标;通用后缀:10 个训练文档搜出、用于 30 个 held-out,20NG 为 24):

    表格较宽,可左右滑动

    方法EmailTRECAGDBPYahooPatentarXivA20NGECtHRarXivFR-JudgeATBench
    常见注入0.000.000.000.000.000.000.000.000.000.000.000.00
    种子文本不搜索0.070.000.000.000.000.000.000.000.000.000.000.03
    每文档搜索0.390.650.300.050.450.300.400.550.150.050.050.15
    通用后缀0.470.570.100.630.330.670.100.420.570.500.030.30
    • 作者称 Jev 能抵抗常见提示注入:RQ1 在邮件任务 4 种问题配置下 10,240 次配对测试 0 严格翻转,连伪造的 Jev JSON 答案也让 plain-Noul P(correct) 与对照相差在 0.004 以内;5 种策略在其他 11 个数据集的 held-out 输入上同样零翻转(共 1,620 对)。
    • 作者称黑盒查询攻击有效:邮件上 28 次搜索中 11 次确认翻转(39%,95% CI 22–59%),中位 1,287 次查询;9 个数据集上翻转 58/180 目标(32%,95% CI 26–40%),后缀 5–29 token(中位 11)。Figure 2 显示多数翻转出现在 1,000 次查询之后、预算结束时曲线仍在上升,作者称这些比率是更大预算的下界。
    • 作者称后缀高度通用:9 个数据集上通用后缀翻转 114/264 held-out 文档(43%,95% CI 37–49%),无后缀与中性注释为 0/264;其中 4 个数据集上通用后缀的翻转率高于每文档搜索。

    跨任务迁移(RQ4)

    • 测了什么:把每个数据集的通用后缀用于其他 8 个数据集的前 20 个 held-out 文档(各 3 次查询、不再搜索),共 72 个有序对;轨迹基准间把 ATBench 后缀用于 20 条 held-out R-Judge 轨迹。
    • 结果:72 对平均翻转 18%,21 对 ≥ 20%,11 对 ≥ 50%(Figure 3)。arXiv 全文后缀(问题关于计算机科学)在 AG News、DBpedia、arXiv 摘要、专利、20NG 上翻转 90–100%,在 ECtHR 上 45%;20NG 作为目标最易被迁移,外来后缀平均翻转 45%。ATBench 后缀使 held-out R-Judge 分数平均降 0.38,与 R-Judge 自身后缀相当。
    • 作者解读:不同任务的应用可共享一个 typed decision model,攻击者能在可查询的任务上找到后缀后零查询攻击其他应用;作者认为这是经典 NLP 分类器没有的风险。

    轨迹安全评审与机理分析

    • 轨迹评审(附录 H、Table 13):每文档最佳后缀在 10 次新鲜查询上使 R-Judge 分数平均降 0.42、ATBench 降 0.49(分别覆盖到判定阈值距离的 0.46、0.53);ATBench 通用后缀(一段评审记录式文本)翻转 9/30 held-out 不安全轨迹(30%,95% CI 15–49%)、分数平均降 0.65,R-Judge 通用后缀降 0.37。Figure 9 显示等长中性填充对均分改变至多 0.01,作者称效果来自后缀说了什么而非长度。
    • 机理分析(附录 G,Table 8–10):作者比较"指令遵循"与"表面模式"两种解释。消融后所有变体翻转率降至 4% 以下(换标签词 0.03、删 question 0.04、删标签词/打乱/单独标签词/种子/无后缀均 0.00),作者称效果依赖特定词的特定顺序;boundary 指令不削弱效果(翻转 155/264,反高于无 boundary 的 122/264),在 5 个保留完整种子框架的数据集上反把翻转推到 29–30/30,作者归因于 boundary 指令与后缀共享 question、label、output 等词;Noul 后缀在 150 个 held-out 文档上不影响 Choice 答案,针对 Choice 搜出的后缀在 DBpedia 和专利上翻转 Choice 22/60、Noul 仅 2/60。作者据此认为后缀不是指令,而是表面模式,与"typed decision model 跟随选项名而非定义"的既有发现一致。

    其他消融与分析

    • 策略比较(附录 E,3 封长邮件、claim 种子、1,500 查询):进化搜索与爬山各翻转 1 封,随机变异无反馈最高 P(no) 仅 0.07。
    • 种子效果(附录 E):command 种子 8 次搜索成功 1 次,claim 4/8,question 3/3,confidence 2/3,computed 0/3。
    • 邮件间迁移(附录 E):6 个后缀在 49 封非源邮件上翻转 12–21 封;按类型,长自然邮件 74%、填充长邮件 75%、短难邮件 26%、短易邮件 12%。
    • 邮件搜索答案分布(附录 E):47,173 次应答中 plain Noul 下 126 次 P(wrong)>0.5,plain Choice 仅 4 次。
    • IMDB(附录 C):每文档搜索翻转 13/20,通用后缀翻转 13/30;因追加文本可改变评论情感,不计入总数。
    • 负面结果:AG News 与 arXiv 摘要的通用搜索 5,000 候选内训练均值未过 0.5(Table 6、7 标 †);DBpedia 与 arXiv 全文的每文档搜索仅翻转 5%;R-Judge 通用后缀仅翻转 3%;专利上针对 Choice 的搜索 5,000 候选后训练均值 0.50 未过阈值(Table 12)。
  5. 有什么可以进一步探索的点?

    作者列出两条局限:语义改变型攻击超出范围、搜索组件可再精简;实验仅覆盖 Jev 与英文公开数据集。

    作者指出的局限与后续方向

    • 改变内容语义的攻击属于另一个威胁模型,超出本文范围(Limitations 节)。
    • 作者称若变异算子或其他组件更精细,攻击可能用更少查询找到翻转;但当前攻击每输入已只需约两分钟且能找到跨任务迁移的通用后缀,故把这类精简留作未来工作(Limitations 节)。

    实验覆盖范围

    • 被测模型仅 Jev 一个(经 OpenRouter,快照 typesafe/jev-1.13-20260917);论文脚注说明研究时 Jev 是唯一的闭源商用 typed decision model。
    • 数据为 12 个英文公开数据集与基准(含 R-Judge、ATBench500 轨迹基准),每数据集 20 目标、10 训练、30 held-out(20NG 为 24);IMDB 单独报告、不计入总数。
    • 攻击面仅覆盖在不可信内容末尾追加后缀;开发者可信问题中的注入只在附录 D 作为对照测量(请求放在可信问题里会降低 P(correct) 但未翻转决策)。
    • 预算为每文档 2,000 次查询、通用 5,000(轨迹 3,000);Figure 2 显示预算结束时翻转曲线仍在上升,作者称报告比率是更大预算的下界。
    • 论文未报告针对该攻击的任何防御评测;伦理声明称已通过厂商官方渠道向 TypeSafe 披露,并计划发布代码、后缀与结果文件。
  6. 总结一下论文的主要内容

    对 Jev 的快速黑盒攻击:通用后缀翻转 43% 未见文档并跨任务迁移,作者呼吁评估必须包含严格自适应攻击。

    一篇针对 typed decision model 的红队研究:作者对代表性模型 Jev 提出快速黑盒查询攻击 FlipJev,并系统测量其对抗鲁棒性。

    • 问题:Jev 单次查询即返回各选项概率,已被用作分类器、guardrail 和智能体安全评审;作者认为现有自适应攻击被攻击方 LLM 拖慢或受模板集限制,且无人搜索跨输入、跨任务的通用对抗样本。
    • 方法:不用攻击方 LLM,用词级编辑的精英进化搜索优化短后缀(≤32 BPE token、不含主题词),仅以 Jev 返回概率评分;按 10 个训练文档的平均 P(no) 评分即生成通用后缀,2,000 次查询约两分钟、约 $0.10。
    • 常见注入无效:5 类常见提示注入策略在邮件任务 10,240 次配对测试中 0 严格翻转,在其他 11 个数据集 held-out 输入上也零翻转(Table 1、4)。
    • 自适应攻击有效:每文档搜索在 9 个数据集翻转 58/180 目标(32%),邮件上 11/28 次搜索成功;一个数据集一个通用后缀翻转 114/264 held-out 文档(43%),中性注释为 0。
    • 跨任务迁移:arXiv 全文上找到的一个后缀零查询翻转 5 个其他数据集 90–100% 的文档(Figure 3);ATBench 通用后缀翻转 30% held-out 不安全轨迹,作者称这暴露了 Jev 作安全 guardrail 时的实际风险。
    • 作者结论:机理分析显示后缀是表面模式而非指令(消融后翻转率 ≤4%,boundary 指令不防护);作者认为 typed decision model 的评估必须包含严格自适应攻击,其鲁棒性仍需评估与增强。

相关论文

共同使用 AG News
阅读原文arxiv.org