跳到正文
原文

DecisionRobust:评测 JEV 风格决策模型在文本与视觉上的鲁棒性

DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision

Hugging Face Daily Papers· arXiv:2610.19118· Yifan Lan, Zhongye Liu, Yurui Chang, Hanyu Wang, Yongkang Du, Lu Lin, Jinghui ChenThe Pennsylvania State University本站收录· 2026-10-15· 原文发表评测

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

DecisionRobust在文本与图像上评测JEV式决策模型;作者称抗扰动不必然抗注入,标签检查会压低ASR。

问题
决策模型把指令和观测映射为选择、判断或分数,用于路由、过滤和审批。输入可能由攻击者控制,符合输出格式仍可能选错。干净准确率不能说明抗操纵。
方法
DecisionRobust保留Choice、Noul和Score,构造文本与图像扰动及四类提示注入。候选由外部模型做标签一致性检查,再按跨模型迁移筛选;文本编辑另经语义审查和人工决定。
实验与结果
作者称攻击能超出筛选模型造成错误,但多代理优化的图像扰动向不少目标迁移仍弱;抗扰动不意味着抗注入,标签检查会压低测得ASR。
局限与可以继续做的
作者指出只评估单次决策、图像扰动迁移有限,且计算约束限制攻击与任务覆盖。文本评测30个配置、视觉17个;精选文本扰动141条、注入374条。
实验设置Jev (jev-1.13.0)、KEV 等 · AEGIS2.0、BFCL 等 · sample-level ASR、candidate-level ASR 等
被测模型
Jev (jev-1.13.0)KEVAutoTrustOpenJEVBosunLiquid D1Imajev-4BVisual-Jev-4BJev-OmniOneJev-4BStandardOne-8BGLiNER2.5-Decide-340MStrands Decider-2BPerplexity Decider v1.1-27BStandardOne-3BNeoHorse-Jev-4BOpenJEV-27BKEV-27BOpenAI Decisions API (gpt-6-luna)OneJev-27B
基准
AEGIS2.0BFCLJev Agent Skill RouterWorkflowEvalsNevIRESCIjevnavScreenSpotMultimodal-Mind2Webjev-arm-labJev Drive LabSiimImajevBenchFinQAGeometry3KSST-2MMLUPromptShieldSMS Spam
指标
sample-level ASRcandidate-level ASRflip ASRtarget ASRlabel-consistent ASR
AI 导读研究者发布 DecisionRobust 基准,用于系统评测 JEV 风格决策模型在文本与视觉输入下对抗操纵的鲁棒性。该基准涵盖实际决策场景,以及语义保持的文本扰动、图像扰动和两种模态下的提示注入攻击。实验在文本任务的 30 个模型配置(含 24 个留出模型)和视觉任务的 17 个配置(含 12 个留出模型)上进行。结果显示,攻击能暴露构建与筛选所用模型之外的漏洞,但优化后的图像扰动即使借助多个替代模型也难以迁移到多数目标;模型相对鲁棒性随任务和攻击类型变化,抗输入扰动并不代表能抵抗提示注入;标签一致性检查可大幅降低测得的攻击成功率。基准已在项目页面公开。

研究者发布 DecisionRobust 基准,用于系统评测 JEV 风格决策模型在文本与视觉输入下对抗操纵的鲁棒性。该基准涵盖实际决策场景,以及语义保持的文本扰动、图像扰动和两种模态下的提示注入攻击。实验在文本任务的 30 个模型配置(含 24 个留出模型)和视觉任务的 17 个配置(含 12 个留出模型)上进行。结果显示,攻击能暴露构建与筛选所用模型之外的漏洞,但优化后的图像扰动即使借助多个替代模型也难以迁移到多数目标;模型相对鲁棒性随任务和攻击类型变化,抗输入扰动并不代表能抵抗提示注入;标签一致性检查可大幅降低测得的攻击成功率。基准已在项目页面公开。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    JEV式决策模型把指令和观测映射为结构化决策,干净准确率不能说明抗操纵。

    决策模型把指令和观测映射成选择、判断或分数,干净准确率不能说明对抗操纵下是否仍按任务标签决策。

    • 场景:作者称此类模型用于技能选择、过滤、检索重排、工作流路由和审批。输入可以是用户请求、检索内容、工具输出或图像,且可能由攻击者控制;输出可以符合 schema 却选错动作。
    • 已有工作:作者认为跨应用领域、模态和攻击策略的稳健性,以及决策模型之间的迁移,仍然较少被理解。引言称 JevAdvBench 测试的是固定、单查询的文本编辑。
    • 观察:作者称保持含义的编辑仍可能改变工具选择,检索内容中的指令可能把决策引向攻击者选定的标签。作者认为只看预测是否改变,会高估攻击效果。
    • 提出内容:DecisionRobust 保留任务自己的 Choice、Noul、Score 接口和正确性标准,在文本与图像扰动及提示注入下评测,并用有效性检查和跨模型筛选构造评测集。
    • 威胁模型:
      • 目标:攻击针对 clean-correct 决策。扰动寻求任意错误;注入瞄准预定义的错误答案。
      • 控制:文本扰动只改指定 observation,保留 instruction 和受保护字段。传感器攻击在任务约束内改允许的数值和类别字段。图像扰动改像素并保留文本请求。注入把指令追加到 observation 或 question instruction,或嵌入图像。instruction injection 假定能访问任务提示,权限强于 observation injection。模型参数、输出 schema 和参考答案固定。
      • 访问:自适应文本攻击使用构造模型的概率或分数,无参数或梯度访问。优化图像攻击使用 surrogate 梯度。固定注入模板和常见图像损坏不需要模型反馈。
      • 有效性:文本扰动应保留任务相关含义和参考决策;数值与视觉扰动应在各自约束下保留该决策。注入不必保持语义,但不应新增任务相关证据。图像内叠字必须让可见证据仍支持参考答案。
  2. 有哪些相关研究?

    相关工作包括决策模型评测、对抗扰动和提示注入;作者将本文定位为跨任务、模态与迁移的稳健性基准。

    决策模型与评测

    • BERT(Devlin et al., 2019):用任务专用输出层和固定标签做分类。作者对照的 JEV 在推理时接受指令、选项或评分标准,不另训分类头,并返回选择、真值概率和分数,而不返回响应文本。
    • WorkflowEvals 与 Deußer et al.(2026):前者考察应用工作流,后者研究任务准确率与校准。论文对二者作了描述,没有另写批评。
    • JevAdvBench(Hu et al., 2026):相对干净决策衡量对抗变化,并测量相同请求的重跑波动。引言称它测试固定的单查询文本编辑。

    对抗扰动与稳健性基准

    • 文本与图像攻击:作者引用 Lan et al.(2025)、Li et al.(2020)、Abad Rocamora et al.(2024)和 Dong et al.(2018),称对抗文本编辑和图像扰动可以误导分类器与语言模型。
    • AdvGLUE 与 RobustBench(Wang et al., 2021; Croce et al., 2021):分别评测文本扰动和图像扰动。
    • PromptRobust(Zhu et al., 2024):评测大语言模型对对抗提示扰动的稳健性。

    提示注入

    • Perez and Ribeiro(2022)与 Greshake et al.(2023):前者研究提示注入技术,后者研究外部内容中的间接提示注入。
    • AgentDojo(Debenedetti et al., 2024):在动态环境中评测大语言模型智能体的提示注入攻击与防御。
    • CheckList(Ribeiro et al., 2020):用行为测试补充总体准确率。引言将其列为超出聚合准确率的测试。

    基线与数据

    • 基线:Appendix A.1 在同一批 clean-correct 样本上使用 Repeat@8(原请求重跑 8 次)和 Paraphrase@4。改写由 Qwen3.5-122B-A10B-FP8 完成,不看参考答案,也不用 Jev 反馈。
    • 基准/数据集:Table 1 包括 AEGIS2.0、BFCL、Jev Agent Skill Router、WorkflowEvals、NevIR、ESCI、ScreenSpot、Multimodal-Mind2Web、ImajevBench、FinQA、Geometry3K、SST-2、MMLU 等。实验 source group 还使用 PromptShield、SMS Spam 和 Siim。

    作者把与 JevAdvBench 的区别写成:按任务标签判断文本与视觉攻击下的正确性,并评估向未参与候选筛选的模型迁移。

  3. 论文如何解决这个问题?

    DecisionRobust保留原生接口,构造扰动与注入候选,经有效性检查和跨模型筛选后评测。

    整体流程是构造攻击候选、做有效性检查,再按跨模型迁移筛选,最后在未参与筛选的模型上评测。框架名称为 DecisionRobust。Figure 1 概括该流程。

    任务与决策接口

    • 覆盖:任务来自官方示例、公开 GitHub 项目和社区应用,并改编已有数据集(Table 1)。类别包括内容过滤、工具与技能路由、工作流评估、检索相关性、GUI 定位、物理状态与运动、市场方向、视觉决策,以及 SST-2、MMLU 语言诊断。
    • 三种接口:Choice 选择一个选项;Noul 判断一个命题;Score 在给定量表上打分。多类 Noul 对每个类提一个二值问题,归一化真实类概率后取得分最高者。分类和问答任务给出对应选项或命题。
    • 输入改编:文本可以是自然语言、序列化工具描述、DOM、工作流记录或传感器观测。图像包括合成场景、截图、渲染的金融表和几何图。截图定位改为在标记元素中选择;FinQA 的表渲染成图像。

    攻击构造

    • 文本扰动:构造模型为 Jev(jev-1.13.0),候选在验证前固定。字符级用 DeepWordBug、Charmer,词级用 TextFooler、SememePSO,句子级用 SCPN、PromptAttack S2/S3、StressTest。传感器攻击在字段界限内改数值和指定类别观测,并同步相关摘要。作者称因计算约束,Charmer 与 SememePSO 未用于部分数据。Appendix E.1 给出方法细节与参考文献。
    • 文本注入:每个问题固定一个错误目标,四个模板为 Direct、Self-check、Note、Repetition(Table 2 给出示例),在 observation 与 question instruction 两个位置分别测试。分类目标从错误答案中确定性地选取;Score 目标取离参考最远的量表端点。原文、schema 和参考保留。多类 Noul 的 instruction 载荷在全部问题上推向同一个目标类。
    • 图像扰动:常见五类为高斯噪声、散焦模糊、亮度变化、JPEG 压缩和分辨率降低,各五档。前四类用 ImageNet-C 参数;分辨率降低先降采样,再用双三次插值还原尺寸,文字不改。优化攻击对每个图像–问题对,最小化 Imajev-4B、Visual-Jev-4B、Jev-Omni 干净预测的对数概率之和;使用动量更新、随机缩放与填充,200 步,ℓ∞ 预算 8/255,像素裁剪到 [0, 1]。
    • 图像注入:复用四个模板和固定错误目标。图像内注入在四个位置、三种字号渲染带描边白字,每模板 12 个设置,问题不变。instruction injection 把同一载荷追加到问题后,保留干净图像。Appendix E.1 有示例和渲染细节。

    校验与筛选

    • 哪些候选受检:扰动和图像内注入做标签一致性检查;文本内容注入和 instruction injection 跳过该步。然后做迁移筛选,再对文本编辑做语义审查,或对常见图像扰动做可读性审查。
    • 标签一致性:两个外部 LLM 独立回答扰动后的任务,不看参考,且都须按任务评分规则恢复参考。文本用 GPT-5 mini 与 DeepSeek-V4-Flash,图像用 Claude Sonnet 5。图像内注入改由 GPT-5 与 Claude Sonnet 5 根据可读视觉证据恢复参考,并忽略注入文字;答案关键内容须仍可见。作者计划另发布只经过适用标签检查、尚未做迁移筛选和后续审查的完整候选集。
    • 筛选与人工:优先保留能骗过更多筛选模型的候选。文本用六个、视觉用五个筛选模型,只统计同一目标问题和格式上的 clean-correct 预测,并平衡任务覆盖。其余评测模型不参与筛选。GPT-5 比较原文与编辑,不看参考答案和模型预测;事实、实体、数量、关系、条件或意图变化会被拒绝,可恢复的拼写错误允许。每条文本扰动由人工决定是否保留。传感器扰动只做标签检查。常见图像扰动由人工检查任务相关文字和细节是否可读。

    成功判定

    样本固定干净输入、目标问题和决策格式。Choice 用原生决策。Score 在 API 概率加权均值与参考相差不超过 0.5 时算正确。ASR 只用该模型 clean-correct、且攻击响应有效的样本;不支持的任务和无效配对排除。

    样本级与候选级为 ASRsample=(∑i∈ Dmax1≤ j≤ Kisij)/(|D|) 与 ASRcand=(∑i∈ D∑j=1Kisij)/(∑i∈ DKi)。前者按任一候选成功计,后者按每个变体计;候选不含搜索中的中间查询。标签一致 ASR 要求成功候选通过标签检查,分母不变。注入的上述比率是 flip ASR;target ASR 改为计命中预定义目标的次数,分母相同,Score 容差 0.5。

  4. 论文做了哪些实验?

    作者称攻击能超出筛选模型,优化图像扰动对许多目标迁移弱,抗扰动也不带来抗注入。

    实验设置

    • 被测模型:精选文本集 30 个。筛选用 Jev(jev-1.13.0)、KEV、AutoTrust、OpenJEV、Bosun、Liquid D1。未参与筛选的 24 个为 Vega-27B、Lux-9B、NeoHorse-Jev-4B、GEV-26B、Mica-4B、Imajev-4B、Imajev-9B、OneJev-4B、OneJev-9B、OneJev-27B、Visual-Jev-4B、Jev-Omni、StandardOne-3B、StandardOne-8B、Strands Decider-2B、KEV-27B、OpenAI Decisions API(gpt-6-luna)、H2O-Lightning-4B、Liquid d1-3B、Perplexity Decider v1.1-27B、InnerJev-27B-Full、GLiNER2.5-Decide-340M、CLM-v0.1-8B、Laya Multilingual-322M。视觉 17 个;筛选用 Imajev-4B、Visual-Jev-4B、Jev-Omni、OneJev-4B、StandardOne-8B。另 12 个为 StandardOne-3B、NeoHorse-Jev-4B、Strands Decider-2B、OneJev-9B、Imajev-9B、OneJev-27B、GEV-26B、OpenJEV-27B、OpenAI Decisions、H2O-Lightning-4B、Liquid d1-3B、Perplexity Decider v1.1-27B。
    • 数据规模:筛选前文本扰动为 10,093 条候选、1,332 个样本、16 个 source groups;注入为 9,716 条候选、1,232 个样本、15 个 source groups,且排除 PromptShield。精选文本为 141 条扰动(120 个样本)和 374 条注入(265 个样本)。常见图像扰动为 160 个图像–问题对的 Choice 与 Noul,合计 320;优化图像为 160 个 Choice 对。精选图像为 200 条扰动(127 常见、73 优化)、223 条图像内注入、120 条指令注入。
    • 攻击与基线:文本扰动从 Jev 迁移,接收方不再优化。图像优化的 surrogate 为 Imajev-4B、Visual-Jev-4B、Jev-Omni。对照为 Repeat@8 与 Paraphrase@4(Qwen3.5-122B-A10B-FP8)。Table 3 的 Combined ASR 不含这两项基线。
    • 指标:样本级与候选级 ASR;注入另分 flip ASR 与 target ASR。Checked 或 label-consistent 要求成功候选通过标签检查,分母仍用 Raw 的分母。Score 正确阈值和 target 容差都是 0.5。Appendix C 另报干净/对抗准确率和参考答案概率。
    • 校验模型:文本标签检查为 GPT-5 mini 与 DeepSeek-V4-Flash;图像为 Claude Sonnet 5。图像内注入为 GPT-5 与 Claude Sonnet 5。文本语义审查为 GPT-5,且每条文本扰动由人工决定。常见图像扰动另做人工可读性检查。ASR 本身由决策输出相对任务标签计算,不是由这些模型打 ASR 分。
    • 分母与重复:Table 3 的 N 是池大小,从 Security incidents 的 Choice N=3 到 FSD、Siim 的 120;ASR 分母是各模型 clean-correct 且响应有效的样本。“—”表示没有合格样本。论文未报告主评测的重复次数。

    主结果

    下表是筛选前、六个文本模型的汇总。扰动列为 Table 3 全数据集、全格式的样本级 Combined ASR(%);注入列为 Table 4 中 Either location 的样本级 flip/target ASR(%)。Jev 是文本扰动构造模型,其扰动列不是迁移结果。

    表格较宽,可左右滑动

    模型扰动 Raw扰动 Checked注入 flip注入 target
    Jev(构造模型)69.736.654.449.6
    KEV49.120.022.518.3
    AutoTrust48.812.564.660.7
    OpenJEV45.412.886.382.5
    Bosun38.922.547.941.1
    Liquid D151.919.528.723.2
    • 迁移与标签检查:作者称 Jev 上构造的攻击也会在其他模型成功,但 Checked ASR 通常下降。Arm 的 Noul 上,五个迁移目标的 Checked ASR 为 KEV 0.0、AutoTrust 3.4、OpenJEV 3.7、Bosun 5.9、Liquid D1 7.3(Table 3)。
    • 任务差异:作者称 OpenJEV 在迁移目标中,PromptShield 的 Noul 上 Checked ASR 最高,为 36.0;MMLU 的 Noul 上最低,为 13.5(Table 3)。BFCL 的 Choice 上,AutoTrust、OpenJEV、Bosun 的 Checked ASR 为 0.0。
    • 注入位置:作者称没有一种模板在所有模型、位置和指标上最强。observation 注入在 Jev、KEV、AutoTrust、Bosun 上的 flip 与 target ASR 更高;OpenJEV 与 Liquid D1 相反,其 instruction 的 Combined 为 78.0/74.8 和 18.6/15.7(Table 4、Table A4)。作者称 target ASR 始终低于 flip ASR。

    精选集上的模型差异

    • 测了什么:30 个文本模型上报告候选级扰动 ASR 和注入 target ASR;17 个视觉模型上报告候选级扰动 ASR,以及图像内注入、指令注入的 target ASR。分母为保留候选中干净预测正确且攻击响应有效的样本。
    • 正文点名的数字:作者称 Figure 2 中所有 held-out 文本模型都出现错误。GLiNER2.5-Decide-340M 的扰动 ASR 为 11.4%,注入 target ASR 为 55.3%。Figure 3 中,Strands Decider-2B 的 held-out 图像扰动 ASR 为 31.8%,图像内注入 target ASR 为 81.2%;Perplexity Decider v1.1-27B 的扰动 ASR 为 3.2%,指令注入 target ASR 为 45.7%。
    • 作者解读:抗扰动不必延伸到注入,更有效的注入位置也因模型而异。作者称 StandardOne-8B 在四个数据集上常见图像扰动的 Checked ASR 最高,在 FinQA 上最低,为 23.8%(Table 5),总体 ASR 会掩盖任务差异。

    图像扰动与注入

    • 常见扰动:五类、五档合并后,全数据集 Raw/Checked ASR 为 Imajev-4B 47.2/26.4、Visual-Jev-4B 50.9/30.6、Jev-Omni 51.1/33.2、OneJev-4B 49.8/25.4、StandardOne-8B 70.4/47.0(Table 5,N=320)。作者称标签检查降低每个数据集上的 ASR。Appendix A.4 称散焦模糊在检查后仍是最强的一类,合并类型会提高五个模型的 label-consistent ASR。
    • 优化扰动:Table 6 为每个 Choice 问题一张图,ϵ=8/255,N=160。带 † 的是优化 surrogate:Imajev-4B 77.7/62.8、Visual-Jev-4B 82.8/64.5、Jev-Omni 72.3/56.3。迁移目标全数据集为 OneJev-4B 39.8/32.4、StandardOne-8B 7.0/6.2、StandardOne-3B 10.9/8.9、NeoHorse-Jev-4B 20.0/11.7。这四个目标在 Geometry3K 上均为 0.0。作者称 OneJev-4B 总体最易受影响,但 Multimodal-Mind2Web 上 StandardOne-3B 与 NeoHorse-Jev-4B 的 Checked ASR 为 40.0 与 25.0,高于 OneJev-4B 的 18.2。
    • 筛选前注入:Table 7 为五个视觉筛选模型、Choice 输入。图像内 Checked target ASR 最高为 Visual-Jev-4B 的 79.4;Jev-Omni 的指令注入 flip/target 为 93.0/93.0,且是五个模型中指令注入高于图像内注入的一个。作者称标签检查降低全部五个模型的图像内 ASR,但可见证据仍支持参考答案时,注入仍能改变决策。

    其他消融与分析

    • Table 3:NevIR 的 Choice 上 Jev 为 98.0/20.4、Liquid D1 为 95.2/19.0;Siim 的 Noul 上 Jev 为 85.9/19.7、AutoTrust 为 74.3/5.7。作者称这两处多数 raw 成功过不了标签检查。
    • Table A1:16 个 source group 上,组合攻击的 raw ASR 都高于 Repeat@8,Checked ASR 都高于 Paraphrase@4。SST-2(N=98)上 Jev 的 Repeat@8 为 0.0,Para@4 为 2.0/1.0,Combined 为 96.9/70.4。
    • Table A2:四个共享数据集、每方法 488 个 clean-correct 样本上,平均查询为 Charmer 5,755.7、SememePSO 2,027.4、TextFooler 329.4、DeepWordBug 115.3。论文写明该比较不控制查询预算。
    • Table A3:外部检查池上 Charmer 的 ASR 为 Jev 93.1、KEV 28.2、OpenJEV 14.2、Bosun 20.4。SCPN 在 Bosun 为 12.5,高于 Jev 的 5.4。作者称构造模型上的效果不能完全预测其他模型。
    • Table A7:Jev 换决策格式后,全数据集 Choice 到 Noul 为 28.7 到 20.3(N=916),Noul 到 Choice 为 18.3 到 13.4(N=883)。作者称每个数据集都下降但仍非零;PromptShield 降幅最大,SST-2 最小。两套候选不同,作者认为不能据此比较两种格式本身。
    • Table A8 与 A9/A10:同一 160 对图像换到 Noul 后,全数据集 raw ASR 为 Visual-Jev-4B 82.8 到 10.8、Imajev-4B 77.7 到 65.3。作者称 Visual-Jev-4B 虽在 surrogate 集合内,Noul 上仍低很多。文本两集上 30 个模型的准确率与参考概率都下降;注入上 OpenJEV 的 ∆p 为 -68.2,KEV 为 -12.1(N=374,Np=318)。图像扰动上 GEV-26B 准确率从 78.0 到 80.0,∆p 为 -0.3,是作者写出的准确率例外。
  5. 有什么可以进一步探索的点?

    作者指出基准只看单次决策,图像攻击迁移有限,计算约束也限制方法与任务覆盖。

    作者指出的局限与后续方向

    • 只评单次决策:基准只关注个别决策,而不是这些决策在完整工作流中的下游影响(Limitations)。
    • 图像迁移:图像扰动对部分 held-out 模型的迁移有限(Limitations)。
    • 多代理优化:对多个 surrogate 做优化,并不保证广泛迁移(Limitations)。
    • 计算约束:计算约束限制所评估的攻击方法和配置,也限制它们在任务上的覆盖(Limitations)。
    • 后续方向:作者提出可以探索更可迁移的图像攻击,并扩展攻击套件(Limitations)。

    实验覆盖范围

    • 精选评测为 30 个文本模型配置和 17 个视觉模型配置,其中 24 个与 12 个未参与候选筛选(Section 3,Figure 2–3)。
    • 筛选前文本扰动池为 10,093 条候选、1,332 个样本、16 个 source groups;注入池为 9,716 条候选、1,232 个样本、15 个 source groups,并排除 PromptShield(Section 3.2)。
    • 精选集为文本扰动 141 条(120 个样本)、注入 374 条(265 个样本);图像扰动 200 条(127 常见、73 优化)、图像内注入 223 条、指令注入 120 条(Section 3.2.3、3.3.3)。
    • 标签检查使用 GPT-5 mini、DeepSeek-V4-Flash、Claude Sonnet 5 和 GPT-5;文本扰动另有 GPT-5 语义审查和逐例人工审查,常见图像扰动有人工可读性检查(Section 2.3.3)。论文未报告主评测重复次数,也未报告外部模型与人工审查的一致性数值。
    • 八种文本编辑方法在 SST-2、MMLU、PromptShield、SMS Spam 上比较了平均查询;论文写明该比较不控制查询预算。Charmer 与 SememePSO 因计算约束未用于部分 source group(Appendix A.1,Table A1–A2)。
  6. 总结一下论文的主要内容

    DecisionRobust评测JEV式决策模型面对文本、图像扰动和提示注入时的稳健性与攻击迁移。

    DecisionRobust 评测 JEV 式决策模型在应用任务上的对抗稳健性,覆盖文本和图像。

    • 问题:模型在推理时接收指令、选项或评分标准,把观测映射为 Choice、Noul 或 Score,用于路由、过滤和审批。作者认为观测和图像可能由攻击者控制,符合输出格式仍可能选错,干净准确率不够。
    • 做法:扰动意在保留任务相关信息并制造任意错误;注入瞄准预定义错误答案。文本自适应攻击用 Jev(jev-1.13.0)的概率或分数,不访问参数和梯度。图像优化最小化三个 surrogate 的干净预测对数概率之和。候选经过外部模型的标签一致性检查和跨模型筛选;24 个文本模型、12 个视觉模型不参与筛选。
    • 文本数字:筛选前、全数据集上,Jev 的扰动 Combined ASR 为 raw 69.7%、checked 36.6%;OpenJEV 的注入 target ASR 在 Either location 为 82.5%(Table 3、Table 4)。作者称 Checked 通常低于 Raw,且没有一种注入模板在所有模型上最强。
    • 图像与精选集:常见图像扰动全数据集 Checked ASR 为 25.4% 至 47.0%(Table 5)。优化图像在 surrogate Visual-Jev-4B 上 Checked ASR 为 64.5%,在非 surrogate 的 StandardOne-8B 上为 6.2%;四个迁移目标在 Geometry3K 上为 0.0(Table 6)。精选集上,GLiNER2.5-Decide-340M 的扰动 ASR 为 11.4%,注入 target ASR 为 55.3%(Figure 2)。
    • 作者结论:攻击会在构造模型和筛选模型之外造成错误,但优化图像扰动迁移不均匀。作者认为抗扰动并不延伸到注入;标签检查会排除许多表面上的成功,所以要核验攻击是否仍然有效。

相关论文

共同使用 Multimodal-Mind2Web
共同使用 AEGIS2.0
共同使用 SST-2
再看 3 篇
共同使用 MMLU
阅读原文huggingface.co