内源性偏好作为脆弱性信号:发现导致 LLM 效用退化的通用对抗触发词
Endogenous Preferences as Vulnerability Signals: Discovering Universal Adversarial Triggers for LLM Utility Degradation
作者提出 EndoUT:不指定下游失败形式、不用任务反馈,仅凭冻结受害模型的干净行为选出固定触发片段;在 4 个模型、9 个基准上平均降低效用 40.2 个百分点。
攻击者可在用户可见的提示词上下文中放置一个有界片段(token 预算 L,默认 32 个 generator token);受害模型冻结,良性请求和下游任务协议不变。
- 对抗提示和红队方法通常要靠任务标签、有害目标、judge 反馈或下游效用分数来定义要寻找的失败。作者问:在不知道失败的任务级形式、也没有下游反馈时,冻结模型的干净行为本身能否暴露可复用的上下文漏洞。
- EndoUT 用 Siamese 式双通道比较同一冻结受害模型在干净和插入片段后的表现:以干净 pass 的首选 response-onset token 为参照,用 EPD 度量插入对该 token 概率的抑制;辅助生成器(GRPO 训练)提出有界片段,EPD 排序选出每个受害模型一个固定触发词,之后在所有 held-out 输入上原样复用。
- 在 4 个指令微调模型、9 个基准上,固定触发词平均降低效用 40.2 个百分点,36 个单元格中 35 个为负,平均降幅超过所有被评基线;迁移在 24 个受害–生成器对中全部出现但强度不一;19/24 对的回归集中于单一输出簇,且主导失败类别因受害模型而异。
- 作者指出:实验只覆盖已实现的提议池而非全部有界片段空间,生成字符串在训练中趋于集中;分析揭示了反复的失败表现但未做因果干预;实现需要开源模型的 next-token 概率,受限访问模型上的扩展尚未解决。被测模型为 4 个开源指令微调模型。
- 威胁模型
- 攻击者可在用户可见的提示词上下文中放置一个有界片段(token 预算 L,默认 32 个 generator token);受害模型冻结,良性请求和下游任务协议不变。攻击者可查询受害模型在无标注源指令上的 next-token 概率;发现阶段没有外部指定目标、基准输入或标签、任务评分器、judge 反馈或效用度量。主协议将触发词作为 user-content 后缀追加,prefix 和 random-position 变体测试插入位置敏感性。
- 被测模型
- Qwen2.5-7B-InstructLlama-3.1-8B-InstructMistral-7B-Instruct-v0.3Gemma-2-9B-IT
- 基准
- Databricks Dolly 15KMMLUMMLU-ProGSM8KMATH-500BBHHellaSwagARCTruthfulQAIFEval
- 指标
- ∆Utility (attacked-minus-clean, percentage points)EPD (Endogenous Preference Disruption)Retention@K
作者提出 EndoUT 方法,无需任务标签或下游反馈即可为 LLM 挖掘可跨输入复用的通用对抗触发词,在四个指令微调模型和九项基准上平均使良性任务效用下降 40.2 个百分点。方法用孪生式设计对比同一冻结模型在原始指令与插入片段版本上的行为,以内源性偏好破坏(EPD)衡量插入削弱模型对偏好回复起始 token 偏好的程度,并由辅助生成器提出候选片段、按得分排序。得分最高的片段在评估前固定,在全部留出输入上原样复用;每项基准的平均效用变化均为负,在所报告协议下平均降幅大于所有被评测基线。消融显示先在源侧选择再固定复用的迁移性强于空上下文固定复用或逐输入生成,触发词家族与下游失败模式的关联因受害模型而异。代码和数据将在论文接收后发布。
深度解读
这篇论文试图解决什么问题?
不指定下游失败形式、不用任务反馈时,冻结模型的干净行为能否暴露可跨任务迁移的固定触发片段。
核心问题:在既不指定下游失败形式、也得不到下游任务反馈的情况下,冻结受害模型的干净行为能否揭示一个可复用、跨输入跨任务迁移的上下文漏洞(一个固定的插入片段)。
- 问题场景与重要性:部署中的 LLM 必须在提示词上下文中处理不可信文本;插入的片段不一定产生违禁内容,而是可能破坏推理、答案格式或指令遵循,降低良性任务的效用。若同一片段能在互不相关的请求上都造成损失,就暴露了一个可复用的上下文漏洞。
- 现有方法的不足(按论文说法):对抗搜索和鲁棒性评测通常先指定要诱导的行为或要降低的任务级标准——universal-trigger 方法用标签、目标类别或 token、任务损失定义目标,自动化越狱奖励有害遵从、拒答绕过或 judge 成功;这些做法把"什么算任务级失败"预先写进了搜索目标。
- 核心观察:受害模型在 response onset 处的首选 token 满足三个要求——对每条无标注指令都可用、以该指令为条件、且不规定任何下游错误;因此可以用"插入片段对该 token 概率的抑制程度"在同一指令上比较候选片段。
- 论文提出:EndoUT,一个 Siamese 式双通道设计,用 Endogenous Preference Disruption(EPD)在源侧无标注指令上评分并排序候选片段,选出每个受害模型一个固定触发词后在 held-out 基准上原样复用;作者报告在 4 个模型、9 个基准上平均效用下降 40.2 个百分点。
- 威胁模型:
- 目标:找到一个固定片段,使其在 held-out 输入和任务上迁移性地降低良性效用;发现阶段不指定失败形式。
- 知识:攻击者可查询冻结受害模型在无标注源指令上的 next-token 概率;没有外部指定目标、基准输入或标签、任务评分器、judge 反馈或效用度量。
- 能力:在用户可见的提示词上下文中放置一个有界片段(token 预算 L,默认 32 个 generator token);主协议作为 user-content 后缀追加,prefix 和 random-position 为变体。
- 受害系统:冻结的开源指令微调 LLM,良性请求与下游任务协议保持不变。
有哪些相关研究?
论文将工作定位在文本对抗攻击、效用/可用性失效与提示词鲁棒性三类研究的交叉处,区别在发现阶段不用任何任务级信号。
文本对抗攻击
- Wallace et al. (2019)、Jin et al. (2020)、Li et al. (2020)、Boucher et al. (2022) 等——在任务指定目标下优化离散扰动,从监督模型的字符/词级编辑到输入无关的 token 序列。
- Parekh et al. (2021)、Xu et al. (2022)、Xu and Wang (2024)、Meade et al. (2024)、Shin et al. (2020)、Wen et al. (2023)——减少对标注样本的依赖,研究 prompt-based 模型中的 universal/natural 触发词,或用目标 token、答案片段、标签、任务损失搜索硬提示词。论文指出这些 untargeted 目标虽不必指定具体错误输出,EndoUT 则进一步不给予下游任务反馈,且在固定受害专属片段后才度量效用。
- Zou et al. (2023)、Liu et al. (2023)、Chao et al. (2023)、Mehrotra et al. (2023)、Yu et al. (2023)、Liao and Sun (2024)、Paulus et al. (2024)、Sadasivan et al. (2024)——针对对齐 LLM 的自动化攻击,搜索对抗后缀、语义提示词、迭代流程、fuzzing 策略或学习型生成器,目标是有害遵从或拒答绕过;JailbreakBench、HarmBench、StrongREJECT(Mazeika et al. 2024)用有害行为数据集和 judge 标准化这类评测。
LLM 效用与可用性失效
- Greshake et al. (2023)、Li, Guo, and Cai (2025)——提示词注入利用指令层级、不可信上下文或 system-prompt 通道重定向模型行为,可造成不涉有害内容的效用损失。
- Zhang, Xiong, and Mao (2024)、Gao et al. (2024)——guardrail 误报与投毒式拒绝服务;Manu et al. (2025)、Liu et al. (2026)——过度生成与病态推理成本;Zhang et al. (2026)——RAG 系统的软失败。
- Mai et al. (2025)——安全–效用权衡基准,显示防护机制本身会降低任务表现。
提示词鲁棒性
- Zhu et al. (2024)——PromptBench,研究预定义的字符、词、句子、语义级提示词扰动。
- Cao et al. (2024)、Seleznyov et al. (2025)、Zheng et al. (2025)——最坏情况提示词、标点、格式与提示词组件的敏感性,记录跨任务形式的异质敏感性。
基线与基准:对比基线为 PromptBench、UAT、GCG、BEAST、AmpleGCG、AdvPrompter、System Prompt Poisoning 和一个手写池(verbosity、formatting、caution、distraction 指令);评测基准为 MMLU、MMLU-Pro、GSM8K、MATH-500、BBH、HellaSwag、ARC、TruthfulQA、IFEval 共 9 个。
作者将本文定位为:上述方法都先指定失败形式或反馈通道,而 EndoUT 在发现阶段既不指定下游失败、也不使用下游反馈,held-out 效用变化因此度量的是迁移而非直接优化。
论文如何解决这个问题?
EndoUT 以干净 pass 的首选 onset token 为参照,用 EPD 在源侧评分排序候选片段,选出一个固定触发词后在 held-out 任务上原样复用。
整体思路:把"发现"与"评测"分开——源侧只用冻结受害模型的干净行为给候选片段打分,选出一个受害专属的固定触发词之后,才在 held-out 基准上度量效用变化;由于发现和选择都看不到基准反馈,held-out 上的下降被解释为迁移而非直接优化。方法名为 EndoUT,核心评分为 Endogenous Preference Disruption(EPD)。
问题设定与形式化
- 受害模型 fθ 冻结;对良性指令 x 和候选片段 z(token 预算 L),主协议的插入算子把 z 追加到用户内容末尾,Tz (x) = x⊕z。
- 基准效用定义为官方归一化分数的均值并换算成百分点:Ub(fθ) = 100 · 𝔼ξ∼ Db[sb(fθ(cb(ξ)), ξ)];效用变化为 ∆Utility = 攻击后 − 干净,负值表示退化。
- 发现阶段没有外部指定目标 token 或响应、held-out 基准输入或标签、任务评分器、judge 反馈或效用度量;任务级信息只在 z 固定后进入。
干净行为作为发现参照(EPD)
- 对无标注源指令 u,取干净 pass 在 response onset 处的首选 token ŷ(u) = arg max pθ(y | cθ(u)) 作为该指令条件下的参照;它不规定任何替代答案。
- EPD 度量插入对该参照的抑制:rEPD(z; u) = ℓz(u) − ℓ0(u),其中 ℓ0、ℓz 分别是干净和插入后该参照 token 的负对数概率;插入降低首选 token 概率时 EPD 为正。
- 两个 pass 用同一冻结 fθ、同一 chat 模板,仅插入片段不同,构成指令内配对比较;论文称这一双通道构造类比 Siamese/对比学习中的共享参数比较,但比较的是响应行为而非学习到的表示。
提议搜索与固定触发词选择
- 每个受害模型配一个辅助生成器 gϕ,在固定 meta-instruction(指定短语形式和 token 预算 L)下对每条源指令采样候选片段;用 GRPO 把提议分布推向源侧分数更高的片段,只更新 gϕ,fθ 保持冻结。
- 源语料为 Databricks Dolly 15K 的 instruction 字段,去重后 14,824 条无标注指令;平滑 EPD plateau 后停止训练,取训练 EPD 最高的 checkpoint,每条源指令产出一个候选,构成索引池 Cv(不同指令产生的重复字符串保留)。
- 候选只在其来源指令上按 EPD 排序,不用跨输入有效性也不用下游效用;取全池 EPD 最高的 (u, z) 作为该受害模型的固定触发词 zv⋆,之后 gϕ 不再使用,zv⋆ 原样插入该受害模型的所有 held-out 输入。
- 默认生成器为 Qwen3-1.7B,触发词预算 32 个 generator token;采样温度 1.0、top-p 0.9、repetition penalty 1.2。
评测方式
- 4 个开源指令微调受害模型:Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Gemma-2-9B-IT。
- 9 个基准各以其官方分数作为效用,报告 attacked-minus-clean 的百分点变化;公共网格上每列对 4 个受害模型取平均,总平均覆盖全部 36 个受害–基准单元格。
- 每个基线用其原生目标、提示词通道和最终产物在同一网格上评测:UAT 给固定前缀,GCG/BEAST/AmpleGCG 给固定后缀,AdvPrompter 给输入条件化后缀;PromptBench 池和手写池在每个受害–基准单元格中获得 benchmark-specific oracle 选择;System Prompt Poisoning 作为 system-channel 可用性参照。
论文做了哪些实验?
固定触发词在 4 模型 × 9 基准上平均降效用 40.2 点、36 格中 35 格为负;迁移跨提议模型复现但强度不一,回归在受害–触发词对内高度集中。
实验设置
- 受害模型:Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Gemma-2-9B-IT,共 4 个开源指令微调模型。
- 基准:MMLU、MMLU-Pro、GSM8K、MATH-500、BBH、HellaSwag、ARC、TruthfulQA、IFEval,共 9 个,覆盖知识、数学推理、常识推理、真实性和指令遵循;源语料为 Dolly 15K 去重后的 14,824 条无标注指令。
- 基线:PromptBench、UAT、GCG、BEAST、AmpleGCG、AdvPrompter、System Prompt Poisoning、手写池;其中 PromptBench 池和手写池在每个受害–基准单元格获得 benchmark-specific oracle 选择。
- 指标:∆Utility = 攻击后 − 干净效用(百分点,负值为退化);括号内为每受害模型平均相对下降 100(Uclean − Uattack)/Uclean。
- 默认配置:辅助生成器 Qwen3-1.7B,触发词预算 32 generator token,采样温度 1.0、top-p 0.9、repetition penalty 1.2;GRPO 只更新生成器。
- 评审方式:失败类别分析由 3 名标注者独立评审 1,000 条基准分层回归(每受害模型 250 条),用六类 codebook,标签需全体一致,分歧独立重标;效用评分用各基准官方 scorer,论文未报告效用评测使用 LLM judge。
主结果
据 Table 1(数值为 4 个受害模型平均的 ∆Utility,百分点;括号内为平均相对下降):
表格较宽,可左右滑动
方法 MMLU GSM8K BBH ARC TruthfulQA IFEval Avg. PromptBench -2.3 -7.6 -14.2 -8.3 -4.2 -5.9 -6.5 GCG -26.1 -33.8 -37.9 -37.9 -12.8 -16.7 -24.3 AdvPrompter -1.1 -6.4 -7.6 -1.7 -0.7 -5.7 -3.4 System Prompt Poisoning -9.3 -15.9 -6.0 -55.2 -36.8 0.6 -19.1 Hand-written -1.4 -34.3 -31.5 -1.1 -2.4 -20.3 -12.1 EndoUT (suffix) -36.2 -58.4 -43.6 -62.4 -33.2 -33.1 -40.2 EndoUT (prefix) -19.1 -24.4 -24.4 -45.8 -28.1 -26.2 -25.1 EndoUT (random) -21.9 -30.8 -31.2 -45.3 -25.1 -29.8 -27.3 (表中省略 UAT、BEAST、AmpleGCG 三行,其 Avg. 分别为 0.4、0.3、-1.8;省略 MMLU-Pro、MATH-500、HellaSwag 三列。)
- EndoUT 后缀触发词平均 -40.2 点,36 个受害–基准单元格中 35 个为负,且 4 受害模型均值在每个基准上都为负;作者称由于发现和选择都看不到基准反馈,这一模式说明源侧选出的片段产生了跨输入跨任务迁移的退化,而非对被测结果的直接优化。
- 作者称 GCG 是最强的固定用户后缀基线(-24.3);System Prompt Poisoning 平均 -19.1,仅在 TruthfulQA 上超过 EndoUT;即使获得 benchmark-specific oracle 选择,PromptBench 和手写池平均也只有 -6.5 和 -12.1。
- 位置变体:prefix 与 random-position 插入分别平均 -25.1 和 -27.3(每个位置都重做发现、选择和评测);作者据此称迁移不限于后缀插入,但幅度因位置协议而异,后缀设置最大。
协议与选择消融(Table 2)
- 源侧选择的作用:null-context 固定前缀(从一个固定 placeholder 生成并复用)为 -16.26,per-input 前缀生成为 -14.33,而匹配的源侧选择固定前缀协议为 -25.1(Table 1);作者称这一匹配比较把更强的结果归因于在无标注源指令上的选择,而非仅靠固定复用或输入特定条件化。
- 长度控制:16-token 四受害模型运行 -20.89,64-token 仅 Qwen 运行 -26.12,对比各自 32-token 参照 -40.20 与 -66.5;作者称退化随预算非单调,反对"只是长度"的解释。
源侧排序的迁移广度(Table 3)
- 4 个受害模型的源侧 Top-20 去重候选(共 80 个)平均 held-out ∆U 全部为负;K=20 时平均 EPD 保留 Top-1 的 82.8–99.0%,平均效用损失保留 84.5–111.0%。
- 对 Mistral 和 Gemma,Top-5 的平均效用损失超过 Top-1 的损失(Mistral 101.5%、Gemma 114.9%),尽管下游效用从未进入源侧排序;作者称源侧排序识别出的是一组可迁移候选而非孤立最优点。
跨提议模型迁移(Table 4、Figure 2)
- 用 Qwen3-1.7B 和 5 个替代提议骨干(Qwen3-4B、Llama-3.2-1B、Llama-3.2-3B、Dolphin3.0-3B、victim-as-generator)重做完整协议:全部 24 个受害–生成器对的平均 ∆Utility 均为负,范围从 Llama-3.2-1B→Gemma-2-9B 的 -1.1 到 Qwen3-1.7B→Qwen2.5-7B 的 -66.5,跨度 65.4 点。
- 作者称迁移方向不依赖于默认提议器,但复现不代表恢复强度一致;最强提议器随受害模型而变,生成器规模(Qwen3、Llama-3.2 内部)或用受害模型自身做生成器都没有稳定排序。
- Figure 2 用 Sentence-T5 空间度量各提议池与事后选出的高退化锚点(E1–E3,锚点下方标注其效用损失,如 Qwen 的 E1 为 66.8 点)的接近度:各池到锚点的频率加权 95 分位余弦在 0.64–0.97 之间;作者称这支持有限搜索解释——恢复强度是上下文漏洞与提议器暴露的候选邻域的共同性质。
回归的结构与语义(Figure 3、Figure 4)
- 对 24 个被评固定后缀,每对受害–触发词有 150–2,237 条配对回归;19/24 对中至少 70% 的回归落在一个输出簇内,13 对超过 90%;而把每个受害模型的全部 6 个触发词混合后,最大输出簇只占 19.8–48.5%。作者称复发集中在受害–触发词对内,而非继承自受害级输出分布。
- 1,000 条评审回归(每受害模型 250 条)中主导类别因受害模型而异:Qwen 88.0% 为 short collapse,Llama 61.2% 为 wrong but well-formed answers,Mistral 96.8% 为 off-task over-generation,Gemma 在 format/parse failure(62.8%)与 short collapse(36.4%)之间分化。作者称失败形式在受害–触发词层面结构化,且不被发现目标所规定。
其他消融与分析
- 提议支持收缩:1,000 条固定 Dolly 提示词上,归一化 Shannon 有效支持从首个到最后一个 checkpoint 由 0.920–1.000 降到 0.007–0.063,Top-10 归一化字符串质量从 0.010–0.040 升到 0.559–0.926(正文)。
- 论文未报告统计显著性检验、多次重复运行或方差。
有什么可以进一步探索的点?
作者列出提议覆盖、因果机制与受限访问模型三个方向;实验覆盖 4 个开源受害模型、9 个基准、6 个提议骨干。
作者指出的局限与后续方向
- 提议覆盖有限(Limitations):实验确立的是已实现提议池内的广度,而非全部有界片段空间的覆盖;生成字符串在训练中越来越集中,替代提议器在同一受害模型和 EPD 标准下恢复出差异很大的 held-out 退化。作者认为负的搜索结果可能反映探索不足而非不存在可迁移片段。
- 后续方向一(Limitations):发展保持多样性的搜索和覆盖诊断,量化随提议支持扩大,恢复出的可迁移片段集合如何扩展。
- 后续方向二(Limitations):聚类和标注分析揭示了反复的、对特定的失败表现,但未建立 response-onset 扰动与下游生成之间的因果计算;可对内部激活做跨触发词因果干预,检验这些回归是否共享同一通路。
- 后续方向三(Limitations):当前实现需要开源受害模型的 next-token 概率;把内源发现扩展到受限访问模型仍未解决。
实验覆盖范围
- 被测受害模型为 4 个开源指令微调模型:Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Gemma-2-9B-IT(Experimental Setup)。
- 评测基准为 9 个公开基准,源语料为 Dolly 15K 去重后的 14,824 条无标注指令;主结果网格为 4 受害模型 × 9 基准共 36 个单元格(Experimental Setup、Table 1)。
- 提议骨干覆盖 6 个:Qwen3-1.7B、Qwen3-4B、Llama-3.2-1B、Llama-3.2-3B、Dolphin3.0-3B、victim-as-generator,构成 24 个受害–生成器对(Table 4)。
- 插入位置覆盖 suffix、prefix、random-position 三种协议;token 预算覆盖 16、32、64 三档,其中 64-token 行为仅 Qwen 受害模型的诊断(Table 1、Table 2)。
- 论文未报告多次重复运行、置信区间或统计显著性检验;失败类别评审为每受害模型 250 条、共 1,000 条,要求 3 名标注者全体一致(正文 Structure and Semantic Forms of Regressions 一节)。
总结一下论文的主要内容
EndoUT 仅凭冻结模型的干净 onset 偏好选出固定触发词,在 4 模型 × 9 基准上平均降效用 40.2 点,迁移跨提议器复现且失败形式因受害模型而异。
一篇攻击类论文,研究在不指定下游失败形式、不用任何任务级反馈时,冻结 LLM 的干净行为能否暴露可复用的上下文漏洞。
- 问题:现有对抗搜索把"什么算失败"预先写进目标(标签、有害目标、judge、任务损失);作者问能否只凭干净行为发现跨输入跨任务迁移的固定插入片段。
- 方法:EndoUT 用 Siamese 式双通道比较同一冻结受害模型在干净与插入片段后的 response-onset 分布,以干净 pass 的首选 token 为参照定义 EPD 评分;GRPO 训练的辅助生成器(默认 Qwen3-1.7B,32 token 预算)在 14,824 条无标注 Dolly 指令上提议候选,按 EPD 选出每个受害模型一个固定触发词,之后在 held-out 基准上原样复用。
- 主结果:4 个受害模型 × 9 个基准上,固定后缀触发词平均 ∆Utility 为 -40.2 个百分点,36 格中 35 格为负;最强固定后缀基线 GCG 为 -24.3,获得 oracle 选择的 PromptBench 池和手写池仅 -6.5 和 -12.1(Table 1)。
- 迁移广度:源侧 Top-20 候选(每受害模型,共 80 个)平均 ∆U 全为负;24 个受害–生成器对的平均 ∆Utility 全为负,但强度从 -1.1 到 -66.5 不等(Table 3、Table 4)。
- 失败结构:19/24 受害–触发词对中至少 70% 回归集中于单一输出簇;评审的 1,000 条回归中主导类别因受害模型而异(Qwen 88.0% short collapse,Mistral 96.8% off-task over-generation),作者称失败形式在受害–触发词层面结构化且不被发现目标规定。
- 作者结论:干净模型行为可作为内源发现信号,下游失败应被视为需要刻画的表现形式而非预先规定的目标;同时作者指出实验只覆盖已实现的提议池、未做因果干预、且需要开源模型的 next-token 概率,扩展到受限访问模型仍未解决。作者计划在论文被接收后发布代码和数据。