ENDOPROMPT：用受害者侧伪参考学习降低模型任务效用的前缀

核心问题是：如何不借助任务标签或预设失败答案，发现让良性请求失败的提示词前缀。

• 风险场景：作者指出，提示注入可以让回复错误、不完整或偏离请求，同时不产生有害内容，也不明确拒答；因此需要直接测量良性任务表现。
• 现有目标的差别：作者指出，通用触发器可以优化任务损失或目标输出，GCG、AdvPrompter 使用有害回复目标；这些目标直接规定优化行为。
• 核心观察：干净续写可以作为受害模型行为的参考，而不必是正确答案。作者用降低该续写似然的前缀提供扰动方向，任务错误另行评测。
• 威胁模型：
  • 目标与知识：降低良性任务效用；离线训练具有 white-box 模型概率访问权限。
  • 输入控制：只控制 user message 中拼接的前缀；原请求和 system instructions 不变。
  • 受害系统与部署：受害模型参数冻结；部署时生成器只接收请求文本，不再进行受害模型侧搜索。
  • 评测隔离：基准请求、答案和评分规则不参与训练及检查点选择。
• 提出的方法：ENDOPROMPT 将受害模型引导的搜索转为前缀生成器。作者明确说，“request-conditioned”描述输入接口，不代表已确立请求匹配优势。

相关研究围绕对抗文本、越狱生成器和良性效用损失展开。

对抗文本与离散提示词优化

• Jin 等（2020）、BERT-ATTACK（2020）与 UAT（2019）——分别涉及输入特定的词替换和通用 token 序列攻击。
• MINIMAL（2021）——挖掘不依赖训练样本的通用对抗触发器，减少对训练实例的依赖。
• AutoPrompt（2020）、Wen 等（2023）——针对指定目标优化离散提示词。

越狱搜索与生成器

• GCG（2023）、BEAST（2024）——搜索越狱后缀；AmpleGCG（2024）学习此类后缀的生成器。
• AdvPrompter（2025）、ProAdvPrompter（2025）——训练输入条件化生成器以获得有害服从。作者将这两项工作视为与自己的方法尤其相关。

提示词鲁棒性与可用性攻击

• PromptRobust（2024）、Cao 等（2024）——考察模型对措辞、格式及最差提示词的敏感性。
• System prompt poisoning（2025）、Zhang 等（2025）——分别研究系统提示词投毒，以及利用护栏误报干扰良性使用。

实验中的参照方法

• 基线方法与数据：Table 1 比较 UAT、GCG-16、BEAST、AmpleGCG、AdvPrompter、SPP，使用 GSM8K、MATH-500、BBH、HellaSwag、TruthfulQA、IFEval、MMLU。
• 比较边界：这些方法保留各自原生目标和输入通道。作者将它们定位为背景参照，而非目标与通道匹配的排名。

作者称 ENDOPROMPT 延续搜索到生成器的路线，但用干净受害模型续写提供监督，并将无标签指令上的攻击发现与留出基准上的任务表现测量分开。

ENDOPROMPT 将干净受害模型续写作为伪参考，通过离线搜索、偏好拟合和奖励精炼学习前缀生成器（Figure 2）。训练信号衡量行为位移，良性任务效用则独立评测。

伪参考与位移奖励

• 固定行为参考：冻结的受害模型对无标签指令贪心生成干净续写，最多 64 token；该续写不要求正确。
• 核心定义：r(z;u)=meanNLL_θ(ỹ(u)∣ c_θ(z⊕ u))−meanNLL_θ(ỹ(u)∣ c_θ(u))。这是 Equation (2) 的均值 NLL 差写法：正奖励表示前缀降低了同一干净续写的似然。
• 测量边界：两项都对相同干净 token 使用 teacher forcing。奖励不直接测量任务错误，也不使用基准答案或目标失败字符串。

同指令搜索与偏好拟合

• 候选比较：生成器提供候选，局部搜索继续寻找前缀，按位移奖励排序。同一指令下的比较保持行为参考固定。
• 偏好学习：符合条件的最高、最低奖励前缀组成偏好对；生成器使用长度归一化的成对目标拟合，β=0.1，参考策略为拟合前策略。
• 迭代连接：初始生成器 R0 使用位移奖励训练；后续轮次把更新后的生成器用于下一轮候选生成。

奖励精炼与检查点选择

• 精炼模块：偏好拟合后，GRPO 使用相同位移奖励继续训练，每阶段最多 260 次更新，并按奖励提前停止。
• 独立选择：每轮在 600 条不重叠的 Dolly 指令上测量平均位移奖励。首轮 R1 为初始保留点，后续至少增加 0.03 才替换。
• 停止规则：连续两次未获接受或达到 R6 时停止；最终评测保留的检查点，而非必然使用最后一轮。

部署与效用测量

• 单次生成：每个受害模型训练一个生成器；部署时确定性生成前缀，再将它与原请求拼接交给冻结的受害模型，不进行在线搜索。
• 独立任务评分：ΔUtility 是攻击条件减去干净条件的平均任务分数差，以百分点表示；相同请求和参考答案用于两种条件，负值表示效用下降。
• 接口与因果区分：作者强调，生成器接收请求不等于每个请求得到独特前缀，也不等于请求匹配本身增强了退化。

主实验测量良性任务效用变化，并分别检查搜索收益、回复特征和请求—前缀匹配。

实验设置

• 被测模型：Qwen2.5-7B、Llama-3.1-8B、Mistral-7B-v0.3、Gemma-2-9B；生成器均初始化自 Dolphin3.0-Llama3.2-3B。
• 完整评测划分：GSM8K 1,319 条、MATH-500 500 条、BBH 6,511 条、HellaSwag 10,042 条、TruthfulQA 817 条、IFEval 541 条、MMLU 14,042 条。
• 推理条件：GSM8K、BBH、MMLU 分别提供 4、3、5 个示范，其余无示范。两种条件共用格式化请求、chat template、贪心解码及 512-token 输出上限。
• 评分与指标：HellaSwag、TruthfulQA、MMLU 共用答案提取器，其余用原生评分；IFEval 用 strict prompt-level 评分。ΔUtility 为攻击减干净的分数差。
• 训练与参照：训练使用 Dolly-15k 的 2,400 条指令，丢弃原回复和标签；各运行 seed 42。参照为 UAT、GCG-16、BEAST、AmpleGCG、AdvPrompter、SPP。
• 不确定性与辅助模型：28 个单元等权平均；置信区间用 20,000 次配对 bootstrap，同基准跨模型共享重采样。未报告 LLM 裁判；GPT-5.6 辅助代码、可视化和文字润色。

主结果

下表均为 ENDOPROMPT 的 ΔUtility，单位为百分点；均值及检查点据 Table 1，单基准数值据 Figure 4。

Swipe horizontally to read the table

受害模型	保留检查点	七基准平均	BBH	MMLU
Qwen2.5-7B	R1	-14.3	-52.1	-8.3
Llama-3.1-8B	R1	-47.2	-56.6	-3.6
Mistral-7B-v0.3	R2	-19.7	-12.5	1.8
Gemma-2-9B	R1	-26.0	-33.9	-2.2

• 总体结果：28 个单元平均变化为 -26.8 个百分点，95% CI 为 [-27.4, -26.2]；其中 27/28 个为负（Table 1、§4.2）。
• 例外：作者报告，Mistral 在 MMLU 上是唯一正值单元；效用变化幅度随受害模型和基准而异（Figure 4）。
• 参照解释：Table 1 的其他攻击保留原生目标与通道，作者明确不将这些行视为匹配目标的攻击排名。

搜索与轮次选择

• 搜索收益：9,600 个受害模型—指令案例中，96.5% 的搜索胜者超过原始最佳提案，平均增加 0.125 NLL/token；二者在同次搜索中重评分（§4.3）。
• 监督数据：保留检查点之前的搜索阶段产生 9,597 个合格的同指令偏好对。作者将搜索比较解释为搜索收益，不作为下游效用收益。
• 检查点证据：Figure 3 图注明确菱形标记保留点，纵轴为 Reward，四面板纵轴尺度不同；纯文本不能读取曲线位置或端点值。

回复层面的失败与前缀复用

• 退化回复：36,750 个干净正确、攻击错误的模型—请求对中，58.4% 的输出 token 至少翻倍，39.5% 未提取到答案，0.3% 匹配固定拒答词表（§4.4）。
• 指标边界：Figure 5(a) 的类别可重叠；拒答近似指标是固定词汇匹配，三项均非语义失败标签。上述比例按退化样本汇总，区别于主结果的单元等权均值。
• 前缀集中：大小写与空白归一化后，Qwen、Llama、Mistral、Gemma 的不同前缀比例分别为 2.5%、4.7%、0.4%、1.9%；各分母为 33,772 次请求（Figure 5(b)）。

固定生成器的请求匹配对照

• 匹配与打乱：matched-minus-shuffled 为 +0.21 个百分点，95% CI [-0.06, +0.48]；matched-minus-empty 为 -0.30，95% CI [-0.65, +0.06]（§4.4）。
• 复用众数前缀：作者报告退化增加 2.79 个百分点，95% CI [2.46, 3.13]；modal gap 在 Gemma 为 +6.61、Llama 为 +5.04，Qwen、Mistral 均小于 0.3（§4.4）。
• 因果边界：作者称这些对照未确立匹配优势；复用已生成的众数前缀是集中程度诊断，并非训练过的无条件生成器基线。

其他消融与分析

• 拟合前后：四模型七基准平均 ΔUtility 从拟合前 -23.6 到拟合后 -5.5，完整精炼后为 -26.8 个百分点（Table 1）。
• 去除偏好循环：直接奖励精炼的平均 ΔUtility 为 -20.4 个百分点（Table 1）。
• 打乱伪参考：置换续写后的平均 ΔUtility 为 -16.1 个百分点（Table 1）。
• 前缀众数频率：Qwen 24.8%、Llama 11.8%、Mistral 65.0%、Gemma 31.6%，各分母为 33,772（Figure 5(b)）。

作者将结论限定在离线白盒概率访问和用户前缀插入，并明确保留请求匹配的因果问题。

作者指出的局限与后续方向

• 适用范围：结论适用于离线概率访问、开放权重受害模型和用户前缀插入；闭源模型迁移与间接注入在研究范围之外（§4.5）。
• 重训变异：每个受害模型只有一个随机种子，因此报告的区间不估计重新训练的变异（§4.5）。
• 请求输入的因果价值：仍需要匹配的无条件生成器分支；现有消融改变拟合或伪参考，而非直接隔离请求输入的作用（§4.5）。
• 产物计划：作者计划在论文被接收后发布代码；摘要没有将其表述为已经发布。

实验覆盖范围

• 对象与任务：实验包括四个 instruction-tuned 受害模型和七个良性基准的完整划分；每个模型配备自己的生成器（§3.3、§4.1）。
• 监督隔离：训练使用无原回复和标签的 Dolly 指令；检查点由另 600 条不重叠指令上的位移奖励选择，下游评分不参与选择（§4.1）。
• 控制类型：重训消融包括去除偏好循环、置换伪参考；固定生成器控制改变请求—前缀分配，并复用众数前缀（§4.3–4.4）。
• 评分证据：任务评分使用原生评分器或答案提取器；回复诊断使用 token 数、提取失败和固定拒答词汇匹配，论文未报告人工语义评估（§4.1、§4.4）。
• 区间条件：bootstrap 在已评测检查点条件下进行，使用基准内配对重采样和跨受害模型共享样本；训练运行均用 seed 42（§4.1）。

ENDOPROMPT 是一种用受害模型自身续写监督前缀生成的 white-box 效用攻击方法。它针对良性任务失败，不要求产生有害内容或明确拒答。

• 问题与方法：作者不使用任务标签或预设失败回复，而以干净续写的似然下降排序候选，随后进行偏好拟合和奖励精炼；部署只需一次生成器调用。
• 总体效用：四受害模型、七基准的平均 ΔUtility 为 -26.8 个百分点，95% CI [-27.4, -26.2]；27/28 个单元效用下降（Table 1、§4.2）。
• 模型差异与例外：Llama-3.1-8B 的 R1 在七基准上的平均变化为 -47.2 个百分点（Table 1）；Mistral-7B-v0.3 在 MMLU 为 +1.8，是唯一正值单元（Figure 4）。
• 失败形式：36,750 个正确转错误样本中，58.4% 的输出 token 至少翻倍，只有 0.3% 命中固定拒答词表；作者称这些诊断不等于语义失败标签（§4.4）。
• 匹配效果：固定生成器对照的 matched-minus-shuffled 为 +0.21 个百分点，95% CI [-0.06, +0.48]；作者称未确立请求匹配的退化优势（§4.4）。
• 作者的启示与边界：作者主张直接测量注入后的良性任务保持，并检查回复和常见前缀；结论限定于离线概率访问、开放权重受害模型和用户前缀插入。