研究揭示开源权重模型对 prefill 攻击的系统性脆弱
Exposing the Systematic Vulnerability of Open-Weight Models to Prefill Attacks
作者对 50 个开源权重模型系统评测 23 种 prefill 攻击策略,称所有模型均可被攻破,多数 ASR 超 95%。
攻击者本地部署开源权重模型,可控制推理过程,在生成前预定义初始响应 token(prefilling),无需修改输入提示词或模型权重;受害系统为本地运行的开源权重 LLM,攻击目标是诱导模型输出有害内容。
- 开源权重模型本地部署时无法依赖外部过滤器,主要靠内部对齐防滥用。prefilling 让攻击者预定义初始响应 token,可能绕过拒答,但此前缺乏系统研究。
- 作者定义 23 种模型无关 prefill 策略(多数为新提出),用 abliterated Gemma3 27B 为每个有害请求生成 5 个变体,在 50 个模型上评测,用 GPT-OSS-Safeguard 与 Qwen3Guard 双评审判定成功,并探索模型专属 prefill。
- 作者称所有被测模型均可被 prefill 攻破,多数模型 ASRany 接近 100%;模型规模不带来鲁棒性;GPT-OSS 与 Qwen3-Next Thinking 对通用 prefill 有一定抵抗力,但模型专属 prefill 仍可达 92.2% 和 83.8% ASR。
- 作者指出:请求多为一般性信息查询、未测高度专业化请求;评测完全依赖自动评审,存在误分类且未人工核验有害内容的事实正确性。后续方向包括多阶段 prefill、与输入越狱组合、LLM 自动生成 prefill 等。
- 被测模型
- Qwen3-BaseQwen3Qwen3-2507Qwen3-NextDeepSeek-R1Llama 3Llama 4GPT-OSSKimi-K2-ThinkingGLM-4.7
- 基准
- ClearHarmStrongREJECTMATH-500GPQA Diamond
- 指标
- ASRanyASRbestASRminPass@1
研究者评估了 23 种 prefill 策略在 6 家厂商 50 个开源权重模型上的效果,发现与模型无关的 prefill 攻击对所有被测模型都能诱导有害输出,多数成功率超过 95%,作者称这是针对该攻击面规模最大的一次实证研究。实验以 ClearHarm 的 179 条 CBRN 有害请求为主,用 GPT-OSS-Safeguard 20B 与 Qwen3Guard 8B 两个护栏模型评判并取较低判定计成功率;最强单一策略在 GLM-4.7 上为 74%,在 Kimi-K2-Thinking、DeepSeek-R1、Qwen3-Next Instruct 和 GPT-OSS 上超过 90%,用上全部策略后接近 100%。
推荐理由论文在 6 家厂商 50 个开源权重模型上比较 23 种 prefill 策略,给出攻击成功率与模型规模、推理阶段的关系。
深度解读
这篇论文试图解决什么问题?
系统评测开源权重模型对 prefill 攻击的脆弱性,此前该攻击向量缺乏系统研究。
开源权重模型原生支持 prefilling(攻击者可预定义初始响应 token),但这一攻击向量此前缺乏系统性研究,其对最新模型的威胁程度未知。
- 问题场景:闭源模型可依赖输入输出过滤器等外部防护,开源权重模型本地部署时这些防护可被禁用,只能依靠内部对齐拒答有害请求;prefilling 让攻击者在本地推理时控制初始响应 token,使模型偏向顺从输出(Figure 1)。
- 现有研究不足:作者称,以往红队研究主要关注输入型越狱和参数级操纵;已有 prefill 研究只评测了少数模型和策略,泛化性有限,且缺少模型无关与模型专属 prefill 之间的比较。
- 核心观察:安全对齐通常让模型在有害提示后立刻给拒答 token 赋高概率;用顺从前缀约束生成后,后续输出以"已同意"为上下文,拒答 token 概率下降,作者认为这会削弱此类防护,尤其在对齐较浅时。
- 论文贡献:作者呈现其称为迄今最大规模的 prefill 攻击实证研究,在 6 家提供方的 50 个模型上评测 23 种策略(多数为新提出),并分析模型规模、推理模型和模型专属 prefill 的影响。
- 威胁模型:
- 目标:诱导模型输出有害内容(以 ClearHarm 的 CBRN 请求为主要评测对象)。
- 知识:攻击者拥有模型权重并可本地执行推理(open-weight 设定)。
- 能力:控制推理关键环节,在生成开始前预定义初始响应 token;不修改输入提示词,也无需昂贵优化。
- 受害系统:本地部署的开源权重 LLM,包括大型推理模型。
有哪些相关研究?
相关工作分输入型越狱、prefill 研究和开源模型特有威胁三组,作者称以往 prefill 研究规模小。
输入型越狱(input jailbreak)
- Yuan et al. (2023)、Liu et al. (2024)、Shen et al. (2024)、Hughes et al. (2024)——通过提示词改写、角色扮演、增强等方式构造输入绕过安全机制。
- Chao et al. (2025)、Andriushchenko et al. (2024)——对抗优化类越狱;作者称许多白盒攻击需要大量计算或人工工程,限制了可扩展性。
开源权重模型的特有威胁
- Zou et al. (2023)、Zhu et al. (2023)、Arditi et al. (2024)、Qi et al. (2023)、Zhan et al. (2024)——作者称开源模型因本地部署和权重可访问面临额外威胁。
- Qi et al. (2025)——提出安全对齐可能"较浅",作者借此解释 prefill 为何有效。
Prefill(priming)攻击研究
- Vega et al. (2023)——最早展示早期开源权重模型对简单 prefill 的脆弱性。
- Xue et al. (2024)——探索用上下文学习和微调缓解 prefill;Li et al. (2025)——用攻击方 LLM 精炼 prefill;Lv et al. (2025)——混合良性与有害指令;Andriushchenko et al. (2024)——将 prefilling 与黑盒后缀优化结合。
- Dotsinski and Eustratiadis (2026)——研究 prefill 与梯度攻击的混合,但作者指出其只在三个较小或过时模型和单一策略上评测。
基线与基准:本文基线为无 prefill 的直接提示(每请求发 23×5 次查询模拟暴力尝试);攻击评测用 ClearHarm(179 条 CBRN 有害请求)和 StrongREJECT(313 条),效用评测用 MATH-500 和 GPQA Diamond。
作者将本文定位为对 prefill 攻击的首个大规模系统比较:覆盖 23 种策略、50 个近期模型,并区分模型无关与模型专属 prefill,弥补以往研究模型少、策略少、缺乏横向比较的缺口。
论文如何解决这个问题?
定义 23 种模型无关 prefill 策略,在 50 个模型上用双护栏模型评审 ASR,并探索模型专属 prefill。
整体思路:形式化 prefill 攻击后,构建 23 种模型无关 prefill 策略,在 50 个开源权重模型上系统评测,用两个护栏模型判定攻击成功,并针对推理模型设计模型专属 prefill。
问题形式化
- 标准生成中,模型按 PM(yt ∣ x, y<t) 自回归采样;prefill 攻击强制前 k 个 token 为攻击者选定的前缀 ŷ1:k,生成从第 k+1 步开始,即 yk+1 ∼ PM(· ∣ x, ŷ1:k)。
- 作者的解释:对齐让模型在有害请求后立即输出拒答 token;强制顺从前缀使后续生成以"已同意"为上下文,拒答概率下降。
23 种模型无关策略
- 策略不模仿模型特定行为,多数为本文新提出,完整描述和示例见附录 B(Table 1),包括 Affirmative Generic/Targeted/Past、Language Switch、Distractors、Fragmented Punctuation、Self-referencing、Continuation Partial/Full、Code Completion、Fake Citation、Logic Failure、Authority Impersonation、Persona Switch、Self Justification、System Simulation、Role Chaining、Evaluative、Intent Hijacking、Context Noise、Reverse、Junk Tokens、Leet Speak。
- 其中 20 种策略的 prefill 由 abliterated("uncensored")Gemma3 27B 生成:输入原始请求、一个示例和生成指令,每请求收集 5 个变体;失败时重试至多 10 次,仍失败则用 abliterated Qwen3-2507 30B 补生成。
- Reverse、Junk Tokens、Leet Speak 三种由 Python 函数对 Affirmative Targeted 的 prefill 做确定性变换得到,合计每请求 23×5 个 prefill。
- 良性基准的 prefill 改用 GPT-5 Mini 生成(作者称 abliterated 模型无法为数学请求生成有效 prefill),并人工抽查风格一致性;评测前对输出做自动筛选以降低刻意降低可读性的策略带来的偏差。
推理模型与模型专属 prefill
- 推理模型在 start-of-thinking token 后开始推理阶段;prefill 加在该 token 之后,跳过推理则在 prefill 前再加 end-of-thinking token(附录 A.4)。
- GPT-OSS 使用 Harmony 格式:分别测试 analysis 通道内 prefill、空 analysis 通道后接 final 通道 prefill、无 analysis 通道三种设置。
- 模型专属 prefill:分析模型对边界有害请求的典型开头(先做简短安全分析),模仿该行为构造把当前请求评定为安全的分析文本;作者称未做大量提示工程。
成功判定与指标
- 评审模型为 GPT-OSS-Safeguard 20B(自定义 policy,附录 F;输出违规判定、0–5 helpfulness 分并线性缩放到 [0,1])和 Qwen3Guard 8B(二分类标签);helpfulness 分 h ≥ 0.8 判攻击成功;两个评审都看不到 prefill 字符串,只看原始请求和响应。
- 主指标 ASRmin 取两个评审的较低分(保守下界);ASRany 为请求级(23 种策略任一成即成功),ASRbest 为策略级(最佳单一策略成功率)。
- 无 prefill 基线每请求同样发 23×5 次查询;效用用 MATH-500 和 GPQA Diamond 的 Pass@1(5 个变体平均)与无 prefill 基线比较。
- 生成设置:ClearHarm/StrongREJECT 最大 4,096 token,MATH-500/GPQA 16,384 token;默认超参数、BF16,Llama3-405B 与 GLM-4.7 用 FP8,DeepSeek-R1 与 Kimi-K2-Thinking 用 4-bit 量化。
论文做了哪些实验?
50 个模型全部可被 prefill 攻破;规模不带来鲁棒性;模型专属 prefill 进一步攻破有抵抗力的推理模型。
实验设置
- 被测模型:6 家共 50 个模型——Qwen3(Base 0.6B–30B、Thinking 0.6B–32B、2507 Thinking/Instruct 4B–235B、Next 80B Thinking/Instruct)、DeepSeek-R1(671B 及 1.5B–70B 蒸馏)、Llama 3 Base/Instruct(1B–405B)、Llama 4 Scout/Maverick、GPT-OSS 20B/120B、Kimi-K2-Thinking、GLM-4.7 355B。
- 数据集:ClearHarm(179 条 CBRN 有害请求,主基准)、StrongREJECT(313 条,附录 E);效用用 MATH-500、GPQA Diamond。
- 指标:ASRmin(主指标,取 GPT-OSS-Safeguard 与 Qwen3Guard 较低分)、ASRany、ASRbest;效用为 Pass@1。
- 评审方式:GPT-OSS-Safeguard 20B(自定义 policy)与 Qwen3Guard 8B,h ≥ 0.8 判成功;评审看不到 prefill。
- 样本量:每请求 23 策略 × 5 变体;无 prefill 基线同样 23×5 次查询;与 abliterated 模型对比时每请求 5 次独立运行。
主结果
ClearHarm 上六个代表模型的 ASRmin(据 Figure 2 与附录 E 各表;GPT-OSS 为空 analysis 通道设置):
表格较宽,可左右滑动
模型 无 prefill ASRbest 无 prefill ASRany Prefill ASRbest Prefill ASRany DeepSeek-R1 671B 54% 83% 96% 99% GLM-4.7 16% 30% 74% 91% GPT-OSS-120B(空 analysis) 16% 32% 92% 100% Kimi-K2-Thinking 8% 15% 92% 97% Qwen3-Next (Thinking) 1% 6% 32% 75% Qwen3-Next (Instruct) 1% 7% 87% 96% - 作者称所有被测模型家族均受影响,ASRany 对几乎所有模型接近 100%,Qwen3-Next Thinking 也有 75%。
- 作者指出 Qwen3 Base、DeepSeek-R1 蒸馏和多数 Llama 3/4 模型在无 prefill 暴力查询下 ASR 已较高,prefill 进一步放大。
- 模型规模(Figure 3):各家族内不同参数量的 ASRany 大体相近,作者认为规模本身不降低脆弱性;例外是 Qwen3-2507 Thinking 越大 ASR 越高,作者推测可能与其 MoE 架构有关。
推理模型与 GPT-OSS 专项
- 推理阶段 prefill:DeepSeek-R1、Qwen3、GLM-4.7、Kimi-K2-Thinking 的有害内容几乎全在推理阶段生成、end-of-thinking 后常接拒答,但因有害信息已生成仍计为成功。
- GPT-OSS 三设置(ClearHarm,Tables 20/22/24):analysis 通道内 prefill 的 ASRany 为 25.1%(120B,正文约 25%);空 analysis 通道为 100%;无 analysis 通道为 98.3%。作者称空 analysis 输出更详细(有害响应平均 1,754 token)。
- 跳过推理阶段(Qwen3、DeepSeek-R1,附录 E.3/E.9):成功率同样高、偶尔更高,但输出细节较少;Qwen3-2507 与 Qwen3-Next 会忽略插入的 end-of-thinking token,故未单独报告。
策略有效性与效用代价
- 策略对比(Figure 4、附录 C):六个代表模型上平均 ASR 最高为 System Simulation 73.7%、Fake Citation 67.5%、Continuation Full 67.3%;最低为 Intent Hijacking 14.6%、Reverse 18.3%、Affirmative Generic 19.6%;明确引用目标主题的请求特定变体(47.1%)优于通用肯定句(19.6%)。
- 效用(附录 D,MATH-500):GPT-OSS-120B 空 analysis 下 Pass@1 较 96.2% 基线降 10–54 个百分点;Qwen3-Next 多数策略几乎无损,个别略有提升;GPQA Diamond 平均降 14.8 个百分点(正文)。
- 模型专属 prefill:GPT-OSS 上 ASR 92.2%,有害响应平均 2,912 token(模型无关策略为 1,754),MATH-500 差距缩至 4.8pp、GPQA 缩至 4.1pp;Qwen3-Next Thinking 上 ASR 54.8%(比最佳模型无关策略高 22.4pp),提前终止推理后升至 83.8%。
与 abliterated 模型的对比
- ASR 对比:abliterated 模型 ASR 分别为 Qwen3-Next Thinking 78.2%、Qwen3-Next Instruct 91.6%、GPT-OSS-120B 98.3%,与 prefill 攻击者拥有全部策略时的结果大致相当。
- 输出质量:GPT-5.2 一对一比较(附录 G)中,GPT-OSS-120B 的 prefill 响应 86.9% 更优;Qwen3-Next Instruct/Thinking 的 abliterated 响应 85.8%/92.2% 更优;模型专属 prefill 使 Qwen3-Next Thinking 的 prefill 偏好率升至 28.5%。
其他消融与分析
- StrongREJECT 结果(附录 E)与 ClearHarm 趋势一致,如 Kimi-K2-Thinking prefill ASRany 96.5%。
- Qwen3 跳过思考模式(Table 6)ASRany 0.905–0.966,与思考阶段 prefill(Table 4)相近。
- DeepSeek-R1 671B 无 prefill 暴力查询 ASRany 已达 83.2%(Table 16),作者称其基础对齐较弱。
- 论文未报告统计显著性检验;ASR 为单次评测结果,重复次数仅出现在 abliterated 对比(5 次)和效用评测(5 个变体平均)。
有什么可以进一步探索的点?
作者列出请求类型单一、纯自动评审两类局限,并提出多阶段 prefill 等后续方向。
作者指出的局限与后续方向
- 请求类型有限(Discussion):有害请求主要为一般性信息查询、几乎不需要推理;未评测高度专业化或技术复杂的请求,作者认为 prefill 可能迁移但效果和输出质量可能不同。
- 仅依赖自动评审(Discussion):个别响应可能被误分类,人工检查发现少量假阳性和假阴性(作者称不影响整体趋势);评审对有害性的定义未必反映真实影响。
- 未核验事实正确性(Discussion):作者未独立验证有害输出的事实正确性(需要敏感领域专业知识),仅基于模型在良性查询上的准确性推测其大体正确。
- 后续方向(Discussion):多阶段 prefill(在拒答后继续注入前缀);系统分析 prefill 长度与结构;与输入型越狱组合;更深入研究模型专属 prefill 及其可迁移性;用 LLM 优化自动生成高效 prefill。
- 架构方向(4.2 节):作者认为探索 MoE 等架构变体可能是研究 prefill 鲁棒性的有前景方向。
实验覆盖范围
- 被测模型为 6 家提供方共 50 个开源权重模型,覆盖 Qwen3、DeepSeek-R1、Llama 3/4、GPT-OSS、Kimi-K2-Thinking、GLM-4.7 家族。
- 攻击评测基准为 ClearHarm(179 条)与 StrongREJECT(313 条);效用评测为 MATH-500 与 GPQA Diamond,且仅限 GPT-OSS-120B 和两个 Qwen3-Next 模型。
- 成功判定完全由 GPT-OSS-Safeguard 20B 与 Qwen3Guard 8B 自动完成;论文未报告评审与人工判断的一致性比例。
- 模型专属 prefill 只在 GPT-OSS 与 Qwen3-Next Thinking 上探索;与 abliterated 模型的输出质量对比为初步一对一比较,由 GPT-5.2 评审。
- 论文未报告攻击评测的重复次数和置信区间,也未评测任何针对 prefill 的防御方法。
总结一下论文的主要内容
50 个开源权重模型全部可被 prefill 攻击攻破,模型专属 prefill 连有抵抗力的推理模型也不幸免。
一篇关于开源权重 LLM 安全的攻击评测论文,作者是 FAR.AI 的 Lukas Struppek、Adam Gleave、Kellin Pelrine。
- 问题:开源权重模型本地部署时只能靠内部对齐防滥用,而 prefilling(攻击者预定义初始响应 token)这一攻击向量此前缺乏系统研究。
- 方法:定义 23 种模型无关 prefill 策略(多数新提出),用 abliterated Gemma3 27B 每请求生成 5 个变体,在 6 家 50 个模型上评测;GPT-OSS-Safeguard 与 Qwen3Guard 双评审取较低分(ASRmin),h ≥ 0.8 判成功。
- 主结果:作者称所有模型均可被攻破,多数 ASRany 超 95%;六个代表模型中 ASRany 从 Qwen3-Next Thinking 的 75% 到 GPT-OSS-120B(空 analysis)的 100%(Figure 2)。
- 规模与架构:同家族内不同参数量 ASRany 大体相近,作者认为规模不带来鲁棒性;Qwen3-2507 Thinking 反而越大越脆弱。
- 推理模型:GPT-OSS 对 analysis 通道内 prefill 较鲁棒(ASRany 25%),但空 analysis 通道 prefill 达 99% 以上;模型专属 prefill 在 GPT-OSS 上 ASR 92.2%、输出更详细,在 Qwen3-Next Thinking 上提前终止推理后 ASR 83.8%。
- 作者结论:prefill 是对开源权重 LLM 可靠且有效的攻击向量,近期对齐进展未解决该问题;作者呼吁模型开发者优先研究 prefill 防御,并指出纯自动评审、请求类型有限等局限。