研究者提出 Reward Stealing Attack，从对齐模型行为反推安全奖励实施攻击

如何只从对齐LLM的行为恢复潜在安全奖励，并把它变成不逐提示优化、也不依赖严格模型对的攻击信号。

• 场景：作者认为RLHF、RLVR等对齐把输出分布塑成受潜在安全奖励调节的形式；该奖励不显式给出，却跨提示、跨模型约束行为。作者把红队视为暴露漏洞、为更安全部署提供缓解线索的必要工作。
• 现有不足：作者称提示词操纵要么逐查询优化，要么离线训练通用后缀，计算贵；对比解码要在分词器与词表一致的安全/不安全模型对上做logit对比。二者因此难扩展、难通用。
• 核心观察：作者由KL正则下的奖励最大化推出，最优对齐策略是基座分布经安全奖励指数倾斜后的形式。因此奖励反映在πsafe的输出分布中，可只从轨迹恢复，再反转对齐目标。
• 提出方法：Reward Stealing Attack（ReSA），两阶段框架。作者称这是把reward-stealing用于LLM红队的首次提出：最大熵逆强化学习恢复代理奖励，推理时用奖励引导解码得到对抗策略。
• 威胁模型：
  • 目标：诱导有害生成，即最小化代理安全奖励，同时用相对对齐策略的KL约束维持生成质量。
  • 知识：不访问原始奖励模型；代理奖励只从对齐模型在有害提示上的可观察行为恢复。主实验在解码时使用目标logits。附录D.4把商业API称为grey-box，只用暴露的top-k log-probabilities，并称无white-box访问。
  • 能力：把对齐模型当专家策略并采样轨迹；攻击阶段不改目标参数，只对候选token做负奖励引导。
  • 受害系统：安全对齐LLM。主实验为开源Instruct模型；附录延伸到暴露top logprob的商业API。

提示词操纵

• GCG（Zou等, 2023）、COLD-Attack（Guo等, 2024）、SCAV（Xu等, 2024）——把对抗生成写成离散优化，用梯度搜索或语义约束引出非预期行为。作者在第5节称，这类方法因逐查询迭代而计算贵。
• 附录C另述黑盒提示精炼：PAIR（Chao等, 2025）、TAP（Mehrotra等, 2024）；以及FlipAttack、CEAttack、ArtPrompt。参数层则包括Shadow Alignment与HarmRLVR。这些条目论文只作描述，未逐篇与ReSA对比。

对比解码

• Contrast-Attack（Zhou等, 2024）与Weak-to-Strong（Zhao等, 2025）——推理时利用受害模型与辅助模型的logit差改输出分布。作者称它们常依赖启发式运算和特定模型配对。

安全对齐

• RLHF（Ouyang等, 2022）从人类反馈学奖励，并在KL正则下优化策略；SafeRLHF（Dai等, 2023）把显式安全约束纳入奖励学习与训练。
• DPO（Rafailov等, 2023）不显式建奖励，直接优化偏好似然。RLVR在相关工作中引Lambert等（2024），引言另引Guo等（2025），用可验证奖励替代人类偏好以扩展后训练。

解码时对齐

• 附录C把ARGS、CARDS、Transfer Q*、GenARM归为一组：推理时把生成导向高奖励，不更新参数。论文未把它们列为攻击基线。

基线与基准：实验基线为GCG、COLD-Attack、SCAV、Contrast-Attack、Weak-to-Strong；附录另有decoding-time GCG与Linear Probing。评测用AdvBench与HarmBench；IRL的有害提示来自Shadow-Alignment。

作者把ReSA与上述攻击的区别放在：不逐提示优化，也不要求分词器一致的模型对，而是从单一对齐模型的行为恢复代理安全奖励，再在解码时反转。作者称这是reward-stealing红队视角的首次提出。

ReSA分两段：把对齐模型当专家，用最大熵IRL恢复代理安全奖励Rθ；再反转该奖励，用奖励引导解码实现对抗策略。附录A给算法，附录B给两个命题的证明。

问题设定

• LLM是随机策略π(y|x)，轨迹τ=(x,y)。πbase为预训练基座，πsafe为安全对齐模型。
• 对齐目标是在靠近πbase的前提下最大化潜在安全奖励R*。作者写出最优πsafe为基座分布的指数倾斜，从而认为R*已编码在πsafe中。
• 提示分布Px被限制为有害提示，使优化只对准安全相关的条件分布，以便分离恶意上下文触发的奖励。

奖励提取

• 专家为πsafe。DE是有害提示与πsafe回复拼成的轨迹，不使用原始奖励模型。因多个奖励都能解释同一批轨迹，采用最大熵原则：在匹配专家特征期望的分布中选熵最大者。
• 命题1给出玻尔兹曼闭式。代理奖励取线性形式Rθ(τ)=θ⊤Φ(τ)。Φ冻结，θ可学习，从而把特征提取和奖励优化分开，并用特征匹配的闭式梯度更新θ。
• 实现上，Φ是Llama3.2-1B-Instruct的最后隐状态，θ为随机初始化线性头。模型期望不可解析，故引入actor πϕ作采样器；初值为Llama3.1-8B。actor用GRPO最大化Rθ，参考策略是actor初始化，优势由组内奖励归一化得到。算法里用πϕ的特征期望代替Pθ的期望。
• 作者把Rθ与πϕ的交替更新类比为GAN：Rθ给专家轨迹更高奖励，πϕ则提高奖励以靠近专家。

对抗生成

• 攻击写成约束优化：最大化负的代理奖励，且相对πsafe的KL不超过ϵ。命题2的闭式是

π_adv^∗(y|x)=1/(Z^∗(x))π_safe(y|x)exp(−α R_θ(x,y)) α>0权衡攻击强度与生成质量。作者称该式不绑定奖励提取时的那一个πsafe，故可换到其他对齐模型的logits上。

• 序列级配分函数难采样，故作自回归近似：每步在目标log概率上减去token奖励。常数α会改动对安全奖励几乎无贡献的中性token，因此用边际奖励m(yt|x<t)=rθ(x<t,yt)−rθ(x<t)调节强度：

α_t=α·(1−exp(−|m(y_t|x_<t)|)) |m|趋于0时αt趋于0；安全相关token才用到接近α的强度。

• 算法1对top-k候选打分、改logits再采样。附录D.2的实验取k=10。

训练与实现参数

• 主设定的专家是Llama3.1-8B-Instruct。GRPO用AdamW，学习率5×10−5，warmup比例0.1，线性调度，4个epoch，batch 16，rollout 8，完成长度256，KL系数0.05；LoRA rank 16、alpha 32、dropout 0.05。奖励学习率1×10−5，最大长度512，专家batch 8。
• 推理temperature为1.0，关闭top-p。除Llama3.1-70B-Instruct用AutoAWQ 4-bit外，多数模型为bfloat16。训练与生成在单张RTX PRO 6000（96GB）上完成。
• 附录D.2把每token开销写成O(Ntarget+k·Nproxy)。作者称代理约为目标0.125倍计算量级，相对标准解码FLOPs约2.25×，且k路打分可批处理。

实验设置

• 目标：Llama3.1-8B-Instruct、Gemma-7B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Gemma2-27B-Instruct、Llama3.1-70B-Instruct。附录另有Qwen3-14B、GPT-3.5-turbo、GPT-4o。主奖励从Llama3.1-8B-Instruct恢复，故该模型同时是专家和目标。
• 数据：IRL的有害提示来自Shadow-Alignment。评测为AdvBench与HarmBench。论文未报告这两套评测集的条数。
• 基线：GCG（500步，top-k=256，30 token后缀）、COLD-Attack（后缀20，Langevin步长0.1，1000次）、SCAV（在Llama3.1-8B-Instruct上用140条恶意与140条安全指令训练分类器）、Contrast-Attack、Weak-to-Strong。后两者使用同族小模型对，例如Llama3.2-3B-Instruct与Llama3.2-3B；Weak-to-Strong的小模型以LoRA（rank 16、α=32）在Shadow-Alignment上训练5个epoch。对比解码的α按目标调节，论文未给出各目标的α。
• 指标：ASR是不含标准拒答字符串的比例，用关键词匹配。GS是按Meta政策的1–5分；Table 10将评分模型记为GPT-oss-120b，正文称GPT judge，Figure 5给出模板。HS用deberta-v3-large-v2。PPL-S用DeepSeek-V2-Lite计算成功攻击的困惑度，越低越连贯。
• 运行：temperature 1.0，关闭top-p；70B为4-bit，其余多为bfloat16；单卡RTX PRO 6000。论文未报告重复次数。附录D.2写每步候选k=10。

主结果

奖励只从Llama3.1-8B-Instruct恢复。下表ASR据Table 1与Table 2；“最高基线”指除ReSA外ASR最高的方法。

表格较宽，可左右滑动

目标模型	AdvBench ReSA	AdvBench最高基线	HarmBench ReSA	HarmBench最高基线
Llama3.1-8B-Instruct（亦为专家）	85.2	85.2（Contrast-Attack，并列）	86.0	83.5（Weak-to-Strong）
Gemma-7B-Instruct	67.7	68.8（Weak-to-Strong）	81.5	81.0（Weak-to-Strong）
Qwen2.5-7B-Instruct	46.3	22.1（GCG）	62.5	52.0（Weak-to-Strong）
Qwen2.5-14B-Instruct	48.5	21.2（COLD-Attack）	60.5	43.0（Weak-to-Strong）
Gemma2-27B-Instruct	26.5	15.8（Contrast-Attack）	37.5	25.0（Contrast-Attack）
Llama3.1-70B-Instruct	86.2	82.7（Weak-to-Strong）	91.0	88.5（Weak-to-Strong）

• 作者称ReSA在所评模型与数据集上为最好或次好，且HS、GS较高，认为这不是只绕过拒答词，而是反转奖励后生成了实质性有害内容。ASR反例是Gemma-7B-Instruct的AdvBench。HS反例：Gemma2-27B-Instruct的AdvBench上ReSA为1.72，Weak-to-Strong为1.87（Table 2）。
• 作者假设不同架构的安全对齐共享潜在特征，并称只从Llama3.1-8B-Instruct学到的奖励可打到7B–70B及Llama、Gemma、Qwen。
• 作者称ReSA的PPL-S更低、更隐蔽，并归因于自适应强度。相对GCG和多种对比解码，表中ReSA的PPL-S更低；相对COLD-Attack则否，例如Qwen2.5-7B-Instruct的AdvBench上COLD-Attack为9.42，ReSA为27.80（Table 1）。

推理模型与商业API

• Qwen3-14B（Table 6）：HarmBench上ReSA的ASR为54.5，Contrast-Attack为29.5，Weak-to-Strong为45.0。作者称54.5 nearly doubling 29.5，且PPL-S相当（ReSA 10.11，Contrast-Attack 9.64）。同列HS上ReSA为1.49，低于Contrast-Attack的1.61和Weak-to-Strong的1.64。
• grey-box API（Table 7，仅top-k log-probabilities）：GPT-4o上ReSA的AdvBench ASR为18.7、GS为1.21、HS为2.37，HarmBench ASR为15.5；GCG分别为10.2与8.5。GPT-3.5-turbo上ReSA为75.2与59.5，GCG为52.8与35.0。作者称ReSA优于GCG，且GCG的PPL-S超过800；Table 7中GCG四格为1055、1586、854、935，ReSA为54.35、53.04、44.57、39.37。
• 论文未说明这两张表的α，也未说明Table 7的k。

IRL是否必要

• Table 3：在Llama3.1-8B-Instruct上，Linear Probing的AdvBench ASR为74.8、HS为2.25，ReSA为85.2、3.64。作者称冻结actor的被动重采样探不到盲区，解码时易被reward hacking；GRPO则把actor变成难负例挖掘器。
• Unalign-Free把Llama3.1-8B-Instruct作actor、Qwen2.5-7B-Instruct作更严的专家。Llama目标上其HarmBench ASR为86.5，同表ReSA为86.0。Qwen2.5-14B-Instruct上，AdvBench ASR为56.2，高于ReSA的48.5；HarmBench为51.5，低于60.5。作者称不必须有完全未对齐的actor，跨家族提取仍可行。
• Figure 3：作者称梯度范数下降与actor有害分数下降同步；从step 0到200，低ASR的安全景观区域变宽变深；密度图呈双峰，安全专家轨迹高分、有害轨迹低分。正文未给出图中坐标数值。

推理时防御

• Figure 4在Llama3.1-8B-Instruct与Qwen2.5-14B-Instruct上比较PPL Filtering和Top-k Token Restriction。正文未给出ASR或阈值。
• 作者称中等PPL阈值下仍保持相当ASR，Top-k限制下仍能越过安全边界，除非激进截断损害生成多样性；并称相对竞争基线，ReSA在这些统计约束下仍构成持续威胁。

其他消融与分析

• α（Table 4，Llama3.1-8B-Instruct，AdvBench，HS/PPL-S）：0.5为1.08/17.11，1.5为3.64/18.77，2.0为3.79/21.52。作者称α≈1.5是较优折中。默认同行AdvBench为3.64/18.77、HarmBench为3.55/16.65，并不对应同一个α行；论文未说明主表所用α。
• 奖励来源（Table 4）：Llama目标上Rθ-DPO的AdvBench HS/PPL-S为3.81/16.76，Rθ-RLVR为2.26/12.08，默认ReSA为3.64/18.77。Qwen2.5-14B-Instruct上Rθ-RLVR的HS为2.09与2.26，高于默认的1.89与1.98。作者称RLVR更稀疏、更难重建；该说法与Qwen行不一致。作者称DPO的困惑度代价更高，表中也不总是如此。
• 去掉αt（Table 4）：Llama的AdvBench HS从3.64到3.15，PPL-S从18.77到17.65；Qwen的AdvBench HS从1.89到1.78，PPL-S从32.62到36.01。作者称恒定强度削弱攻击且不改善连贯性；Llama的PPL-S在去掉后更低。
• Decoding-time GCG（Table 8）：论文未标明数据集。Llama3.1-8B-Instruct上该方法ASR 53.0、HS 0.47、PPL-S 23.16；ReSA行为85.2、3.64、18.77，与Table 1的AdvBench ReSA行相同。
• 墙钟时间（附录D.2，单卡RTX PRO 6000）：Universal GCG离线15582 s、每查询2.45 s；ReSA离线859 s、每查询4.43 s。作者称盈亏平衡约7436次查询，低于该次数时ReSA总时间更短。
• Table 9给出同一请求的对照，PPL为NoAttack 10.56、GCG 856.0、Weak-to-Strong 179.2、ReSA 12.93。此处不转述请求或输出原文。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion、Related Work与附录都没有把某项结果写成局限，也没有列出后续实验。摘要中的代码写为已经提供，不是待完成计划。

实验覆盖范围

• 主结果目标是Llama、Gemma、Qwen的6个Instruct模型，规模7B–70B（Table 1、Table 2）。其中Llama3.1-70B-Instruct以4-bit AutoAWQ加载（附录D.1）。附录另评Qwen3-14B，以及GPT-3.5-turbo、GPT-4o。
• 评测基准是AdvBench与HarmBench；IRL提示来自Shadow-Alignment。论文未报告这两套评测集的条数、重复次数，以及GS与人工判定的一致性。
• 防御实验是Figure 4的PPL Filtering与Top-k Token Restriction，对象为Llama3.1-8B-Instruct和Qwen2.5-14B-Instruct。正文未给出图中数值。
• 主专家是Llama3.1-8B-Instruct。Table 4另从DPO与RLVR对齐模型恢复Rθ；Table 10将二者记为Llama3.1-Tulu-3-8B-DPO与Llama3.1-Tulu-3-8B-RLVR。Unalign-Free的专家是Qwen2.5-7B-Instruct，actor是Llama3.1-8B-Instruct（第4.4节）。
• 商业API实验是grey-box，只用暴露的top-k log-probabilities（附录D.4）。论文未报告该设定的k，也未报告Table 1与Table 2所用的α。

ReSA是一种对抗攻击：从对齐模型的可观察行为恢复代理安全奖励，再在解码时把该奖励反过来用。

• 作者要绕开两类现有红队的条件：提示词操纵的逐查询或离线优化成本，以及对比解码对分词器一致的安全/不安全模型对的依赖。
• 做法是把πsafe当专家，只在有害提示轨迹上用最大熵IRL拟合线性奖励，并用GRPO训练actor去近似不可解析的模型期望。攻击时在KL约束下最大化负奖励，再按token边际奖励缩放强度，改写目标logits。
• 主奖励来自Llama3.1-8B-Instruct。迁到Llama3.1-70B-Instruct后，HarmBench ASR为91.0，AdvBench ASR为86.2（Table 2）。该70B模型以4-bit加载。
• 跨家族时，Qwen2.5-14B-Instruct的HarmBench ASR为60.5（Table 2）；推理模型Qwen3-14B为54.5（Table 6）。GPT-4o在只用top-k logprob的grey-box设定下，AdvBench ASR为18.7，HarmBench为15.5（Table 7）。
• 表中的例外包括：Gemma-7B-Instruct的AdvBench ASR为67.7，低于Weak-to-Strong的68.8；多个设置里COLD-Attack的PPL-S低于ReSA。作者仍称自适应强度有助于保持连贯。
• 作者的结论是：对齐本身把可恢复的安全奖励写进输出分布；反转这一奖励可以得到跨模型的攻击信号，而不必逐提示优化，也不必配对未对齐模型。