Skip to content

Translation in progress Some entries still include text in the original language.

Original
论文追踪· arXiv:2610.06670·Indexed by this site · Originally published

The researchers propose the Reward Stealing Attack, which infers safety rewards from aligned model behavior to launch attacks

Reward Stealing Attack on Large Language Models

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

ReSA从对齐模型行为恢复代理安全奖励并在解码时反转，作者称该信号可跨模型使用。

Threat model目标是诱导有害生成，即最小化代理安全奖励，并限制相对对齐策略的KL。

Questions
对齐后的LLM仍可能被诱导产生有害内容。作者认为现有红队要么逐查询优化、计算贵，要么依赖分词器一致的安全/不安全模型对。他们要问：能否只从对齐模型行为恢复潜在安全奖励，并用作可迁移的攻击信号。
Methods
ReSA把对齐模型当专家，只在有害提示轨迹上用最大熵IRL拟合线性代理奖励。攻击时最大化负奖励并限制偏离原策略，再按边际奖励缩放强度，在解码logits上做负奖励引导。
Experiments and results
奖励从Llama3.1-8B-Instruct恢复。Llama3.1-70B-Instruct的HarmBench ASR为91.0%（表2）。GPT-4o灰盒AdvBench ASR为18.7%（表7）。
Limitations and future work
论文未专门讨论局限。实验包括开源7B–70B、Qwen3-14B，以及GPT-3.5-turbo与GPT-4o的grey-box。防御评测为PPL Filtering和Top-k限制，正文无具体数值。未报告重复次数与人工一致性。
Experimental setupLlama3.1-8B-Instruct、Gemma-7B-Instruct et al. · AdvBench、HarmBench et al. · ASR、HS et al.
Threat model
目标是诱导有害生成，即最小化代理安全奖励，并限制相对对齐策略的KL。奖励仅从对齐模型对有害提示的行为恢复，不访问原始奖励。主实验改写目标logits；商业API为grey-box，只用暴露的top-k log-probabilities，论文称无white-box访问。受害系统为安全对齐LLM。
Evaluated models
Llama3.1-8B-InstructGemma-7B-InstructQwen2.5-7B-InstructQwen2.5-14B-InstructGemma2-27B-InstructLlama3.1-70B-InstructQwen3-14BGPT-3.5-turboGPT-4o
Benchmarks
AdvBenchHarmBenchShadow-Alignment
Metrics
ASRHSGSPPL-S
AI summaryThe researchers propose the Reward Stealing Attack (ReSA) framework, an adversarial attack targeting the latent safety rewards behind LLM alignment. The method uses maximum entropy inverse reinforcement learning to recover a proxy reward model solely from the aligned model's behavior, then reverses this reward at inference time, using reward-guided decoding to obtain an adversarial policy. Experiments show that a single recovered reward generalizes across prompts and multiple models, and ReSA clearly outperforms existing methods in attack effectiveness and transferability. The paper argues this reveals a fundamental vulnerability at the alignment level. The code has been released, and the paper is 19 pages long.

The researchers propose the Reward Stealing Attack (ReSA) framework, an adversarial attack targeting the latent safety rewards behind LLM alignment. The method uses maximum entropy inverse reinforcement learning to recover a proxy reward model solely from the aligned model's behavior, then reverses this reward at inference time, using reward-guided decoding to obtain an adversarial policy. Experiments show that a single recovered reward generalizes across prompts and multiple models, and ReSA clearly outperforms existing methods in attack effectiveness and transferability. The paper argues this reveals a fundamental vulnerability at the alignment level. The code has been released, and the paper is 19 pages long.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    现有攻击要么查询贵，要么要严格模型配对；ReSA改为恢复并反转潜在安全奖励。

    如何只从对齐LLM的行为恢复潜在安全奖励，并把它变成不逐提示优化、也不依赖严格模型对的攻击信号。

    • 场景：作者认为RLHF、RLVR等对齐把输出分布塑成受潜在安全奖励调节的形式；该奖励不显式给出，却跨提示、跨模型约束行为。作者把红队视为暴露漏洞、为更安全部署提供缓解线索的必要工作。
    • 现有不足：作者称提示词操纵要么逐查询优化，要么离线训练通用后缀，计算贵；对比解码要在分词器与词表一致的安全/不安全模型对上做logit对比。二者因此难扩展、难通用。
    • 核心观察：作者由KL正则下的奖励最大化推出，最优对齐策略是基座分布经安全奖励指数倾斜后的形式。因此奖励反映在πsafe的输出分布中，可只从轨迹恢复，再反转对齐目标。
    • 提出方法：Reward Stealing Attack（ReSA），两阶段框架。作者称这是把reward-stealing用于LLM红队的首次提出：最大熵逆强化学习恢复代理奖励，推理时用奖励引导解码得到对抗策略。
    • 威胁模型：
      • 目标：诱导有害生成，即最小化代理安全奖励，同时用相对对齐策略的KL约束维持生成质量。
      • 知识：不访问原始奖励模型；代理奖励只从对齐模型在有害提示上的可观察行为恢复。主实验在解码时使用目标logits。附录D.4把商业API称为grey-box，只用暴露的top-k log-probabilities，并称无white-box访问。
      • 能力：把对齐模型当专家策略并采样轨迹；攻击阶段不改目标参数，只对候选token做负奖励引导。
      • 受害系统：安全对齐LLM。主实验为开源Instruct模型；附录延伸到暴露top logprob的商业API。

  2. What related research exists?

    相关工作分提示词操纵、对比解码、安全对齐与解码时对齐；作者称ReSA不靠逐查询优化或严格配对。

    提示词操纵

    • GCG（Zou等, 2023）、COLD-Attack（Guo等, 2024）、SCAV（Xu等, 2024）——把对抗生成写成离散优化，用梯度搜索或语义约束引出非预期行为。作者在第5节称，这类方法因逐查询迭代而计算贵。
    • 附录C另述黑盒提示精炼：PAIR（Chao等, 2025）、TAP（Mehrotra等, 2024）；以及FlipAttack、CEAttack、ArtPrompt。参数层则包括Shadow Alignment与HarmRLVR。这些条目论文只作描述，未逐篇与ReSA对比。

    对比解码

    • Contrast-Attack（Zhou等, 2024）与Weak-to-Strong（Zhao等, 2025）——推理时利用受害模型与辅助模型的logit差改输出分布。作者称它们常依赖启发式运算和特定模型配对。

    安全对齐

    • RLHF（Ouyang等, 2022）从人类反馈学奖励，并在KL正则下优化策略；SafeRLHF（Dai等, 2023）把显式安全约束纳入奖励学习与训练。
    • DPO（Rafailov等, 2023）不显式建奖励，直接优化偏好似然。RLVR在相关工作中引Lambert等（2024），引言另引Guo等（2025），用可验证奖励替代人类偏好以扩展后训练。

    解码时对齐

    • 附录C把ARGS、CARDS、Transfer Q*、GenARM归为一组：推理时把生成导向高奖励，不更新参数。论文未把它们列为攻击基线。

    基线与基准：实验基线为GCG、COLD-Attack、SCAV、Contrast-Attack、Weak-to-Strong；附录另有decoding-time GCG与Linear Probing。评测用AdvBench与HarmBench；IRL的有害提示来自Shadow-Alignment。

    作者把ReSA与上述攻击的区别放在：不逐提示优化，也不要求分词器一致的模型对，而是从单一对齐模型的行为恢复代理安全奖励，再在解码时反转。作者称这是reward-stealing红队视角的首次提出。

  3. How does the paper address this problem?

    ReSA先用最大熵IRL从对齐轨迹恢复线性代理奖励，再按边际奖励自适应地反转解码。

    ReSA分两段：把对齐模型当专家，用最大熵IRL恢复代理安全奖励Rθ；再反转该奖励，用奖励引导解码实现对抗策略。附录A给算法，附录B给两个命题的证明。

    问题设定

    • LLM是随机策略π(y|x)，轨迹τ=(x,y)。πbase为预训练基座，πsafe为安全对齐模型。
    • 对齐目标是在靠近πbase的前提下最大化潜在安全奖励R*。作者写出最优πsafe为基座分布的指数倾斜，从而认为R*已编码在πsafe中。
    • 提示分布Px被限制为有害提示，使优化只对准安全相关的条件分布，以便分离恶意上下文触发的奖励。

    奖励提取

    • 专家为πsafe。DE是有害提示与πsafe回复拼成的轨迹，不使用原始奖励模型。因多个奖励都能解释同一批轨迹，采用最大熵原则：在匹配专家特征期望的分布中选熵最大者。
    • 命题1给出玻尔兹曼闭式。代理奖励取线性形式Rθ(τ)=θ⊤Φ(τ)。Φ冻结，θ可学习，从而把特征提取和奖励优化分开，并用特征匹配的闭式梯度更新θ。
    • 实现上，Φ是Llama3.2-1B-Instruct的最后隐状态，θ为随机初始化线性头。模型期望不可解析，故引入actor πϕ作采样器；初值为Llama3.1-8B。actor用GRPO最大化Rθ，参考策略是actor初始化，优势由组内奖励归一化得到。算法里用πϕ的特征期望代替Pθ的期望。
    • 作者把Rθ与πϕ的交替更新类比为GAN：Rθ给专家轨迹更高奖励，πϕ则提高奖励以靠近专家。

    对抗生成

    • 攻击写成约束优化：最大化负的代理奖励，且相对πsafe的KL不超过ϵ。命题2的闭式是

    πadv∗(y|x)=1/(Z∗(x))πsafe(y|x)exp(−α Rθ(x,y)) α>0权衡攻击强度与生成质量。作者称该式不绑定奖励提取时的那一个πsafe，故可换到其他对齐模型的logits上。

    • 序列级配分函数难采样，故作自回归近似：每步在目标log概率上减去token奖励。常数α会改动对安全奖励几乎无贡献的中性token，因此用边际奖励m(yt|x<t)=rθ(x<t,yt)−rθ(x<t)调节强度：

    αt=α·(1−exp(−|m(yt|x<t)|)) |m|趋于0时αt趋于0；安全相关token才用到接近α的强度。

    • 算法1对top-k候选打分、改logits再采样。附录D.2的实验取k=10。

    训练与实现参数

    • 主设定的专家是Llama3.1-8B-Instruct。GRPO用AdamW，学习率5×10−5，warmup比例0.1，线性调度，4个epoch，batch 16，rollout 8，完成长度256，KL系数0.05；LoRA rank 16、alpha 32、dropout 0.05。奖励学习率1×10−5，最大长度512，专家batch 8。
    • 推理temperature为1.0，关闭top-p。除Llama3.1-70B-Instruct用AutoAWQ 4-bit外，多数模型为bfloat16。训练与生成在单张RTX PRO 6000（96GB）上完成。
    • 附录D.2把每token开销写成O(Ntarget+k·Nproxy)。作者称代理约为目标0.125倍计算量级，相对标准解码FLOPs约2.25×，且k路打分可批处理。

  4. What experiments did the paper conduct?

    作者称ReSA效果为最好或次好；表中有ASR反例，GPT-4o灰盒ASR为18.7%。

    实验设置

    • 目标：Llama3.1-8B-Instruct、Gemma-7B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Gemma2-27B-Instruct、Llama3.1-70B-Instruct。附录另有Qwen3-14B、GPT-3.5-turbo、GPT-4o。主奖励从Llama3.1-8B-Instruct恢复，故该模型同时是专家和目标。
    • 数据：IRL的有害提示来自Shadow-Alignment。评测为AdvBench与HarmBench。论文未报告这两套评测集的条数。
    • 基线：GCG（500步，top-k=256，30 token后缀）、COLD-Attack（后缀20，Langevin步长0.1，1000次）、SCAV（在Llama3.1-8B-Instruct上用140条恶意与140条安全指令训练分类器）、Contrast-Attack、Weak-to-Strong。后两者使用同族小模型对，例如Llama3.2-3B-Instruct与Llama3.2-3B；Weak-to-Strong的小模型以LoRA（rank 16、α=32）在Shadow-Alignment上训练5个epoch。对比解码的α按目标调节，论文未给出各目标的α。
    • 指标：ASR是不含标准拒答字符串的比例，用关键词匹配。GS是按Meta政策的1–5分；Table 10将评分模型记为GPT-oss-120b，正文称GPT judge，Figure 5给出模板。HS用deberta-v3-large-v2。PPL-S用DeepSeek-V2-Lite计算成功攻击的困惑度，越低越连贯。
    • 运行：temperature 1.0，关闭top-p；70B为4-bit，其余多为bfloat16；单卡RTX PRO 6000。论文未报告重复次数。附录D.2写每步候选k=10。

    主结果

    奖励只从Llama3.1-8B-Instruct恢复。下表ASR据Table 1与Table 2；“最高基线”指除ReSA外ASR最高的方法。

    Swipe horizontally to read the table

    目标模型AdvBench ReSAAdvBench最高基线HarmBench ReSAHarmBench最高基线
    Llama3.1-8B-Instruct（亦为专家）85.285.2（Contrast-Attack，并列）86.083.5（Weak-to-Strong）
    Gemma-7B-Instruct67.768.8（Weak-to-Strong）81.581.0（Weak-to-Strong）
    Qwen2.5-7B-Instruct46.322.1（GCG）62.552.0（Weak-to-Strong）
    Qwen2.5-14B-Instruct48.521.2（COLD-Attack）60.543.0（Weak-to-Strong）
    Gemma2-27B-Instruct26.515.8（Contrast-Attack）37.525.0（Contrast-Attack）
    Llama3.1-70B-Instruct86.282.7（Weak-to-Strong）91.088.5（Weak-to-Strong）
    • 作者称ReSA在所评模型与数据集上为最好或次好，且HS、GS较高，认为这不是只绕过拒答词，而是反转奖励后生成了实质性有害内容。ASR反例是Gemma-7B-Instruct的AdvBench。HS反例：Gemma2-27B-Instruct的AdvBench上ReSA为1.72，Weak-to-Strong为1.87（Table 2）。
    • 作者假设不同架构的安全对齐共享潜在特征，并称只从Llama3.1-8B-Instruct学到的奖励可打到7B–70B及Llama、Gemma、Qwen。
    • 作者称ReSA的PPL-S更低、更隐蔽，并归因于自适应强度。相对GCG和多种对比解码，表中ReSA的PPL-S更低；相对COLD-Attack则否，例如Qwen2.5-7B-Instruct的AdvBench上COLD-Attack为9.42，ReSA为27.80（Table 1）。

    推理模型与商业API

    • Qwen3-14B（Table 6）：HarmBench上ReSA的ASR为54.5，Contrast-Attack为29.5，Weak-to-Strong为45.0。作者称54.5 nearly doubling 29.5，且PPL-S相当（ReSA 10.11，Contrast-Attack 9.64）。同列HS上ReSA为1.49，低于Contrast-Attack的1.61和Weak-to-Strong的1.64。
    • grey-box API（Table 7，仅top-k log-probabilities）：GPT-4o上ReSA的AdvBench ASR为18.7、GS为1.21、HS为2.37，HarmBench ASR为15.5；GCG分别为10.2与8.5。GPT-3.5-turbo上ReSA为75.2与59.5，GCG为52.8与35.0。作者称ReSA优于GCG，且GCG的PPL-S超过800；Table 7中GCG四格为1055、1586、854、935，ReSA为54.35、53.04、44.57、39.37。
    • 论文未说明这两张表的α，也未说明Table 7的k。

    IRL是否必要

    • Table 3：在Llama3.1-8B-Instruct上，Linear Probing的AdvBench ASR为74.8、HS为2.25，ReSA为85.2、3.64。作者称冻结actor的被动重采样探不到盲区，解码时易被reward hacking；GRPO则把actor变成难负例挖掘器。
    • Unalign-Free把Llama3.1-8B-Instruct作actor、Qwen2.5-7B-Instruct作更严的专家。Llama目标上其HarmBench ASR为86.5，同表ReSA为86.0。Qwen2.5-14B-Instruct上，AdvBench ASR为56.2，高于ReSA的48.5；HarmBench为51.5，低于60.5。作者称不必须有完全未对齐的actor，跨家族提取仍可行。
    • Figure 3：作者称梯度范数下降与actor有害分数下降同步；从step 0到200，低ASR的安全景观区域变宽变深；密度图呈双峰，安全专家轨迹高分、有害轨迹低分。正文未给出图中坐标数值。

    推理时防御

    • Figure 4在Llama3.1-8B-Instruct与Qwen2.5-14B-Instruct上比较PPL Filtering和Top-k Token Restriction。正文未给出ASR或阈值。
    • 作者称中等PPL阈值下仍保持相当ASR，Top-k限制下仍能越过安全边界，除非激进截断损害生成多样性；并称相对竞争基线，ReSA在这些统计约束下仍构成持续威胁。

    其他消融与分析

    • α（Table 4，Llama3.1-8B-Instruct，AdvBench，HS/PPL-S）：0.5为1.08/17.11，1.5为3.64/18.77，2.0为3.79/21.52。作者称α≈1.5是较优折中。默认同行AdvBench为3.64/18.77、HarmBench为3.55/16.65，并不对应同一个α行；论文未说明主表所用α。
    • 奖励来源（Table 4）：Llama目标上Rθ-DPO的AdvBench HS/PPL-S为3.81/16.76，Rθ-RLVR为2.26/12.08，默认ReSA为3.64/18.77。Qwen2.5-14B-Instruct上Rθ-RLVR的HS为2.09与2.26，高于默认的1.89与1.98。作者称RLVR更稀疏、更难重建；该说法与Qwen行不一致。作者称DPO的困惑度代价更高，表中也不总是如此。
    • 去掉αt（Table 4）：Llama的AdvBench HS从3.64到3.15，PPL-S从18.77到17.65；Qwen的AdvBench HS从1.89到1.78，PPL-S从32.62到36.01。作者称恒定强度削弱攻击且不改善连贯性；Llama的PPL-S在去掉后更低。
    • Decoding-time GCG（Table 8）：论文未标明数据集。Llama3.1-8B-Instruct上该方法ASR 53.0、HS 0.47、PPL-S 23.16；ReSA行为85.2、3.64、18.77，与Table 1的AdvBench ReSA行相同。
    • 墙钟时间（附录D.2，单卡RTX PRO 6000）：Universal GCG离线15582 s、每查询2.45 s；ReSA离线859 s、每查询4.43 s。作者称盈亏平衡约7436次查询，低于该次数时ReSA总时间更短。
    • Table 9给出同一请求的对照，PPL为NoAttack 10.56、GCG 856.0、Weak-to-Strong 179.2、ReSA 12.93。此处不转述请求或输出原文。

  5. What are some points that can be further explored?

    论文未写局限或后续工作；下文只按实验实际做到的范围列举。

    作者指出的局限与后续方向

    论文未专门讨论局限。Conclusion、Related Work与附录都没有把某项结果写成局限，也没有列出后续实验。摘要中的代码写为已经提供，不是待完成计划。

    实验覆盖范围

    • 主结果目标是Llama、Gemma、Qwen的6个Instruct模型，规模7B–70B（Table 1、Table 2）。其中Llama3.1-70B-Instruct以4-bit AutoAWQ加载（附录D.1）。附录另评Qwen3-14B，以及GPT-3.5-turbo、GPT-4o。
    • 评测基准是AdvBench与HarmBench；IRL提示来自Shadow-Alignment。论文未报告这两套评测集的条数、重复次数，以及GS与人工判定的一致性。
    • 防御实验是Figure 4的PPL Filtering与Top-k Token Restriction，对象为Llama3.1-8B-Instruct和Qwen2.5-14B-Instruct。正文未给出图中数值。
    • 主专家是Llama3.1-8B-Instruct。Table 4另从DPO与RLVR对齐模型恢复Rθ；Table 10将二者记为Llama3.1-Tulu-3-8B-DPO与Llama3.1-Tulu-3-8B-RLVR。Unalign-Free的专家是Qwen2.5-7B-Instruct，actor是Llama3.1-8B-Instruct（第4.4节）。
    • 商业API实验是grey-box，只用暴露的top-k log-probabilities（附录D.4）。论文未报告该设定的k，也未报告Table 1与Table 2所用的α。

  6. Summarize the main content of the paper

    ReSA用最大熵IRL从对齐模型行为恢复代理安全奖励，并在解码时反转以诱导有害输出。

    ReSA是一种对抗攻击：从对齐模型的可观察行为恢复代理安全奖励，再在解码时把该奖励反过来用。

    • 作者要绕开两类现有红队的条件：提示词操纵的逐查询或离线优化成本，以及对比解码对分词器一致的安全/不安全模型对的依赖。
    • 做法是把πsafe当专家，只在有害提示轨迹上用最大熵IRL拟合线性奖励，并用GRPO训练actor去近似不可解析的模型期望。攻击时在KL约束下最大化负奖励，再按token边际奖励缩放强度，改写目标logits。
    • 主奖励来自Llama3.1-8B-Instruct。迁到Llama3.1-70B-Instruct后，HarmBench ASR为91.0，AdvBench ASR为86.2（Table 2）。该70B模型以4-bit加载。
    • 跨家族时，Qwen2.5-14B-Instruct的HarmBench ASR为60.5（Table 2）；推理模型Qwen3-14B为54.5（Table 6）。GPT-4o在只用top-k logprob的grey-box设定下，AdvBench ASR为18.7，HarmBench为15.5（Table 7）。
    • 表中的例外包括：Gemma-7B-Instruct的AdvBench ASR为67.7，低于Weak-to-Strong的68.8；多个设置里COLD-Attack的PPL-S低于ReSA。作者仍称自适应强度有助于保持连贯。
    • 作者的结论是：对齐本身把可恢复的安全奖励写进输出分布；反转这一奖励可以得到跨模型的攻击信号，而不必逐提示优化，也不必配对未对齐模型。
Read originalarxiv.org
#Jailbreaks and attacks