Red-TTT：用测试时训练实现大语言模型自动化越狱

自动化红队一旦开始攻击某个目标行为，攻击者权重就保持冻结，在可负担的采样预算下许多行为仍然攻不破。

• 场景：作者称模型被部署到更开放的场景后，识别安全失败更重要。自动化红队要发现能让对齐模型生成本应拒绝内容的越狱提示词，以便为防御提供信息。
• 现有不足：现有方法或在测试时用重复采样、迭代改写、树搜索和模板改写做搜索，或离线用强化学习训练更强攻击者。作者称攻击开始后权重冻结，关于该行为的信号只留在上下文并随后丢弃，攻击者不会中途改变提议分布。
• 作者的判断：把测试时训练用于红队并不直接。没有可验证答案，二值成功在难行为上几乎总是0；目标是单次最好样本而非平均奖励；TTT-Discover每个问题用25600次rollout，红队却须在与搜索相同的小预算内适应。
• 本文提出：Red-TTT在每个行为的攻击过程中更新攻击者参数，并把目标改成面向单次最好样本。只需对受害模型采样，可接入现有攻击流程且不改其他部分。
• 威胁模型：
  • 目标：使受害LLM V对其本应拒绝的行为b给出实现该行为的回复。
  • 知识：只需对V的采样访问，不通过V反传。第5节假设攻击者权重开放，作者称所研究的substrate均满足。
  • 能力：攻击者πθ按脚手架给出的上下文生成对抗提示词并查询V。只更新该行为的LoRA；基座参数、V与脚手架固定，且每个行为重置适配器。
  • 判定：二元评判器J(b, y)判断回复是否实现b。报告用的ASR还要求分类器成功且非拒答。

第2节按攻击者参数何时更新，以及测试时训练两条线组织相关工作。

白盒与固定策略攻击

• GCG（Zou et al., 2023）：通过对受害模型反传优化对抗后缀。
• 上下文搜索：PAIR、TAP等把先前提示、回复和评判分数放进攻击者上下文，参数不更新（Chao et al., 2023; Mehrotra et al., 2023）。论文把Crescendo、ActorAttack、X-Teaming也归入多轮或搜索脚手架（Russinovich et al., 2025; Ren et al., 2025; Rahman et al., 2025）。
• 改写与重采样：改写方法用编码、模板或场景操纵绕过对齐；Best-of-N（Hughes et al., 2024）带扰动重采样。论文将二者都归入攻击中参数冻结的black-box fixed-strategy。

离线强化学习攻击者

• 离线RL（Guo et al., 2025; Bullwinkel et al., 2026; Yin et al., 2026）：用塑形奖励离线学习攻击策略。论文指出这不在攻击某个具体行为时改参数。
• Red-Bandit（Ziakas et al., 2026）：用bandit在预训练部件间选择，测试时不更新这些部件。
• 论文指出白盒、固定策略和RL三类面对具体行为时攻击者都冻结；难行为上冻结分布很少覆盖成功提示词时，再增加查询也很少有帮助。

测试时训练

• TTT（Sun et al., 2020; Wang et al., 2021）：用自监督或熵目标把参数适配到测试实例或分布偏移，而不是只靠冻结模型。
• 语言侧：TTT layer（Sun et al., 2025）把更新内化进架构；In-Place TTT（Feng et al., 2026）使快权重目标与语言建模对齐。
• 测试时RL：论文称TTT-Discover（Yuksekgonul et al., 2026）最相关，用放大最好rollout的熵目标，在单个难例上得到实例专用模型。TTRL（Zuo et al., 2025）用多数投票奖励；Akyürek et al.（2024）使用单个训练样本。论文称这些方法针对推理或生成质量，并称据其所知TTT尚未用于越狱。

基线方法与基准

• 基线方法：预算匹配的冻结Best-of-N，以及PAIR、TAP。Fig. 2(a)另比较PastTense、DeepInception、FlipAttack、CodeChameleon、M2S、ActorAttack、X-Teaming、AutoDAN-Turbo。
• 基准：HarmBench standard text set。实验substrate为ZeroShot、ReNeLLM（Ding et al., 2024）和Jailbreak-R1（Guo et al., 2025）。

作者把本文定位为：面对单个目标行为时更新攻击者，使它从固定采样器变成适应该目标的采样器；测试时训练此前针对的是推理或生成质量，而不是越狱。

Red-TTT把针对单个行为的攻击当成一次短的在线优化：在与冻结Best-of-N相同的受害攻击查询预算内，用受害回复更新该行为专用的LoRA，不改搜索拓扑。

问题设定

• 对象：受害模型为V，行为b是它本应拒绝的自然语言描述。攻击者πθ在上下文x下采样对抗提示词a，得到回复y=V(a)。
• 成功定义：s(b, y)=J(b, y)∈{0, 1}。N个候选的攻击级成功是S_N(b)=max_{1≤ i≤ N}s(b,y_i)，即任一候选成功即算成功。
• 脚手架：独立采样、迭代细化、树搜索或提示改写都由脚手架S组织。普通搜索中参数θ固定，反馈只能通过攻击状态影响后续候选。

轮次式适应

• 预算划分：每个行为把N分成R轮、每轮G个候选，N=RG。默认R=15、G=8，故N=120（附录C.3）。
• 只训练适配器：第k轮从πθ+Δθk采样。基座θ、V和S固定。每个行为开始时Δθ0=0，优化器状态重置，不跨行为迁移，因此第0轮就是原攻击者。
• 规格：LoRA秩8、缩放16，加在注意力投影上；学习率2×10−4。攻击者温度1.0，受害回复确定性生成。

稠密奖励

• 不用二值成功做训练信号：作者称整轮失败时二值判断几乎总是0，没有优势可学。训练使用连续奖励，报告指标仍用二元成功。
• 组成：奖励为相关门ρ乘拒答门控的StrongREJECT分d，再加上λs倍的HarmBench置信度p与λe倍的弱参与项e，λs=2.0、λe=0.3。p是分类器对Yes的概率，其阈值化形式进入式2的二元评判。
• 各项作用：d在判为拒答时为0，否则由说服力与具体性映射到0到1。实现上把评分提示重新送给受害模型，不另训奖励模型，但会在攻击生成之外增加评分推理。e对空回复或立即拒答为0，否则随长度增至1，只作引导，不定义成功。ρ按提示词与行为的内容词重叠做确定性门控，并乘在d上，使词面重叠本身不能加分。附录B给出定义和评分提示词。

风险寻求更新与回放

• 优势：不用critic。本文用A_i=softmax(β_k r)_i−1/|D_k|，优势和为0。βk=β(k+1)/R，默认β=5.0，随轮次升高，正权重从高于组均值的候选转向高奖励尾部。附录B给出小βk时与GRPO均值中心化形式的展开关系。
• 精英回放：每轮只把该轮最高奖励候选放入按行为的池。优化集为当前组并上池中最高的m条，默认m=2。回放样本保留原奖励，不再查询受害模型。作者称这是短视界行为复用，不是无偏的离策略估计。
• 一步更新：损失是优势加权的负对数似然，只计算攻击者生成的续写token。每轮一步梯度。不使用指向初始攻击者的KL惩罚，也不使用旧策略重要性比或截断。作者给出的理由是视界短、只训练按行为重置的LoRA、基座参数从不修改。

接入现有脚手架

• 不改拓扑：脚手架仍决定上下文、投递、搜索状态和停止。一轮可以是独立提案批次、一次迭代细化、树的一层或一次改写。
• 预算对齐：冻结Best-of-N从同一攻击者出发，使用同样的N次受害攻击查询，只关闭轮次间参数更新。两边的第0轮策略相同。

实验设置

• 攻击者：全部实验的攻击骨干为Qwen2.5-7B-Instruct。Jailbreak-R1使用该方法在同一骨干上发布的RL checkpoint。
• 受害模型：Llama-3-8B-Instruct、gpt-oss-20b、gpt-4.1-mini、Deepseek-V4-Pro，共4个。
• 基准与预算：HarmBench standard text set。Fig. 2写HarmBench standard-200，Table 7写200条行为。除另行说明外，每个行为N=120次攻击者生成；Base为单次攻击。
• substrate与基线：substrate为ZeroShot、ReNeLLM、JB-R1。固定参数搜索基线为Best-of-N、PAIR和TAP。Fig. 2(a)在Llama-3-8B上另比较PastTense、DeepInception、FlipAttack、CodeChameleon、M2S、ActorAttack、X-Teaming和AutoDAN-Turbo。论文未写这些对照的查询预算。
• 指标：主表ASR要求HarmBench行为分类器判成功，且不触发GCG拒答前缀检查。附录C.2写明分类器为HarmBench Llama-2-13B，Yes概率阈值0.5。
• 默认设置：R=15、G=8、m=2、β=5.0并随轮次线性升高。论文未报告重复次数。

主结果

下表为Table 1中各受害模型的Avg.行，即三种substrate在N=120下的平均ASR（%）。分项见该表。

表格较宽，可左右滑动

受害模型	Best-of-N	Red-TTT	Δ
Llama-3-8B	63.5	76.3	+12.8
gpt-oss-20b	42.8	63.2	+20.3
gpt-4.1-mini	70.2	86.3	+16.1
DeepSeek-V4-Pro	47.2	63.7	+16.5

• 配置级：作者称12个配置的增益为+9.0到+23.0个ASR点。Table 1中Red-TTT单格最高为ReNeLLM×gpt-4.1-mini的95.0%，最低为ZeroShot×DeepSeek-V4-Pro的44.0%。摘要的四模型平均为55.9%对72.4%。
• 作者解读：作者称JB-R1上仍有增益，因此按行为的测试时适应超出离线攻击者训练。又称最小增益出现在冻结对照已接近饱和时，最突出的是ReNeLLM；Table 1中两处+9.0分别是Llama-3-8B上77.0%到86.0%，以及gpt-4.1-mini上86.0%到95.0%。
• PAIR与TAP：Table 1中二者在全部12格都低于同格Best-of-N和Red-TTT。作者认为在所考察预算下，只把反馈送进搜索上下文不如更新攻击者策略。

与现有方法及难例

• Fig. 2(a)：HarmBench standard-200、Llama-3-8B、同一成功标准下，作者报告Red-TTT的交付ASR为77.0%，CodeChameleon为44.5%，AutoDAN-Turbo为27.0%，X-Teaming为21.5%，并称Red-TTT高于所评基线。77.0%与Table 1中JB-R1×Llama-3-8B的Red-TTT相同；该段未写明substrate。
• 难例：hard set按配置定义，为冻结Best-of-N在N=120内失败的行为。作者称Fig. 2(b)中Red-TTT在相同预算下恢复这些集合的23%到69%。
• 采样曲线：Fig. 3(a)只报告ZeroShot×Llama-3-8B，冻结攻击者每行为2048次采样。作者称Red-TTT在N=120达到的成功率大约需要17倍冻结样本，且不声称该倍数可迁移。Fig. 3(b)作者称冻结臂趋于走平，Red-TTT在后续轮次继续恢复难行为。正文未给出各N的ASR数值。

独立评判、守卫与迁移

• 独立评判：附录D.1用与训练奖励无共享组件的Gemini-3-Flash重评ZeroShot交付完成。Gemini-HB用HarmBench分类器提示，Gemini-URU要求unsafe、relevant且useful。Table 5中每个受害模型上均为base低于Best-of-N、再低于Red-TTT，Δ仍为正。Llama-3-8B上HarmBench的Δ为+17.0，Gemini-URU为+5.5。gpt-oss-20b上Red-TTT从HarmBench的47.5%到Gemini-HB的7.5%、Gemini-URU的6.0%。作者称更严评判下绝对率压缩，但排序和领先仍在。
• 输入守卫：Table 6把守卫放进训练环，被标记提示得到空回复并记为失败。指标为ASRcls，与Table 1的联合ASR不同。ZeroShot×Llama-3-8B：无守卫时Best-of-N 64.5%、Red-TTT 77.5%（Δ+13.0）；Llama-Guard-3为50.5%对63.0%（+12.5）；Qwen3Guard-4B为45.5%对59.0%（+13.5）；ShieldGemma-9B为49.5%对62.0%（+12.5）。作者称冻结对照下降14到19个点，Red-TTT在每种守卫下仍领先+12.5到+13.5，且同族守卫与其他族守卫的领先幅度相同。
• 迁移：Table 7把交付提示重放到未针对其优化的受害模型，ASRcls、200条行为；论文未写substrate。Llama-3-8B到gpt-4.1-mini为24.5%对29.0%；gpt-oss-20b到gpt-4.1-mini为19.0%对25.5%；Llama-3-8B到gpt-oss-20b两边都是7.5%。作者称并非每个方向都更高。

其他消融与分析

Table 2在ZeroShot×Llama-3-8B上每次改一个组件。默认ASR为66.0；120×1即Best-of-N为49.0。

• 优势：均值中心化GRPO为50.0，未归一化为48.0。
• 奖励：去掉分类器项为46.0，去掉参与项为54.0。
• 预算划分：40×3为46.0，4×30为50.0。作者称多轮划分并非一律有帮助。
• 回放：m=0为46.0，m=4为56.0。
• KL：作者称非零KL系数在所有轮次都没有成功转移，因此省略。组内多样性项未进入奖励，作者称组内自相似度不受其加入影响。
• 案例：附录E给出两个ZeroShot×gpt-4.1-mini的hard-set行为。冻结对照在120次内全部失败。附录给出示例，此处不引用提示词或回复。

作者指出的局限与后续方向

• 开源攻击者：Red-TTT假设攻击者权重开放；作者称所研究的每个substrate都满足这一点（第5节）。
• 不跨行为携带参数：每个目标行为重置适配器，使结果反映单次攻击内的适应，而不是其他行为带过来的知识。作者称跨行为摊销适应是自然扩展（第5节）。
• 奖励与指标共用分类器：稠密奖励和所报告的ASR共用HarmBench分类器。作者因此用独立评判和两套量表重评，并称每个受害模型上排序相同（第5节，附录D.1）。
• 双重用途：作者称更强的自适应攻击具有双重用途，并把Red-TTT定位为部署前暴露漏洞的受控红队工具（第5节）。
• 评测方向：作者在结论中认为，安全评测应考虑攻击过程中会学习的攻击者（第6节）。

实验覆盖范围

• 受害模型为Llama-3-8B-Instruct、gpt-oss-20b、gpt-4.1-mini、Deepseek-V4-Pro，共4个；攻击骨干为Qwen2.5-7B-Instruct，JB-R1为同一骨干的RL checkpoint（第4.1节）。
• 主结果在HarmBench standard text set上报告；Fig. 2与Table 7写明200条行为。Table 1在N=120下比较ZeroShot、ReNeLLM、JB-R1与Best-of-N、PAIR、TAP。Fig. 2(a)的现有攻击比较对象为Llama-3-8B；论文未写该图的substrate和这些对照的查询预算。
• 冻结采样曲线只对ZeroShot×Llama-3-8B扫到每行为2048次；作者写明该诊断不声称倍数可迁移（Fig. 3）。
• 附录D包含Gemini-3-Flash的两套量表重评、Llama-Guard-3、Qwen3Guard-4B、ShieldGemma-9B三种输入守卫，以及向未见受害模型重放交付提示。Table 7未写substrate。
• 论文未报告实验重复次数。附录B写明StrongREJECT会在攻击生成之外再调用受害模型做评分推理，但未报告这部分查询次数。

Red-TTT是一种在攻击过程中更新攻击者、而不是只增加搜索的自动化越狱方法。

• 问题：搜索式红队和离线RL攻击者在针对某个行为开攻后都不再改权重，反馈留在上下文里。作者称在可规模化的预算下，许多行为因此仍攻不破。
• 做法：对每个行为–受害模型对重置一个LoRA，把N次受害攻击查询分成若干轮。每轮用相关门控的稠密奖励给一组候选打分，以偏向高分尾部的组相对策略梯度更新攻击者，并回放该轮最高奖励候选。受害模型只提供采样，搜索拓扑不变。
• 主结果：HarmBench、N=120、四种受害模型上，Red-TTT平均ASR为72.4%，预算匹配的Best-of-N为55.9%。Table 1的12个配置增益为+9.0到+23.0个ASR点，其中包括已经离线训练的JB-R1。单格最高为ReNeLLM×gpt-4.1-mini的95.0%。
• 其他结果：作者称hard set恢复比例为23%到69%。Fig. 2(a)在Llama-3-8B上报告Red-TTT为77.0%，高于文中给出的CodeChameleon 44.5%。Gemini-3-Flash重评后排序不变，但绝对ASR下降；gpt-oss-20b的ZeroShot Red-TTT从HarmBench的47.5%到Gemini-HB的7.5%。
• 作者结论：作者称测试时参数适应是与搜索互补的扩展轴，并认为安全评测应考虑攻击中会学习的攻击者。方法假设开源攻击者，适配器不跨行为携带知识。