FinRT：将自适应红队策略蒸馏为消费金融领域的可复用对抗生成器

消费金融场景中，看似无害的客户问句会把 LLM 推到监管政策边界；现有红队要么依赖显式越狱且难覆盖领域政策，要么搜索成本无法跨政策摊销。

• 场景：面向客户的 FinTech 应用由 LLM 驱动。作者认为最易被忽视的失效来自良性问句触发监管违规，例如个性化投资建议、保证收益或误导性金融陈述。失败来自政策、用户语境与领域的组合，而不是用户的对抗意图。
• 现有不足：作者称 PAIR、AutoDAN、TAP、AIC 等自适应方法有效，但昂贵、针对单一目标，且努力不能摊到新政策或领域；AdvPrompter、AutoRed 等摊销方法条件于用户人设或对抗后缀，而不是更宽的合规攻击面。金融红队工作（Ding et al., 2025; Dimino et al., 2026）主要做安全评测，而不是可迁移、可摊销的攻击生成。覆盖、严重度、真实性、多样性被当作附带目标。
• 核心做法：作者把受监管领域红队写成结构化失效发现与重建，提出 FinRT：两阶段前向诱发与逆向诱发，训练可复用对抗提示生成器，使覆盖、严重度、领域真实性与多样性成为联合目标。
• 威胁模型：
  • 目标：在真实客户场景中诱发具体政策违规，并提高严重度、真实性与策略–领域覆盖。
  • 知识：受害模型在推理时按 black-box 使用；前向阶段用无审查模型做高召回候选发现，偏好阶段可用其余模型作代理。
  • 能力：攻击者控制按政策、领域意图、诱发策略或目标行为条件化的用户提示；评测时每个规格生成 K=10 条提示，生成阶段不再对受害模型做迭代反馈，只执行最终探针。
  • 受害系统：六个开源受害 LLM 上的消费金融客户助手式交互；主评测为单轮。成功由评审 LLM 按政策量表判定攻击是否成功及严重度。

作者在 Related Work 与引言里把先前工作分成三类，并在实验里点名基线。

自动化红队

• 梯度与搜索方法：GCG（Zou et al., 2023）、AutoDAN（Shen et al., 2024）、PAIR（Chao et al., 2023b）、AIC（Zymet et al., 2026）、TAP（Mehrotra et al., 2024）用模型反馈迭代优化提示。作者称它们主要优化通用攻击成功，推理时通常要反复接触目标模型。
• 覆盖与多样性：Rainbow Teaming（Samvelyan et al., 2024）、Jailbreak-zero（Hu et al., 2025）、SAGE-RT（Kumar et al., 2024）强调多样性与更广攻击覆盖。作者同样指出这类方法推理时需要与目标反复交互。
• 摊销式生成：AdvPrompter（Paulus et al., 2024）生成对抗后缀，AutoRed（Diao et al., 2025）用验证器引导采样生成自由形式提示。作者称它们条件于扁平的用户指令分类，而不是受监管领域要防守的结构化合规面。代理模型迁移引自 Demontis et al. (2019)，作者将其用于校准代理上的偏好优化。

合成数据生成

• Self-Instruct（Wang et al., 2023）与 Evol-Instruct（Xu et al., 2023）用自生成和迭代改写构造指令语料；Tülu 与 Open-Instruct（Lambert et al., 2024）表明合成监督可以提升能力。作者称本文沿用这一思路，但目标是按结构化政策、领域与目标行为生成真实对抗提示。

领域与政策感知红队

• 通用安全基准：HarmBench（Mazeika et al., 2024）、CybersecEval（Wan et al., 2024）按领域划分有害行为。
• 金融与合规：作者称最接近的是 RCA（Cheng et al., 2025），用多轮框架逐步隐蔽监管风险。FinSafetyBench（Hou et al., 2026）、CNFINBench（Ding et al., 2025）整理金融犯罪与伦理类别；BFSI 风险调整评分（Dimino et al., 2026; Wang et al., 2022）在银行、金融服务与保险上做严重度加权评测。作者称本文把每个评测实例写成政策–领域–行为规格，以便在具体领域语境里生成针对特定违规的真实提示。

基线与基准

• 基线方法：Self-Instruct、Evol-Instruct、AutoRed-style、AIC、PAIR-Lite、Rainbow Teaming；FinRT 自身变体为 FinRT-SFT、FinRT-DPO-universal、FinRT-DPO-calibrated、FinRT-DPO-oracle。
• 数据与外部集：领域意图来自 Banking77 与 CFPB Consumer Complaint Database；主评测为留出的政策–领域–目标行为规格；外部迁移用 FinSafetyBench，以及由 SafeLawBench、法律伦理材料、LegalBench 与 Legal advice Reddit 构成的法律协助压力测试。

作者把本文定位为条件生成：先用自适应搜索发现脆弱轨迹，再蒸馏成可复用的逆向诱发模型，而不是在推理时对单一受害模型直接优化越狱提示。

FinRT 把对抗提示生成写成结构化逆向诱发：前向在策略空间里发现脆弱轨迹，逆向把这些轨迹蒸馏成条件生成器。两个空间分开：前向 S_forward=P× D× S，逆向 S_inverse=P× D× B。P、D、S、B 分别是政策区域、对话领域、诱发策略和抽出的对抗目标行为。

问题设定与三条原则

• 结构化覆盖：合成数据应系统覆盖政策、对抗策略与领域，而不是无约束提示。
• 失效驱动监督：能引出政策违规的提示提供训练信号。
• 行为条件重建：监督应显式指定期望的模型行为。探索搜索与结构化生成因此解耦。

前向诱发

• 种子：用一个 LLM 为每个政策–策略–领域意图组合生成初始种子。规格 s=(p, d, si)。
• 三项打分：可攻击性 A(x,s) 表示是否引出违规；领域真实性 R(x,s)；结构保真 F(x,s) 表示是否保住政策、领域与策略语义。可攻击性用无审查模型上的严重度（Sokhansanj, 2025）。真实性与结构保真由 Judge LLM 打分。
• 覆盖约束选种：先保留 R(x)≥τR 且 F(x)≥τF 的提示。在该池上最大化攻击性并保持 P×D×S 覆盖。采集目标为攻击性项与覆盖项的加权和，权重为 λ 与 1−λ。作者称该函数单调子模，用 lazy greedy 按边际增益选点。论文未在正文给出 τR、τF、λ 的数值。
• 自适应采集与行为抽取：用自适应上下文多臂赌博机（Zymet et al., 2026），按攻击结果迭代更新参数，并沿 Jiang et al. (2024b) 细化攻击策略。成功的提示–回复对被总结成条件于受害回复的目标行为 b⋆，形成 P×D×B。

逆向诱发：SFT 与偏好

• SFT：配对 (s, x+)，s=(p, d, b)，x+ 为前向得到的成功对抗提示。目标是负对数似然，使生成器在政策、领域与目标行为条件下生成语义对齐的对抗提示。
• 偏好分：QDPO(x, s)=λA(x, s)+(1−λ)R(x, s)。同一规格内按该分组成 (x+, x−)。
• 校准代理：对目标 vt，代理集为其余受害模型 V−t。作者称脆弱性结构随区域变化，故在每个政策–领域–行为区域内做局部校准：聚类后按规格区域做分层抽样，保留高分、低分和随机中间候选的小规模上限子集。区域一致度为两边 QDPO 的相关，再归一成权重 wi(s)，合成 Q̂vt。这样不必反复对着目标本身做偏好优化。
• DPO：在 SFT 初始化 pref 上做 DPO，温度式系数为 β。作者称由此得到随受害模型族呈现不同迁移与特化的目标条件生成器。论文未在正文给出 β、LoRA 秩或训练步数。

空间规模与成功判定

• 规模：前向为 7 项政策、211 个领域意图（Banking77 的 77 个与 CFPB 聚类得到的 134 个）、30 种诱发策略。成功轨迹归一成 149 个目标对抗行为，供逆向训练与评测。领域意图经语义聚类后，每类代表例进入 domain bank。
• 评测执行：每个留出规格生成 K=10 条候选，对目标执行，由 LLM 评审打攻击成功、严重度与领域真实性。攻击成功指在固定的每规格 10 条查询预算下引出政策违规回复。RC-Cov@10 先要求领域真实性超过 0.65，再统计至少有一条提示成功覆盖的留出政策–领域单元比例。多样性为每个 P×D 单元内提示的 Vendi 分数再对单元取平均。
• 评审：两遍架构。第一遍 GPT-OSS-120B 与 Claude Opus 4.6 按政策量表评攻击成功、严重度、置信度与理由；第二遍互相批评并重标定严重度；不一致判断由人工做最终决定。策略清单与政策卡片的条款级表述在附录中给出，此处不复述具体诱发句式。

实验设置

• 受害模型：Llama-3.3-70B、Llama-3.1-8B、Mixtral-8x7B、Gemma-4-31B、GPT-OSS-20B、Nemotron-3-Super-120B。推理时 black-box。它们同时是评测目标；校准代理用除当前目标外的其余模型。
• 主评测集：留出的 419 条政策–领域–目标行为规格。每个规格、每个方法、每个受害模型最终生成并评测 n=10 条提示。ASR 的约 95% 置信区间在规格层自助（N=419）：先在规格内聚合 K=10，再重采样规格。
• 领域数据：Banking77 为 13,083 条英文客服问句、77 个银行意图；CFPB 投诉库经意图聚类得到 211 个规范领域意图（77+134）。外部集为 FinSafetyBench 的 1,851 条提示，以及法律协助压力测试。
• 基线：Self-Instruct、Evol-Instruct、AutoRed-style、AIC、PAIR-Lite、Rainbow Teaming。消融变体为 FinRT-SFT、FinRT-DPO-universal、FinRT-DPO-calibrated、FinRT-DPO-oracle。Table 1 为六模型宏平均。
• 指标：Overall ASR@10；Max Severity（每个 P×D 单元取成功提示的最高评审严重度，未覆盖单元记 0 再对单元平均）；RC-Cov@10（真实性阈值 0.65）；P×D-Vendi。
• 评审：GPT-OSS-120B 与 Claude Opus 4.6 两遍互评，分歧人工裁决。Limitations 另报告 700 例人工审计，总体一致率 97.9%。论文未报告该审计的逐类分母。

主结果

Table 1 为六模型宏平均（ASR 带约 95% CI，N=419）。

表格较宽，可左右滑动

方法	Overall ASR	Max Sev	RC-Cov@10	PxD-Vendi
Self-Instruct	1.67±0.49%	0.437	0.89	1.54
Evol-Instruct	1.99±0.49%	0.492	0.85	1.7
AutoRed-style	11.3±2.07%	2.03	0.82	3.82
AIC	12.48±2.13%	2.48	0.88	3.0
PAIR-Lite	15.47±2.27%	2.78	0.80	5.43
Rainbow Teaming	17.2±2.8%	2.66	0.86	5.82
FinRT-SFT	29.9±2.7%	3.43	0.98	5.03
FinRT-DPO-calibrated	32.9±2.78%	3.54	1.0	4.52
FinRT-DPO-oracle	33.0±2.78%	3.67	1.0	4.34

表中 FinRT-DPO-universal 的 Overall ASR 为 27.6±2.67%，Max Sev 3.02，RC-Cov@10 0.96，PxD-Vendi 4.32（同为 Table 1）。为控制行数，上表未单列该行。

• 作者解读：合成指令方法攻击弱；自适应搜索提高 ASR，但严重度分布集中在低到中等。FinRT-SFT 提高攻击可靠性与高严重度频率，单元内语义多样性接近迭代搜索。Figure 2 比较高严重度（3–4）攻击占比，作者称 FinRT 高于自适应搜索基线；图中具体柱高文本未给出。
• 摘要与正文的两个对照：摘要写 FinRT 相对 Rainbow Teaming 几乎把 ASR 翻倍（32.9% vs. 17.2%），最大对抗严重度提高 33%。引言另写相对 PAIR，在相同推理探针数下 ASR 为 33% vs 15.5%，最大攻击严重度提高 33%。Table 1 中 PAIR-Lite 为 15.47%，Max Sev 从 2.66（Rainbow）到 3.54（校准）或从 2.78（PAIR-Lite）到 3.67（oracle），论文未逐项给出“33%”的计算式。
• 偏好优化：作者称 DPO 把能力集中到特定模型族，尤其 Llama 与 Mixtral，攻击更尖、跨模型更不均匀；并称这与校准代理中这两族占比较高有关。作者称 DPO 有更多高严重度攻击和更高领域真实性。多样性上，Rainbow Teaming 的 PxD-Vendi 为 5.82，高于 FinRT 各变体（4.32–5.03）。

配对检验与代理校准

• FinRT-SFT 对 PAIR-Lite（Table 2，规格层配对）：McNemar（是否至少一次违规）χ²=10.87，p=9.78×10⁻⁴，OR=2.79 [1.51, 5.13]；Wilcoxon 符号秩（配对规格内平均违规严重度）z=5.34，p=9.14×10⁻⁸，W+=5167，W−=1389。作者称增益同时体现在更多成功攻击和更重的失效。PAIR-Lite 被作者称为最大严重度上最强的基线。
• 校准代理：作者称校准代理 DPO 在平均上匹配目标 oracle DPO，并在最可攻击的受害模型上超过它，且构造偏好时对目标的直接查询少得多；论文未报告具体查询次数。Table 1 上二者 Overall ASR 为 32.9% 与 33.0%，Max Sev 为 3.54 与 3.67。未校准的 universal 为 27.6%。
• 迁移矩阵：Figure 4 的行是偏好优化所用目标、列是评测受害模型、格内为 ASR。作者称任意校准目标下的提示都能较好迁到 Llama-3.1-8B、Llama-3.3-70B 和 Mixtral-8x7B，其余模型明显更抗；oracle DPO 没有呈现强对角占优。图中各格数值在文本中未列出。作者称漏洞位于可跨相关模型族泛化的共享对抗流形，校准权重能利用更细的区域对齐。

攻击面、外部迁移与人工一致

• 结构（Figure 3、6、7，对象为 FinRT-DPO-calibrated）：作者称欺诈、未经授权的金融活动与支付类领域 ASR 更高，隐私、公平与市场滥用类区域相对更稳；Figure 3 空格为留出划分中不存在的政策–领域组合。行为层上，凭证利用、欺诈协助与未经授权披露跨模型迁移更广，误导性建议、歧视与市场操纵更抗。作者举例：凭证利用行为迁移高，但隐私导向政策区域整体仍较稳，故脆弱性来自行为框架与对话语境的交互，而不只是政策语义。Figure 7 的严重度加权关联被作者用来说明高严重度行为集中在支付系统、数字银行接入、债务催收与信用报告等局部区域。图中单元格数值文本未给出。
• FinSafetyBench（Table 3）：1,851 条提示映射到政策–领域–目标行为规格后，FinRT-DPO-calibrated 跨六模型 Overall ASR 为 35.2%。该基准未用于训练。PAIR-Lite 在此设置未报告。
• 法律协助：6 张政策卡、11 个法律领域，每方法 1,980 条提示（6×11×30），六模型上 FinRT-DPO-calibrated 为 22.6%，PAIR-Lite 为 12.1%（Table 3）。作者将其视为初步跨域证据，而不是对法律协助的充分泛化。

其他消融与分析

• 前向阶段在无审查代理之外再加入三个对齐受害模型：作者称仅有适度提升；论文未给出该消融的 ASR 数字（Limitations）。
• FinRT-DPO-universal 相对 calibrated：Overall ASR 27.6% 对 32.9%，Max Sev 3.02 对 3.54（Table 1）。
• 多样性：迭代搜索的 PxD-Vendi 更高（Rainbow 5.82、PAIR-Lite 5.43），FinRT-SFT 为 5.03，DPO 变体为 4.32–4.52（Table 1）。
• 覆盖：FinRT-DPO-calibrated 与 oracle 的 RC-Cov@10 均为 1.0，SFT 为 0.98；自适应基线为 0.80–0.88，但 Self-Instruct 的 RC-Cov@10 为 0.89 而 ASR 仅 1.67%（Table 1）。
• 模型族：作者称 FinRT-SFT 在全部目标上同时较强；DPO 更集中于 Llama 与 Mixtral。Figure 5 为各模型 ASR，文本未给出分模型数字。
• 人工审计：700 例总体一致率 97.9%；作者称剩余错误集中在政策与严重度边界，如一般信息与可执行协助、免责声明是否充分、良性与不当披露（Limitations）。

作者指出的局限与后续方向

• 范围：研究主要关注消费金融安全，使用七个结构化政策族和固定的领域与行为规格。外部迁移能在独立构造的金融安全规格上运行，对法律协助只是初步迁移；这些实验范围有限。法律评测只有六张政策卡，应视为压力测试，而不是跨监管领域的广泛泛化（Limitations）。
• 摊销而非更低总计算：前向管线需要大规模、与具体目标无关的生成、过滤、打分和行为抽取，离线成本高。收益是摊销：训练后减少反复面向目标的搜索，并可跨多个评测规格复用，但优势取决于后续评测次数和模型发布数量（Limitations）。
• 无审查代理：前向用无审查模型做高召回发现。加入三个对齐受害模型只有适度提升，代理仍可能漏掉某些对齐族上独有的脆弱行为（Limitations）。
• 校准代理的前提：效果依赖代理与目标的脆弱性结构足够相关；对安全机制或失效面差异很大的目标，效果可能下降（Limitations）。
• 评审误差：攻击成功与严重度依赖 LLM 评审。尽管有交叉批评、政策量表、分歧人工裁决和 700 例、97.9% 一致的人工审计，剩余错误集中在细微政策与严重度边界。作者认为 LLM 评审不应被当作完美的政策 oracle（Limitations）。
• 后续设置：七个政策族覆盖独立金融基准中的主要安全维度，但不是金融监管或全部对抗行为的穷尽编码。评测的是静态黑盒受害模型，且以单轮为主，没有研究自适应防御、持续更新的模型、在线监控或持续多轮攻击。把结构化诱发扩展到这些设置是未来方向（Limitations）。

实验覆盖范围

• 主结果为六个开源受害模型上的宏平均，留出规格 N=419，每规格 K=10，ASR 带规格层约 95% 自助区间（Table 1、第 4–5 节）。
• 对比基线为 Self-Instruct、Evol-Instruct、AutoRed-style、AIC、PAIR-Lite、Rainbow Teaming；FinRT 变体含 SFT、universal、calibrated 与 oracle DPO（Table 1）。
• 规格层配对检验只报告了 FinRT-SFT 与 PAIR-Lite（Table 2）。外部迁移报告了 FinSafetyBench（1,851 条，仅 FinRT-DPO-calibrated 的 35.2%）和法律协助（1,980 条提示，22.6% 对 PAIR-Lite 的 12.1%）（Table 3）。
• 受害模型推理为 black-box；评审为 GPT-OSS-120B 与 Claude Opus 4.6 两遍，分歧人工裁决，另有 700 例人工审计（第 4 节、Limitations）。
• 论文未报告分模型 ASR 的表内数字、Figure 3–7 的单元格数值、校准代理相对 oracle 节省的查询次数，以及正文中的 τR、τF、λ、β。

FinRT 是面向消费金融的红队框架：先发现政策失效，再训练一个按政策、领域与目标行为出提示的生成器。

• 问题：客户助手上的良性问句会逼近监管边界。自适应搜索贵且不能跨政策摊销；已有摊销生成器又不按结构化合规面条件化。覆盖、严重度、真实性与多样性需要同时作为目标。
• 方法：前向在 7 项政策、211 个领域意图、30 种策略上做覆盖约束搜索，并用赌博机改写高价值提示，再把成功轨迹收成 149 个目标行为。逆向用这些成功提示做 SFT，用可攻击性与真实性的偏好分做 DPO。对每个目标，用其余五个模型的区域相关加权合成偏好，称为校准代理；oracle 变体直接用该目标的偏好。推理时每个规格一次生成 K=10，不再对受害模型迭代。
• 主结果：留出 419 条规格、六模型宏平均上，FinRT-DPO-calibrated 的 Overall ASR 为 32.9%±2.78%，Rainbow Teaming 为 17.2%±2.8%，PAIR-Lite 为 15.47%±2.27%，oracle 为 33.0%±2.78%（Table 1）。校准与 oracle 的 RC-Cov@10 均为 1.0；Max Sev 分别为 3.54 与 3.67，PAIR-Lite 为 2.78。Rainbow 的 PxD-Vendi 更高（5.82 对校准的 4.52）。FinRT-SFT 相对 PAIR-Lite 的 McNemar 与 Wilcoxon 均报告了很小的 p 值（Table 2）。
• 迁移与结构：作者称校准代理在平均上接近 oracle，迁移呈模型族聚集，Llama 与 Mixtral 更易被命中。FinSafetyBench 上校准变体 ASR 为 35.2%；法律协助压力测试为 22.6%，PAIR-Lite 为 12.1%（Table 3）。作者称高严重度失效集中在支付、数字银行、债务催收与信用报告等局部组合，而不是均匀分布。
• 作者结论：受监管领域的真实红队可以做成可学习、可迁移的建模问题。校准代理能在不对目标直接做偏好优化的情况下，恢复目标专用 DPO 的大部分表现。作者同时写明评测限于静态黑盒与以单轮为主的消费金融设置，法律结果只是压力测试。