FERRET：基于扩展的多模态自动化红队测试框架

自动红队要么只找单轮提示词，要么必须事先给定目标；FERRET要把两者接成可自发现起点的多轮多模态对抗对话。

• 场景：作者认为LVLM进入应用后，部署前需要红队。人工红队便于覆盖广而新的话题，自动红队才能把这些发现规模化。
• 现有不足：作者称一类工作多为单轮，不继续挖初始提示之外的漏洞；另一类必须事先有目标，而目标未必可得或需要大量人工。作者还称多数工作只做纯文本或纯图像。
• 核心设想：从高层策略自动发现会引出不想要或不安全行为的对话起点，再扩成文本与图像交织的多轮对话，并在对话中发现新攻击策略。
• 方法：FERRET（Framework for Expansion Reliant Red Teaming）做横向扩展（自改进对话起点）、纵向扩展（把起点堆成多模态对话）和元扩展（发现支持图像、文本及二者融合的新攻击或越狱策略）。
• 威胁模型：
  • 目标：生成能打破目标模型的多模态对抗对话，使目标产生违反给定策略的不安全输出。
  • 知识：红队模型拿到策略描述、已有攻击策略和少样本；横向记忆含过往尝试及成败。论文未写能否看到权重或梯度。
  • 能力：生成带图像占位的文本，经transformation toolkit变成可含图像的输入；可多轮续写，并可提出分类体系外的新策略及对应格式。
  • 受害系统：实验目标为Llama Maverick、Claude Haiku、GPT-4o。成败由评审模型按目标输出、对照指定策略判定。

作者在第4节按两类范式组织相关工作，并单独讨论模态。

发现提示词的单轮红队

• FLIRT（Mehrabi et al., 2024）：红队模型用上下文学习加反馈回路，学习更能打破目标模型的提示词；单轮。作者指出这类工作常停在单轮，没有纵向与元扩展。
• MART（Ge et al., 2024）与Perez et al.（2022）：同属从风险区发现会引出不安全行为的提示词。论文对这两篇只做归类，未单独批评。
• Gibbs et al.（2024）：作者引其结果称，仅提示结构（单轮相对多轮）就会改变攻击成功率，因此需要考察多轮。

给定目标的多轮红队

• GOAT（Pavlova et al., 2025）与Crescendo（Russinovich et al., 2025）：给定目标后与目标模型多轮交互，以引出嵌在初始目标里的有害行为。作者认为二者有纵向扩展，但没有横向与元扩展。
• GALA（Chen et al., 2025）：作者认为它试图同时做纵向与元扩展，但没有横向扩展。
• 目标来源：作者称这类方法依赖事先给定的目标，常用Harmbench（Mazeika et al., 2024）取材，因而被静态目标限制；找有效目标代价高、人工多。

模态

• 纯文本红队：Wichers et al.（2024）、Casper et al.（2023）的攻击提示是纯文本。作者认为缺少模态融合。
• Shayegani et al.：作者称其显示，在单条攻击提示里组合不同模态，可以得到更有效的越狱。参考文献未写年份。
• Cao et al.（2025）：用基于规则的偏好建模红队文生图系统。作者认为这类方法用文本提示打破多模态目标，但没有在提示组件里融合模态。作者还称，已有结合图像与文本的图像理解基准或方法，要么只做单轮，要么缺少三种扩展。

基线与定位

• 基线方法：主实验对比FLIRT与GOAT。策略来自llamaguard（Inan et al., 2023; Chi et al., 2024），不是从Harmbench取目标。四种文本攻击借自GOAT，三种图像攻击为本文整理。
• 作者定位：FERRET做成多轮框架，用transformation toolkit支持文本与图像融合，并在同一处同时做横向、纵向与元扩展，用来补上述缺口。

FERRET以策略描述、已有攻击策略和少样本为输入，对每条策略循环做横向扩展与纵向扩展；纵向过程中允许元扩展。Figure 1给出该循环。

问题设定

• 输入：策略描述、攻击策略，以及每种策略与攻击的示例。实验里FERRET与FLIRT为每种策略、每种攻击各用三个少样本。
• 输出：一条多轮对话。横向阶段的提示作为第一轮；纵向阶段续写到设定的最大轮数。主实验把GOAT与FERRET跑到三轮。
• 成败信号：目标模型对当前输入给出输出后，评审模型判定该攻击是否成功、该轮是否违反指定策略。成败写回记忆，供后续采样。

横向扩展

• 记忆：记录每次横向尝试及是否成功。首轮为空。成功样本为正例，失败样本为负例。
• 采样：方法节写出可只采正例，或正负例一起做对比式上下文学习（生成更像正例、更不像负例的样本）。主实验未写明用哪一种。
• 生成与变换：红队模型结合策略、攻击策略、示例和带信号的记忆样本，生成文本提示，并把图像部分放进XML标记。transformation toolkit按标记和攻击策略生成或增强图像，再把成形输入送给目标模型。
• 交接：攻击与评审给出的成败指示写入横向记忆，然后进入纵向扩展。

纵向扩展

• 选策略并续写：红队模型看到文本与图像攻击示例后，先决定策略，再生成与历史相关的下一轮。首轮纵向时，历史只有横向提示和目标回复。
• 同一工具包：新提示也用XML标出图像成分，按所选策略送入transformation toolkit，再输入目标模型。
• 记忆切换：每一轮写入纵向记忆。一条对话结束后写入总对话日志，清空局部纵向记忆，回到下一次横向扩展。
• 轮数：重复直到达到为纵向扩展设定的最大轮数。方法节未给默认值；主实验为三轮，单轮消融设为1。

元扩展与攻击分类

• 定义：纵向每一轮，红队模型除选用已有攻击外，被鼓励提出新策略及对应格式（含供工具包使用的XML标记）。作者把不同于Appendix A分类体系的新策略定义为元扩展。
• 实验用的七种：四种文本借自GOAT，即Refusal Suppression、Hypothetical、Dual Response、Persona Modification；三种图像为本文整理，即Text Attack in Image、Safe Instruction Unsafe OCR、Text fragmentation OCR（Table 4）。
• 图像策略的机制：都是文本加图像。分别把不安全内容放进图像画面、把任务放进图像中的OCR，或把指令拆开后把不安全部分放进OCR。Appendix A有定义；此处不复述其中的句式和拒答字符串。
• 未写的实现：论文未报告元扩展实际产生了多少新策略，也未写transformation toolkit的生成模型或增强参数。

判定位置

• 自动实验用LlamaGuard判断对话是否违反llamaguard中的某条策略。人工研究另请受过这些策略训练的专家标注，数字见第4问。

实验设置

• 模型：目标为Llama Maverick、Claude Haiku、GPT-4o。红队模型是通用helpful-only模型，论文未给名称。自动评审为LlamaGuard。diversity用Drama-Base做文本嵌入、Clip做图像嵌入。
• 策略与攻击：使用llamaguard中的策略，目标是生成违反这些策略的内容。七种攻击：四种文本、三种图像。FERRET与FLIRT每种策略、每种攻击三个少样本。
• 主实验协议：GOAT与FERRET各三轮。论文写按每种图像攻击策略、每条策略跑100次迭代，并在3,900个样例（生成的对话或攻击）上报告ASR与diversity。论文未写策略条数，也未写重复次数。
• 基线适配：FLIRT原为单轮且不支持多模态；GOAT原需给定目标、不做横向探索。两者都换上与FERRET相同的攻击策略。GOAT把同一批策略当高层目标做zero-shot。主对比是三轮FERRET对单轮FLIRT，另有单轮对比。
• 指标：ASR为攻击成功率。diversity把文本嵌入与图像嵌入拼接（多图则先平均）后用余弦距离比较，并用TSNE可视化。论文未写diversity标量如何从成对距离汇总。
• 人工：受过llamaguard策略训练的专家判断是否违规。每条对话一名标注员。

主结果

据Table 1。FLIRT为单轮；GOAT与FERRET为三轮。表头把GPT-4o写作GPT 4o。

Swipe horizontally to read the table

目标模型	指标	FLIRT	GOAT	FERRET
Llama Maverick	ASR	12.8%	18.1%	21.7%
Claude Haiku	ASR	9.8%	13.8%	15.3%
GPT-4o	ASR	12.1%	15.2%	18.7%

• ASR：Table 1中三个目标均为FERRET高于GOAT、GOAT高于FLIRT。作者称与FLIRT的对比对应纵向扩展的作用，与GOAT的对比对应横向扩展的作用。
• diversity：Table 1中Llama Maverick为0.266 / 0.226 / 0.252，Claude Haiku为0.262 / 0.221 / 0.250，GPT-4o为0.266 / 0.217 / 0.254（顺序均为FLIRT、GOAT、FERRET）。作者称按该指标FLIRT最多样，但ASR更低；FERRET的diversity高于GOAT。
• Figure 2：作者称隐私策略上FERRET与FLIRT的簇更密，GOAT更稀疏；多数情况下簇分开，也有策略的点与其他策略交错。纯文本未包含点的位置，此处只转述作者对图的说法。

单轮消融

• 测了什么：把FERRET最大对话长度设为1，只在Llama Maverick上与FLIRT比，其余同第3.1节。
• 结果：Table 2中FERRET的ASR为13.7%、diversity为0.275；FLIRT为12.8%与0.266。
• 作者解读：作者称同一单轮设置下，FERRET在两项指标上都更高。Figure 3上作者称：隐私策略中FERRET有三个分开的密簇，FLIRT是一个大的稀疏簇；FERRET更按策略分成不同簇，FLIRT的簇更缠在一起。

采样消融

• 测了什么：横向扩展如何从记忆采样。目标为Llama Maverick，其余同主实验。随机采样同时给正负例并做对比式上下文学习；另两种只采负例或只采正例。
• 结果：Table 3的ASR：只采有效（正）样本33.0%，随机21.7%，只采无效（负）样本16.2%。
• 作者解读：作者称采样策略会改变结果，只采正例最高、只采负例最低，并称横向扩展可以成为生成成功对抗对话的一步。论文未做统计检验。随机采样的21.7%与Table 1中Llama Maverick上FERRET的ASR相同，论文未写主实验用的就是随机采样。

人工评估

• 测了什么：主实验中以Llama Maverick为目标的FERRET对话标注1,000条，每条一人。另从单轮消融取FERRET与FLIRT各250条（共500）。论文未写1,000条如何抽出。
• 结果：1,000条上FERRET的人工ASR为27.4%。单轮子集上FERRET为6%，FLIRT为4.8%。
• 作者解读：作者称这与自动评审方向一致。论文未报告标注员一致性，也未解释27.4%与Table 1的21.7%、以及6%与4.8%相对Table 2的13.7%与12.8%为何不同；两边分母也不同。

其他消融与分析

• 元扩展：论文未报告新策略条数或单独ASR。
• 论文未报告红队模型名称、查询次数或耗时。
• 单轮与采样消融未在Claude Haiku、GPT-4o上给出数字。
• Table 1中Claude Haiku上三种方法的ASR都低于另外两个目标；论文未解释。
• 主实验未写明横向采样策略。
• 人工单轮与自动单轮的ASR数值不同，作者只称方向一致。

作者指出的局限与后续方向

论文没有Limitations小节。第5节Conclusion写的是后续方向，不是对当前证据的局限清单：

• 智能体设置：作者称后续可以研究如何在agentic setups中使用FERRET，以进一步改进有效性与多样性，并把transformation toolkit里的变换做得更agentic、更复杂（第5节）。
• 更多扩展：作者称还可以引入本文之外的expansion，并检验它们是否有效（第5节）。
• 新的自学习：作者称后续可以探索新的自学习机制，用于加强横向扩展，或加强本文已有的任一种扩展（第5节）。
• Impact Statement只说明双用途与受控研究意图，未把某项实验缺口写成局限。

实验覆盖范围

• 主结果的目标模型为Llama Maverick、Claude Haiku、GPT-4o；基线为经多模态适配的FLIRT与GOAT；自动评审为LlamaGuard（第3.1节、Table 1）。
• 主实验把GOAT与FERRET跑三轮，按每种图像攻击策略、每条策略100次迭代，在3,900个样例上报告ASR与diversity；多样性用Drama-Base、Clip、余弦距离和TSNE（第3.1节、Figure 2）。
• 单轮对比与三种采样只在Llama Maverick上报告（Table 2、Table 3）。人工标注覆盖主实验FERRET对话1,000条，以及单轮FERRET、FLIRT各250条，每条一名专家（第3.7–3.8节）。
• 攻击侧为论文所称的generic helpful only模型。论文未报告该模型名称、查询次数、重复次数，也未报告元扩展新策略的条数或单独ASR。
• 论文未报告多标注员一致性，也未写1,000条如何抽出。策略集合写为llamaguard中的策略，未写条数。

FERRET是面向LVLM的自动红队框架，从高层策略出发，生成融合文本与图像的多轮对抗对话。

• 问题：一类方法能自己找会引出不安全输出的提示词，但多为单轮；另一类能在给定目标下做多轮攻击，但不探索目标本身。作者还认为多数工作停在纯文本或纯图像。
• 做法：横向扩展用过往成败改进对话起点；纵向扩展把起点堆到设定轮数，并用transformation toolkit把XML标记过的图像部分变成多模态输入；元扩展鼓励红队模型提出Appendix A之外的新策略。实验用四种借自GOAT的文本策略和三种图像策略。
• 主结果：Table 1中，Llama Maverick上FERRET / GOAT / FLIRT的ASR为21.7% / 18.1% / 12.8%，Claude Haiku为15.3% / 13.8% / 9.8%，GPT-4o为18.7% / 15.2% / 12.1%。三轮FERRET、GOAT对单轮FLIRT。作者称FERRET在三个目标上都更高。同表diversity上FLIRT最高，FERRET高于GOAT。
• 其他数字：单轮且仅Llama Maverick时，FERRET的ASR为13.7%，FLIRT为12.8%（Table 2）。只采有效样本时ASR为33.0%，随机为21.7%，只采无效样本为16.2%（Table 3）。1,000条人工标注的FERRET对话ASR为27.4%；单轮人工子集上FERRET为6%、FLIRT为4.8%。
• 作者结论：作者认为与GOAT、FLIRT的对比分别对应横向、纵向扩展，并认为FERRET把两类红队范式接在一起。后续方向是智能体化设置、更多扩展，以及新的自学习机制。