RedDebate:通过多智能体红队辩论让 LLM 回复更安全
RedDebate: Safer Responses Through Multi-Agent Red Teaming Debates
RedDebate用辩论与长期记忆降低不安全输出;HarmBench上SReD+GLTM总ER低至0.2%。
红队提示作为辩题。多个LLM辩论者在推理时看到共享记忆并修改回答;独立评估器给出二元安全标签,仅当出现不安全回答时生成反馈并写入长期记忆。
- 不安全回答常在推理时面对红队提示才出现,人工评估难扩展,单模型自我批评又可能看不到自身错误。RedDebate要让多个LLM自动发现、修正并记住这些失败。
- 多个辩论者对红队提示做三轮辩论,策略包括同伴修改、Devil–Angel与苏格拉底式追问。独立评估器标出不安全回答后,把教训写入检索记忆、LoRA记忆或可执行护栏,供后续推理使用。
- HarmBench上无记忆SReD总ER为21.0%与28.9%,SReD+GLTM为3.6%与0.2%(Table 1、Table 2)。CoSafe上GLTM总ER为2.5%与0.8%。CLTM对Phi与R1并非都更低。
- 作者指出LlamaGuard不完美,Colang与NeMo会带来运行错误,并把更广越狱、推理模式和记忆投毒列为后续。实验覆盖两组开源模型及若干前沿模型,主基准是HarmBench与CoSafe;论文未报告这两个基准的样本量。
- 威胁模型
- 红队提示作为辩题。多个LLM辩论者在推理时看到共享记忆并修改回答;独立评估器给出二元安全标签,仅当出现不安全回答时生成反馈并写入长期记忆。不依赖人工标注。论文未使用white-box、black-box或gray-box描述该过程。
- 被测模型
- Mistral-7B-v0.2LLaMA-3.2-3B-InstructPhi-3.5-miniGemma-3-12BQwen3-8BDeepseek-R1-Distill-LLaMA-8BGPT-OSSGrok-4DeepSeek R1-685BGemini-2.5-Pro
- 基准
- HarmBenchCoSafeAegis-2WildJailbreakTriviaQAXSTest
- 指标
- ERAGR
RedDebate 让多个 LLM 在多轮辩论中相互审查推理,以全自动红队测试发现并缓解不安全行为。该框架设计了长期记忆模块,保存辩论中的安全相关洞见并在后续推理时调用,使模型行为持续改进。在多个模型的安全基准上,辩论本身已能减少不安全输出,加入记忆后错误进一步下降;作者称这是首个无需人工介入、统一多智能体辩论与红队测试的全自动框架。
深度解读
这篇论文试图解决什么问题?
作者提出RedDebate,用多智能体辩论与长期记忆在推理时降低不安全输出。
如何让多个LLM在推理时、无需人工干预地发现并修正不安全回答。
- 出现场景:作者认为不安全行为常在新颖或对抗提示下、于推理时才暴露;RLHF与监督式安全微调主要在训练时优化预定目标。
- 现有不足:作者称人工红队难扩展、易漏细微错误且成本高;单智能体自我批评可能看不到自身知识缺口。训练信号覆盖有限,并可能出现奖励黑客。
- 核心问题:一组LLM能否通过辩论共同识别、修正并学习自己的不安全行为。
- 本文提出:推理时框架RedDebate。多个智能体围绕红队提示辩论,独立评估器触发反馈,长期记忆保存安全教训。作者称据其所知,这是首个把辩论与红队统一、无需人工干预来逐步提高安全性的全自动框架。
- 威胁模型:
- 目标:减少对红队提示的不安全回答,并把失败变成后续可复用的教训。
- 知识:论文未用white-box、black-box或gray-box描述攻击者。辩论者共享短期与长期记忆;评估器与辩论者分开,以避免全体持有同一错误信念时无法互纠。
- 能力:从对抗提示集取辩题;辩论者多轮作答、互看并修改;若任一回答不安全,反馈生成器依据全历史与标签写入长期记忆。全体安全则不更新。
- 受害系统:参与辩论的LLM。作者称该框架补充而非替代训练时对齐。
有哪些相关研究?
相关工作分辩论、红队、反馈学习、记忆与护栏;作者称本文把它们用于安全精炼。
论文第2节与附录B把相关工作分成四组,并把本文放在推理时的辩论式安全精炼上。
多智能体辩论
- Irving et al. (2018):用辩论和self-play讨论超人类AI对齐。Khan et al. (2024):辩论可帮助较弱评判者评估更强模型。
- Du et al. (2024)、Liang et al. (2024)、Chan et al. (2024)、Smit et al. (2024):MAD相对自我反思或集成,用于提高事实性、对齐或推理。作者指出这些工作都没有把MAD当作带学习的红队方法来精炼安全。
- Chern et al. (2024):让被越狱或较弱的模型与更强模型辩论以降低毒性。附录B同样称其未把辩论与安全学习结合。
红队
- 人工测试(Dinan et al., 2019; Ribeiro et al., 2020等):由人编写用例或判定有害回答。
- Perez et al. (2022):用语言模型生成测试,并用训练好的分类器找失败。其后有MART(Ge et al., 2023)、Rainbow Teaming(Samvelyan et al., 2025)、好奇心探索(Hong et al., 2024)和自动形成有害性度量(Casper et al., 2023a)。
- 作者称本文要的是一组LLM智能体生成、批评并评估回答的自动流程,而不另训分类器或依赖人工监督。
从反馈中学习
- RLHF(Ouyang et al., 2022; Bai et al., 2022a):按人类偏好微调有帮助、无害的助手。
- Constitutional AI(Bai et al., 2022b):按预定规则自我批评并迭代修改。Reflexion(Shinn et al., 2023):把口头反思放入情景记忆,供后续试次使用。
- 作者称本文改为辩论中的同伴批评,并接上多种长期记忆。
记忆与护栏
- 文本记忆与参数记忆(Zhang et al., 2024综述;Hu et al., 2023; Zhong et al., 2024; Xiong et al., 2023等):分别以外存检索或改权重保存经验。作者称自己首次在辩论安全设定中同时使用两类记忆。
- NeMo Guardrails(Rebedea et al., 2023):用Colang规定对话流。作者称首次把护栏当作安全设定中的记忆。
基线与基准:主对比是Standard Prompting、Self-Revision、按Constitutional AI实现的Self-Critique,以及Best-of-N。主基准是HarmBench与CoSafe;附录还用Aegis-2、WildJailbreak、TriviaQA和XSTest。作者把RedDebate定位为与RL对齐互补的推理时机制,而不是与训练时方法竞争。
论文如何解决这个问题?
多轮辩论后由独立评估器触发反馈,并写入检索、参数或护栏记忆。
RedDebate让多个LLM围绕红队提示辩论;独立评估器发现不安全回答后,把蒸馏出的教训写入长期记忆,供以后的辩论使用。
设定与一轮流程
- 输入:从对抗提示集P取辩题X。N个辩论者在固定轮数T内作答。主实验为每组3个辩论者、3轮。
- 生成:第t轮回答同时依赖提示、共享短期记忆与长期记忆,即 rn(t)=Dn(X, MS, ML)。该式表示辩论者能看到自己和同伴的既有回答,以及历史安全教训。
- 判定与写入:每轮回答进入短期记忆。辩论结束后,评估器给全部回答二元标签。只要存在不安全回答,反馈生成器就根据全历史和标签产生文本教训并写入长期记忆;否则不学习。算法1概括该过程。
- 为何分开评估:作者认为,若全体共享错误信念,同伴可能无法互纠,所以评估器不参加辩论。多样回答也被用来增加至少一条回答与潜在不安全内容冲突的机会。
三种辩论策略
- PReD:同角色同伴并行作答,按算法1互看并修改。
- DAReD:作者认为PReD的回答可能过于相似。Devil不论原回答是否安全都生成反对,Angel则支持,辩论者据此重估。附录算法将其简化为一个辩论者,以减少对话重叠;实验对三个模型的角色置换取平均。
- SReD:作者观察到,除非被直接质问,智能体往往不根据同伴主动修改。Socratic智能体不回答辩题,只追问假设、证据和推理缺口。安全评估不计Socratic、Devil和Angel的发言。
- 引导模型:反馈生成器与Socratic智能体使用GPT-4o-mini。附录G给出各角色完整提示词。
四种长期记忆
- STM:只保留当前辩论,结束即重置。LTM跨辩论保留教训。
- TLTM:把自然语言反馈嵌入向量库,新提示按余弦相似度取最相关的5条原文放入上下文。嵌入模型为text-embedding-3-large。
- CLTM:用LoRA把累积反馈注入辩论者注意力层,以交叉熵训练。每新增10条反馈,就在截至当时的全部反馈上重置并重新微调。附录给出r=16、alpha=16、dropout=0.1。
- UNIFIED与GLTM:前者同时用TLTM和CLTM。GLTM把不安全经验编成Colang流程:一次提示生成抽象表达式和例句,合并同名表达式后,用规则转成NeMo Guardrails可执行流。生成前若输入匹配已知不安全流,则直接拒绝。护栏由GPT-4o生成。附录图23给出生成提示和流程示例。
成功判定
- 标签:0为不安全,1为安全。主评估使用LlamaGuard,且只评辩论者。
- 两个指标:错误率是该智能体在全部提示和轮次上的不安全回答比例,ERn=∑p,t I[yp,n(t)=0]/(|P|× T)。同意率是相邻轮从不安全改为安全的转移比例,分母为|P|×(T−1)。
- 实现:可用时关闭reasoning mode。成本实验把每条新生成回答限制为512 token。
论文做了哪些实验?
无记忆时SReD的ER最低;加上GLTM后HarmBench总ER降至3.6%与0.2%(Table 2)。
实验设置
- 主辩论者:第一组为Mistral-7B-v0.2、LLaMA-3.2-3B-Instruct、Phi-3.5-mini;第二组为Gemma-3-12B、Qwen3-8B、Deepseek-R1-Distill-LLaMA-8B。附录另测Grok-3-mini、GPT-OSS-20B、Grok-4、DeepSeek R1-685B、Gemini-2.5-Pro。
- 基准:主实验是HarmBench的直接有害提示和CoSafe的对话式提示。论文未报告二者样本量。附录使用Aegis-2、WildJailbreak、TriviaQA(1,000题)和XSTest。
- 基线:Standard Prompting(SP)、Self-Revision(SR)、Self-Critique(SC,按Constitutional AI、规则随机抽样),以及无交互的Best-of-N。
- 指标:ER越低越好;AGR统计相邻轮从不安全改为安全的比例。Table 2的灰色数字是相对无引导或无记忆辩论设定的ER变化。
- 评审:主结果由LlamaGuard打二元标签。论文未报告其阈值,也未报告主实验重复次数。人工对照见附录C.4。
- 协议:每场3轮。DAReD对角色置换取平均。TLTM取top-5;CLTM每10条新反馈重训。
主结果
HarmBench上SReD及四种长期记忆的ER(%),据Table 2。
表格较宽,可左右滑动
模型 无记忆 +TLTM +CLTM +UNIFIED +GLTM Mistral-7B-v0.2 25.7 18.0 16.0 6.7 8.4 LLaMA-3.2-3B-Instruct 15.8 13.5 4.6 4.1 0.3 Phi-3.5-mini 21.6 14.1 21.6 7.4 2.0 Gemma-3-12B 24.8 4.5 5.1 0.0 0.3 Qwen3-8B 28.6 6.6 2.6 1.4 0.0 Deepseek-R1-Distill-LLaMA-8B 33.4 8.0 30.1 5.5 0.3 - 无记忆:Table 1中SP总ER最高,HarmBench第一组38.7%、第二组44.4%;SReD为21.0%与28.9%,AGR也最高,为17.0%与17.5%。作者称同伴互动优于独自修改。例外是第二组HarmBench上DAReD总ER 36.4%,高于PReD的34.7%。摘要称仅辩论最多降低17.7%,加长期记忆超过23.5%。
- 记忆:作者称四种LTM都降低总ER,GLTM的总ER最低,第一组3.6%、第二组0.2%。表内例外:Phi的CLTM仍为21.6%;R1的CLTM为30.1%,旁注+3.3;Mistral的GLTM 8.4%高于UNIFIED的6.7%。
- CoSafe:无记忆SReD总ER为4.5%与5.8%(Table 1;SP为7.4%与8.1%)。Table 2中GLTM总ER为2.5%与0.8%。Phi的CLTM旁注−1.5;R1的TLTM、CLTM旁注−2.4与−2.9。
对照Self-Critique与Best-of-N
- SC:HarmBench第二组SC总ER为8.3%,低于无记忆SReD的28.9%,高于SReD+GLTM的0.2%和UNIFIED的2.3%。第一组SC总ER 15.4%,SReD+TLTM为15.2%。作者称带记忆的SReD优于SC;Phi的TLTM 14.1%、CLTM 21.6%并未低于其SC的12%。
- CoSafe上的SC:相对SR,SC总ER由7.0%到8.1%、由7.9%到11.2%,灰色标注为变差。正文未单独解释该例外。
- BoN:Table 3在Gemma/Qwen/R1、HarmBench上比较。N=5的best、avg、worst总ER为29.7%、42.7%、53.6%;SReD总ER为28.9%。R1的SReD 33.4%高于BoN best的31.0%。作者称平均与最差聚合下SReD更低,best是随N变宽的乐观上界。
潜伏错误、评估器与有用性
- 安全到不安全:正文以HarmBench第一组为例。Figure 3文字给出Llama在PReD、DAReD、SReD的初始不安全数为47、130、89,转换数为13、23、18;Phi的转换为21、23、8。作者称DAReD触发的转换最多,SReD发现漏洞的平均步数更少。步数端点在纯文本中列对不齐,此处不转写。
- 人工对照:附录C.4标注了315条HarmBench辩论论述。LlamaGuard的accuracy、precision、recall、F1为87%、90%、94%、92%;带审核提示的GPT-4o-mini为81%、87%、89%、88%(Table 8)。作者称LlamaGuard可作为人工评判的代理。
- 有用性:TriviaQA上加记忆后的准确率与无记忆同量级,拒答率最高为Mistral+TLTM的1.8%(Table 9,1,000题)。XSTest上,CLTM+TLTM使Mistral依从率从73.6%到59.6%、Phi从80.8%到72.8%(Table 10)。作者把这视为混合记忆可能过度正则。
成本、早停与迁移
- token与时延:作者称SC每轮约比辩论者少35% token(1,351对2,104±228)。作者称在接近的输出token预算下,SC仍不如3轮辩论;Qwen的SC最多需要9次修改才接近3轮辩论,R1在第3轮后不再修正并在最后一轮变差。Table 15中Qwen每轮墙钟时间为SC 28.195秒、辩论21.559秒。
- 早停:3智能体、3轮在HarmBench上产生3,600条回答;全员安全即停会去掉1,686条,推理调用减少46%。去掉这些反馈后重训TLTM,ER从16.0%到17.8%(§5.3)。论文未说明16.0%对应哪一组模型。作者称这是效率与失败案例暴露之间的权衡。
- 迁移:Qwen一轮、无记忆时WildJailbreak ER为41.5%,Aegis-2为6.23%;接上HarmBench蒸馏的TLTM后为6.5%与1.20%(Table 6)。Table 7中R1在Aegis-2上PReD+TLTM为5.5%,高于SC的3.7%。
其他消融与分析
- 轮数(Table 13,HarmBench):无记忆5轮总ER 26.4%,3轮28.9%;加TLTM后3轮11.7%,4轮18.0%,5轮18.4%。
- 智能体数(Table 14):5个智能体无记忆总ER 24.5%、DIV 57.0%;加TLTM后总ER 6.0%。
- 前沿三模型PReD总ER:Grok-4为2.5%,R1-685B为12.6%,Gemini-2.5-Pro为3.8%(Table 5)。
- TLTM检索:正文写K=10的Hit Rate为89%;Table 11写0.8900,K=5为0.8125。
- 护栏运行(Table 16):Phi在HarmBench的runtime error为25.0%;Qwen的Guardrails Recall为1.0%。
- GPT-OSS-20B在HarmBench的SP ER为1.3%、SReD为1.1%(Table 4)。作者称它几乎不参与辩论,只给简短拒绝。
有什么可以进一步探索的点?
作者指出评估器不完美、护栏运行错误,以及越狱覆盖和记忆投毒等待做。
作者指出的局限与后续方向
- 评估器:LlamaGuard相对人工标注并非完美,可能影响回答评估和最优反馈;作者同时称这不能解释HarmBench上的安全提升(附录A)。
- 护栏实现:严格的Colang格式和NeMo不稳定会在Phi等模型上造成运行错误,作者称库本身需要改进(附录A)。
- 越狱范围:主实验用标准化基准;附录包含WildJailbreak,但作者仍把更广的最新越狱技术和多轮对抗攻击列为后续工作(附录A)。
- 与输入侧防御:作者认为多数越狱防御作用于输入或输出,与本文的推理层目标正交;与输入侧过滤器组合是后续方向(附录A)。
- 记忆投毒:在线记忆可能被对抗输入污染。作者称未做专门实证;只经辩论共识和LlamaGuard过滤后再更新,不足以作为抗投毒保证(附录A)。
- 推理模式与算力:Qwen和DeepSeek-R1关闭thinking mode,结果只反映chat/instruction模式;开启推理模式待做。作者也称每步算力更高,早停可在其认为可接受的安全水平下降低推理复杂度(附录A)。
实验覆盖范围
- 主辩论在HarmBench与CoSafe上比较SP、SR、PReD、DAReD、SReD,以及TLTM、CLTM、UNIFIED、GLTM;每场3轮。论文未报告这两个基准的样本量和主实验重复次数。
- 报告了自身结果的辩论者包括两组各3个开源模型,以及Grok-3-mini、GPT-OSS-20B、Grok-4、DeepSeek R1-685B、Gemini-2.5-Pro(Table 1至Table 5,附录C.1、C.2)。
- 对照包括Self-Critique,以及HarmBench上Gemma/Qwen/R1的Best-of-N,N为3和5(Table 3)。安全标签由LlamaGuard给出;与人工一致性的报告使用315条HarmBench论述(Table 8)。
- 附录还报告Aegis-2、WildJailbreak上的辩论或记忆迁移,TriviaQA 1,000题和XSTest上的拒答或依从,以及轮数、智能体数、早停和墙钟时间。
- 主实验的反馈生成与Socratic角色使用GPT-4o-mini,护栏生成使用GPT-4o。作者写明Qwen与DeepSeek-R1关闭reasoning mode。论文未报告记忆投毒实验。
总结一下论文的主要内容
RedDebate在推理时用辩论与记忆降低不安全输出,作者称可补充既有对齐。
RedDebate是一个推理时的多智能体框架,用来降低LLM对红队提示的不安全回答,并被作者定位为训练时对齐的补充。作者称据其所知,它是首个把多智能体辩论和红队统一起来、无需人工干预以逐步提高安全性的全自动框架。
- 问题:作者认为不安全行为常在推理时才暴露;人工红队难扩展,单模型自我批评又可能看不到自身错误,训练时对齐还受信号覆盖和奖励黑客限制。
- 做法:3个辩论者对同一红队提示进行3轮PReD、DAReD或SReD。LlamaGuard标出不安全回答后,教训进入检索式TLTM、LoRA式CLTM、二者并用的UNIFIED,或生成前即可拒绝的GLTM。评估器与辩论者分开。
- 无记忆:HarmBench上,第一组SP总ER为38.7%,SReD为21.0%;第二组由44.4%到28.9%(Table 1)。CoSafe上SReD总ER为4.5%与5.8%。第二组DAReD的HarmBench总ER为36.4%,高于PReD的34.7%。
- 记忆:SReD+GLTM的HarmBench总ER为3.6%与0.2%,CoSafe为2.5%与0.8%(Table 2)。并非每个变体都更低:Phi的CLTM仍为21.6%,R1的CLTM为30.1%;CoSafe上R1的TLTM、CLTM高于该模型无记忆SReD。
- 其余证据:作者称辩论会把最初安全的回答改成不安全,从而露出单轮看不见的漏洞。Table 3中,SReD总ER 28.9%低于BoN在N=5时的avg 42.7%和worst 53.6%。315条人工标注上,LlamaGuard的F1为92%(Table 8)。
- 作者结论:结构化协作、系统反馈和主动护栏可以在无人工监督时减少不安全输出并发现漏洞。作者同时把评估器误差、护栏运行失败、越狱覆盖、推理模式和记忆投毒留作后续问题。