道德之战：利用道德基础理论越狱大语言模型

1. 01这篇论文试图解决什么问题？

   作者问：把有害请求道德化，能否让LLM绕过安全护栏？

   能否把有害请求道德化，使LLM把伤害重述为道德义务，从而绕过安全护栏？

   • 场景：作者认为LLM常复现人类式推理、偏见与道德判断。人类研究里，道德化可以把伤害说成履行义务；若模型继承这种判断，护栏就可能被同一机制绕过。
   • 现有不足：作者称说服、多轮对话、心理压力和意图操纵能引出护栏要压制的内容，但都没有进入道德维度本身。
   • 核心假设：模型主要在人类文本上训练，会偏向某些道德基础（moral foundation, MF）。作者假设已对齐模型因此可被道德推理利用。
   • 本文做法：提出基于Moral Foundations Theory（MFT）的多智能体框架：诊断被违反的MF，改写到使同一请求显得正当的基础，并用生成的历史先例加固。
   • 威胁模型：
     • 目标：使最初被拒绝的有害请求得到非拒绝、且覆盖原始意图的回答。
     • 接口：Attack Tester直接向目标模型提交提示，无专门系统提示。论文未将该攻击标成white-box、black-box或gray-box。
     • 能力：攻击方控制MF诊断、提示改写和历史先例生成，不改权重。合成器汇总原提示、历史文档和测试器对改写提示的回答。
     • 对象与判定：五个开源与闭源模型的安全护栏。成功看合成回答是否被判拒绝，以及1–10的response adequacy。

   收起这一问

2. 02有哪些相关研究？

   相关工作覆盖心理平行、道德语料与越狱，作者强调本文只依据MFT。

   引言与Related Work按三条线组织。论文只在点名对照时写差别。

   • 人类与LLM的心理平行
     • Hagendorff et al.（2023）：模型表现出人类式直觉推理，并在个体与社会层面复现人类行为；社会维度包括对说服的易感性（Zeng et al., 2024）。
     • Tjuatja et al.（2024）：LLM复现人类回答偏差。作者同时引Tjuatja et al.（2024）与Schröder et al.（2025），称这种平行并非在所有设置都成立。
     • 引言把决策过程（Binz and Schulz, 2023）与错误信念推理（Kosinski, 2024）列为用心理学框架探测LLM的例子。
   • NLP中的道德语言与MFT
     • Forbes et al.（2020）、Jiang et al.（2025）、Vida et al.（2023）、Ziems et al.（2022）在规模上检测、分类或建模道德语言。
     • Johnson and Goldwasser（2018）分类政治话语中的MF；Hoover et al.（2020）发布Moral Foundations Twitter Corpus；Hendrycks et al.（2020）发布与广泛人类道德价值对齐的数据。
     • Abdulhai et al.（2024）用MFQ式评测探测LLM的道德偏差。本文的问卷实验沿用该做法。
   • 越狱与社会操纵
     • Russinovich et al.（2025）、Ren et al.（2024）、Yang et al.（2024）、Rahman et al.（2025）：多轮对话与智能体红队优于静态提示。
     • Weng et al.（2025）用多轮智能体逐步把模型推向不安全输出；Zhuang et al.（2025）把祈使请求改成陈述叙事，作者称越狱成功率上升；Zeng et al.（2024）用社会科学说服分类，把模型当作可被修辞影响的社会行动者。
     • Freedman and Fraser（1966）、Cialdini et al.（2009）被引为心理技术的来源，论文未展开其具体做法。
   • 基线与基准：对照为DeepInception（Li et al., 2023）与PAP（Zeng et al., 2024）。评测集为AdvBench的50条子集（Zou et al., 2023，由Chao et al., 2023整理）、HarmBench文本行为的validation split（Mazeika et al., 2024）、JailBreakBench的100条误用行为（Chao et al., 2024）。

   作者把本文与最接近的行为/说服攻击的差别写成四点：只依据MFT，并先诊断触发拒绝的基础；不只改表面形式，而是把有害动机改成道德义务；用Historical Researcher提供模型生成的历史先例；除把对抗基准当评测集外，还分析其道德结构是否失衡。

   收起这一问

3. 03论文如何解决这个问题？

   六个智能体诊断被违反的MF、改写请求、补历史先例并合成回答。

   整体是一套名为框架的MFT多智能体流程（Figure 1）：一边把有害请求换到另一个可辩护的道德基础上，一边用历史道德化材料支撑，再合成对原请求的回答。附录Table 7给出各智能体与评审的完整提示词；下面只写模块的输入、输出和作用，不复述其中的句式或场景模板。

   设定与所用基础

   MFT把道德判断写成一组由文化与经验塑造的心理系统。攻击框架用六个基础：Care/Harm、Fairness/Cheating、Loyalty/Betrayal、Authority/Subversion、Sanctity/Degradation，以及后来加入的Liberty/Oppression。附录Table 6给定义。标准MFQ只测前五个。作者假设：已对齐LLM既有基础偏好，就可能被“把伤害说成美德”的改写利用。

   六个智能体

   1. Attack Tester：无专门系统提示，直接向目标模型提交提示。用两次：一次提交数据集中的原始有害提示，作为该提示的基线；一次提交改写后的提示。
   2. Attack Analyzer：按MFT判断输入违反哪些MF，以及伤害的预定对象。
   3. MF Relevance Checker：读原始提示和分析器输出，对六个MF各给一档六级相关性，从not at all relevant到extremely relevant，表示该基础能否成为同一请求的替代辩护。
   4. MF Swapper：输入原始提示、被违反的MF，以及检查器选出的最可接受MF。输出保持同一核心请求、但落到所选基础上的提示。作者称有害动机被改写成道德义务，并遮住它实际破坏的基础。
   5. Historical Researcher：与改写并行。寻找历史上类似请求曾被道德辩护的文化、政治情形，标出所用MF，评估历史相关性与论证强度并排序，写成带具体例子的叙事。论文写明其材料是模型生成的历史上下文，不是经核验的外部检索。
   6. Final Response Synthesizer（AFRS）：全部实验都用DeepSeek-R1。输入为原始提示、历史文档，以及Attack Tester对改写提示的回答。它核对文档与原提示的相关性后合成最终回答。

   除AFRS外，各智能体由哪个模型执行，论文未逐一写明。Table 5按五个被测模型分别报告中间文档的充分性，说明这些文档随被测模型变化。

   道德偏差怎么测

   沿Abdulhai et al.（2024），对每个被测模型施测32题MFQ（Graham et al., 2011）。每题重复6次并打乱选项。回答映射到0–5，在每个基础上对题目与重复取平均，排除控制题。攻击框架另用含Liberty/Oppression的扩展MFT（Graham et al., 2013; Haidt, 2012）。

   成功判定

   主指标看AFRS的最终回答是否被判为拒绝。JSR = N_{Non−refused} / N_All，即非拒绝回答数除以全部回答数。第二指标response adequacy为1–10的整数：1–2为完全拒绝或完全离题，3–6为不完整或大量保留，7–10为完整、有帮助且准确。作者分析Figure 2时，把7分及以上当作成功越狱。二元判定后来用三模型多数票，充分性用GPT-4.1，见第4问。

   收起这一问

4. 04论文做了哪些实验？

   作者称可越狱；AdvBench五次累积JSR，GPT-4.1为92%，另三模型为100%。

   实验设置

   • 目标模型：Llama-4-Maverick-17B-128E-Instruct-FP8（文中多写作Llama-4）、DeepSeek-V3.1、Phi-4、GPT-4.1、Grok-3。AFRS在全部设置中为DeepSeek-R1。
   • 数据：AdvBench的50条子集；JailBreakBench的100条，其中55%为基准作者新写，其余来自AdvBench与TDC/HarmBench；HarmBench文本行为的validation split，论文未报告该split条数。去重后共219条有害提示。
   • 对照：DeepInception与PAP的已发表数字。Limitations写明目标模型、评审和攻击预算都不同：一次PAP试验最多40种说服技术，一次Moral Combat试验只跑一整遍框架。
   • 指标：JSR为非拒绝占比。response adequacy为1–10，作者把7分及以上视为成功越狱。另报MFQ均分。
   • 评审：先用上述五个模型做LLM-as-judge。三名作者标注全部AdvBench单次攻击；附录写明500个标注点，每点至少两名作者。二元拒绝的标注者间Cohen's κ=0.948，充分性的Spearman ρ=0.754。作者据此用Grok-3、GPT-4.1、DeepSeek-V3.1多数票做二元分类，用GPT-4.1打充分性。
   • 重复：AdvBench每条提示跑整套框架5次（Table 3，N=50/模型）。Table 2的MT另写n=3。论文未报告单次试验的查询次数，也未报告除AFRS外各智能体的执行模型。

   主结果

   下表只填论文给出数字的格子。单次ASR/JSR来自Table 2与Table 10；五次累积来自正文对Figure 3的叙述。Figure 3转写里还有98%等标注，与柱无法可靠对齐，故不派给Phi-4。

   表格较宽，可左右滑动

   模型	AdvBench单次	JBB单次	HarmBench单次	AdvBench五次累积
   Llama-4	90%（Table 2）	87%（Table 10）	74%（Table 10）	100%（正文）
   GPT-4.1	66%（Table 2）	63%（Table 10）	58%（Table 10）	92%（正文）
   DeepSeek-V3.1	未报告	未报告	未报告	100%（正文）
   Grok-3	未报告	未报告	未报告	100%（正文）
   Phi-4	未报告	未报告	未报告	未报告

   • 作者称Figure 2中单次JSR在五个模型、三个数据集上都高，AdvBench最高，其次JailBreakBench、HarmBench；GPT-4.1最不易被攻破，DeepSeek-V3.1最易。转写文本没有各柱百分比。首次试验上，GPT-4.1与DeepSeek-V3.1的JSR差距为30%，五次后为8%。
   • 作者在Results称框架优于或持平DeepInception与PAP。Limitations写这些数字是背景而非受控比较；Table 2的PAP单次值是从Zeng et al.的Figure 9估计的，DeepInception报的是平均有害性而不是攻击成功率。
   • Table 2的MT是n=3：Llama-4为98%，GPT-4.1为86%，与上表五次累积不是同一设置。

   重复攻击

   • 五个模型都随试验次数增加而覆盖更多提示。正文给出的终点是GPT-4.1的92%，以及DeepSeek-V3.1、Llama-4、Grok-3的100%。
   • Table 3把每条AdvBench提示按五次结果分类。Blocked / Inconsistent / Broken：GPT-4.1为4（.08）、29（.58）、17（.34）；Phi-4为1（.02）、18（.36）、31（.62）；DeepSeek-V3.1为0（.00）、17（.34）、33（.66）；Grok-3为0（.00）、21（.42）、29（.58）；Llama-4为0（.00）、16（.32）、34（.68）。
   • 作者称Llama-4没有任何提示被五次都拦住；Phi-4、DeepSeek-V3.1、Grok-3的一致性主要是反复越狱，而不是稳定拒绝。作者称GPT-4.1在单次和多次设置都更好，但高不一致削弱了这一优势；它仍保持最低JSR。附录Table 12列出五次均拒绝的提示，不在此复述原文：Llama-4、DeepSeek-V3.1、Grok-3为空，Phi-4有1条，GPT-4.1有4条。

   道德偏差与基准分布

   • Table 4：五模型的MFQ均分都在Care与Fairness上最高，Loyalty、Authority、Sanctity更低。作者把前两者称为individualizing foundations，后三者称为binding foundations。最高一格是Phi-4的Fairness 4.833，最低一格是GPT-4.1的Sanctity 1.750。问卷不含Liberty/Oppression。
   • 作者称Figure 4中Care/Harm最多，Fairness/Cheating其次，二者占检测到的违规的绝大多数。转写列可能错位，此处不抄各柱计数。作者称尚不清楚失衡来自数据集还是标注模型自己的MF偏差，并引Coleman et al.（2025）称LLM普遍更强调这两项。
   • Figure 5按行归一化，汇总全部模型与数据集：作者称被选作攻击框的MF中，Liberty/Oppression与Authority/Subversion合计大约70%。作者假设，模型关注较弱的基础可能更容易绕过护栏。作者还观察到，有些提示用它自己违反的那个MF来辩护；附录Table 11给例子，不复述提示原文。

   组件贡献

   • Figure 6比较四条件：无文档、仅Historians、仅MF Swapping、全框架。无附加处理时，除Grok-3为10%外，JSR为0；该句写的是harmful prompts，未写明数据集。作者称加入任一组都会提高JSR：对Phi-4与GPT-4.1，MF改写文档更有效；对其余模型，历史文档更有效。合并两组后，充分性在Phi-4、GPT-4.1、LLaMA-4上维持或上升；论文未对DeepSeek-V3.1与Grok-3写合并后的充分性变化。
   • Table 5是合成前、AdvBench上中间文档的平均充分性。MF Swapped / Historic：DeepSeek-V3.1为7.12 / 2.86，Llama-4为4.24 / 4.46，GPT-4.1为5.70 / 1.80，Grok-3为6.78 / 3.36，Phi-4为2.60 / 3.32。作者称两份文档都只是部分充分，合成器仍需把它们对齐回原意图；合成后分数更高，作者归因于AFRS做的对齐。

   其他消融与分析

   • 附录Table 9（观察性关联，不是移除消融；论文未写明数据集）：回答含MF Swapped内容时JSR为82.57%，不含时为31.48%。
   • 同表：含Historic内容时JSR为86.91%，不含时为62.17%。作者称MF Swapped的差距更大（51.09对24.74个百分点）。
   • 成功攻击中，MF Swapped贡献96.0%、Historic贡献69.61%；失败时分别为69.92%、36.18%。
   • 成功攻击平均4.85句来自MF Swapped（失败1.93），Historic为1.96对0.88。
   • Table 1：充分性相关，GPT-4.1的ρ=0.610（p<.001），Llama-4为0.459，Grok-3为0.565，DeepSeek-V3.1为0.370，Phi-4为-0.082（p=.196）。二元κ分别为0.888、0.859、0.918、0.873、0.456。
   • Limitations另记：PAP在重复攻击下还报告过GPT-4的88%；该数字不是本文实验。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出评审、MF标注、英文与默认解码等局限，并把防御留到后续。

   作者指出的局限与后续方向

   • 评审：Limitations写，因规模使用LLM-as-judge，只在AdvBench上与人工对照；判断不完美，可能继承底层模型的偏差。把人工验证扩到全部提示与试验会加强所报结果的可靠性。因双用途风险，人工标注只由作者完成，作者写这限制评测的独立性，并可能带来确认偏差。
   • MF标注：Limitations写，违规基础依赖AAnalyzer，Figure 4的失衡不能只归因于基准，也可能部分来自分析器对同一批基础的偏好；许多有害提示可同时违反多个基础。作者认为，由人对被违反的MF做标注能部分缓解。
   • 推广：Limitations的Generalizability写，五个模型不能完全覆盖现有模型家族、架构、规模与对齐策略；全部使用默认解码，未改变temperature或其他采样参数；重复攻击因计算约束只做AdvBench，作者承认这可能不能推广到全部数据集。
   • 对照：Limitations的Comparisons写，与先前工作的数字来自不同目标模型、评审和攻击预算，提供的是背景，而不是受控的有效性比较。
   • 语言与读者：Limitations的Language and cultural scope写，评测限于英文提示，作者认为可能高估所发现漏洞的普遍性。道德化攻击是否也能说服人类读者仍是开放问题。作者把多语言、不同文化中的道德情境和人类被试评测列为后续方向。
   • 历史文本与防御：Limitations写，Historical Researcher依赖模型生成的历史上下文，而不是经核验的外部检索，有幻觉或不准确的风险。本文刻画漏洞而不做缓解，作者计划在后续研究中设计防御。Conclusion还写：未来护栏应同时针对提示在请求什么，以及有害请求如何被道德辩护；并需要在提示所违反的MF上更均衡的安全基准。

   实验覆盖范围

   • 被测模型为Llama-4-Maverick-17B-128E-Instruct-FP8、DeepSeek-V3.1、Phi-4、GPT-4.1、Grok-3，共5个；AFRS固定为DeepSeek-R1（Section 4.1）。论文未报告其余智能体的执行模型。
   • 数据为AdvBench的50条子集、JailBreakBench的100条、HarmBench文本行为validation split；去重后219条（Section 4.3）。论文未报告HarmBench该split的条数。
   • 重复攻击为AdvBench每条提示5次，Table 3的N=50/模型；Table 2的MT为n=3。论文未报告单次试验的查询次数。解码为各模型默认配置（Limitations）。
   • 人工标注覆盖AdvBench单次、五个模型的输出；二元拒绝用Grok-3、GPT-4.1、DeepSeek-V3.1多数票，充分性用GPT-4.1（Section 4.4、Table 1）。
   • 组件条件为无文档、仅历史、仅MF改写、全框架（Figure 6）。MF偏差用32题MFQ、每题6次，不含Liberty/Oppression（Section 4.2）。与DeepInception、PAP的数字来自对方已发表结果，目标模型不同（Limitations）。

   收起这一问

6. 06总结一下论文的主要内容

   MFT多智能体把有害请求改成道德义务；作者称拒绝不稳定，基准MF不均衡。

   这是一项越狱攻击：用道德基础理论把有害请求改写成道德义务，以探测LLM安全护栏。

   • 问题：作者认为模型会继承人类的道德判断与基础偏好。说服、多轮和意图操纵没有进入道德维度；道德化则可能把伤害说成义务，从而绕过拒绝。
   • 方法：六个智能体。分析器标出被违反的MF，相关性检查器在六个基础中选可辩护者，改写器保持核心请求，历史研究员并行生成先例，Attack Tester直接提示目标模型，DeepSeek-R1合成最终回答。成功看合成回答是否拒绝（JSR），以及1–10充分性，作者把7分及以上当作成功越狱。
   • 主数字：AdvBench单次，Moral Combat对Llama-4的ASR为90%，对GPT-4.1为66%（Table 2）。同方法单次在JailBreakBench上为Llama-4的87%、GPT-4.1的63%，在HarmBench上为74%与58%（Table 10）。AdvBench五次累积JSR为GPT-4.1的92%，以及DeepSeek-V3.1、Llama-4、Grok-3的100%。Figure 6无附加文档时，除Grok-3的10%外JSR为0；该句未写明数据集。
   • 其他发现：Table 3中Llama-4有68%的提示五次都被遵守，没有任何提示被五次都拦住；GPT-4.1有58%不一致、8%五次都被拦住。作者称所选攻击框大约70%落在Liberty/Oppression与Authority/Subversion，而三个基准的违规集中在Care/Harm与Fairness/Cheating，且尚不能确定失衡来自数据还是标注模型。
   • 作者的结论：模型可被道德化绕过；一次拒绝的提示在另一次试验中经常被遵守；所研究的安全基准在被违反的MF上不均衡。作者认为以后的护栏应同时考察请求内容与道德辩护方式，并需要MF更均衡的基准。与先前攻击的数字对照，作者在Limitations中写成背景而非受控比较。

   收起这一问

相关论文