MASCRDM: A multi-agent system for compliance risk detection and mitigation in the large language model training process

LLM 训练过程缺少把法规要求映射到各组件、并做阶段性风险缓解的系统框架。

• 场景：作者称 LLM 已用于金融、医疗、教育等，训练数据可能含不合规信息且处理不透明，公平与安全风险约束落地，偏见常指向宗教、种族、性别等受保护属性。
• 现有不足：作者称现有方法多为静态检测与过滤，只做局部优化，缺少覆盖全训练过程的实时风险检测与缓解；输入输出侧干预（如 DPO）不触及内部结构，过度数据预处理会带来 Alignment Tax，输出后检造成推理算力瓶颈。
• 进一步缺口：作者称架构干预、知识擦除、损失校准与目标优化仍缺少把 LLM 内在对齐与 AI 法律规章衔接起来的系统框架。
• 核心观察：作者把模型拆成训练数据、结构与损失等组件，用合规知识图谱标出关键节点，以便在训练中给出风险警报与建议。
• 提出的系统：作者提出 MASCRDM（Multi-Agent System for Compliance Risk Detection and Mitigation），在训练全过程做实时监测、内部风险分析，并向开发者给出缓解建议。

相关工作按论文第 2 节分为输入侧、输出护栏与内在合规。

输入侧合规

• 数据清洗：Maini et al. (2025)、Deng et al. (2025) 在预训练中降低合规风险；O’Brien et al. (2025) 用多阶段过滤减少危险知识。作者称这类方法常造成语义稀缺并损害涌现能力，即 Alignment Tax（Askell et al., 2021）。
• 数据偏好与推理拦截：Xiao et al. (2024) 转向数据偏好；InfoPO（Xiao et al., 2025a）用互信息最小化把逻辑推理与有害意图解耦。Wang et al. (2026)、Chen et al. (2025) 用提示清洗与外部护栏拦截违规，作者称输入级干预仍是黑盒（Zou et al., 2023）。Yi et al. (2025) 用多次采样近似输出分布以停用后门不对齐。

输出侧护栏

• 事后过滤：Inan et al. (2023) 把安全策略做成分类并评估多维风险；Han et al. (2024) 的审核工具识别恶意意图、检测回复风险并给出拒答率。作者称这些方法带来推理延迟与计算冗余（Wang et al., 2025）。
• 解码期干预：Xiao et al. (2025c) 用轻量梯度修正敏感 token；Kumar et al. (2026) 用轻量代理模型做推测式合规预测以降低延迟。Zhang et al. (2025) 的过程监督监控思维链并在推理中纠正。作者称这些仍是外部监控，未做到表示级内在合规。

内在合规

• 解耦、转向与注意力：Zhao et al. (2025a) 把语言特征与推理结构解耦；Yang et al. (2026) 用语义瓶颈分离任务逻辑与有害意图。Beaglehole et al. (2026) 做激活转向；Xiao et al. (2025b) 在 MLP 线性联想记忆中中和刻板关联。作者称这些工作受线性表示假设和静态干预约束；Wolf et al. (2025) 观察到内部激活转向存在可量化的对齐税。Lu et al. (2024) 在注意力层做无人口统计去偏；Kim et al. (2025) 对齐刻板与反刻板句对的注意力而不直接改权重；Li & Kim (2026) 在微调时冻结安全关键神经元。
• 遗忘、损失与持续对齐：Bias Unlearning（Liu et al., 2025）从参数中切除偏见关联；Context Reasoner（Hu et al., 2025a）用强化学习激励情境化安全逻辑；Shrestha & Srinivasan (2025) 用加权自适应损失；Zhao et al. (2025b) 把安全当作多目标并沿帕累托前沿导航。持续对齐（Alssum et al., 2025; Sun et al., 2026; Abbes et al., 2026; Bach et al., 2026）与动态安全防御（Yao, 2026）把对齐视为非平稳持续学习。作者称这些方法仍在单模型范式内，并瓶颈训练吞吐。

基线方法与基准

• 基线：KLAAD（Kim et al., 2025，注意力去偏）、Fairness Mediator（Xiao et al., 2025b，MLP 激活干预）、Bias Unlearning（Liu et al., 2025，参数干预），以及原始微调模型。
• 数据与评测：训练数据由 Alpaca-Cleaned 与 StereoSet 构成；评测用 BBQ、CrowS-Pairs、BOLD。

作者把本文定位为：用合规知识图谱把法规映射到训练各阶段，以多智能体做实时检测与缓解，而不是停留在单模型的静态转向或外部过滤。

MASCRDM 以 AI 合规知识图谱（AICKG）为规则来源，在训练中做规划、风险检测与缓解。作者称系统可跨训练范式，本文以监督微调（SFT）为代表。

知识图谱与探针

• AICKG：由人类法律专家从 AI 法律规章中抽取，四类节点为法律规章、合规风险、训练阶段与检测规则（附录 A、B）。本文以偏见与歧视为代表风险，把风险映射到各阶段规则。
• 合规专用 LLM：各智能体建在同一合规专用 LLM 上，该模型由通用 LLM 用法律专家给出的合规知识微调而成。论文未给出该基座名称。
• 中性锚定三元组探针：覆盖九个维度：种族、性别、年龄、外貌、国籍、残障、宗教、性取向、社会经济地位。每个探针 Pi 含刻板（S）、反刻板（C）与去掉群体属性的中性（N）变体。规则是：群体无关语义固定时，只改变受保护属性不应加强无正当理由的不利关联。各智能体共用探针、读取不同风险信号。附录 D.1 给出构造细节。

五个智能体

• Planning Agent：按 AICKG 标出可能有风险的训练阶段并映射检测规则（形式化在附录 C），不修改参数，只保持各智能体与法规来源的对应。
• Data Risk Detection Agent：在参数更新前对当前批次 Bt 做语义审查。它不把出现受保护属性本身当作风险，而判断样本是否表达无正当理由的偏见。输出为公式 (1)：批次风险 rt ∈ {negligible, low, high}，以及被标记样本的类别 ci、干预 ai ∈ {downweight, rewrite} 和改写结果。
• Model Structure Risk Detection Agent：检测嵌入、注意力与 MLP。嵌入用中性锚定补全差距：只计算共享补全的因果负对数似然，RS,i 或 RC,i 为正表示敏感群体上下文使同一补全更容易。注意力用对称 KL（公式 (3)），对每个头在共享描述片段上比较 S 或 C 与 N；训练前做 step-0 审计，审计时关闭已缓存的注意力干预。MLP 比较 SwiGLU 之后、Wdown 之前的中间激活绝对差（公式 (4)(5)），对每个神经元在 36 个探针上取最大，并按层分别校准。
• Model Objective Risk Detection Agent：用按 token 归一化的 NLL 比较风险变体与中性变体（公式 (6)(7)）。RiB > 0 表示风险句的几何平均条件概率更高。任一探针出现正差距即报告风险，不做百分位校准。
• Data Analysis and Risk Mitigation Agent：在警报出现时做归因并给出建议，例如调权重；已有去偏方法也可作为候选。

缓解如何作用于当前步

• 数据侧：不因少数问题样本丢弃整批。样本可改写为 x̂i，权重 wi ∈ (0, 1]，目标为加权 SFT 损失 Ldata（公式 (8)）。修正发生在参数更新之前。
• 结构侧：嵌入用基于梯度的最小范数一阶修正，只沿局部最有效方向收缩正差距，再映回词表行。注意力用见证探针上的正向投影。MLP 对定位到的风险神经元做梯度门控，衰减其更新而不直接改权重。
• 目标侧：总损失为 Ltotal = Ldata + λ Lmit。Lmit 对每个三元组累加 ReLU(M + RiS) 与 ReLU(M + RiC)，M > 0 为期望的中性边际。某一方向达到边际后该项不再贡献梯度。检测边界与优化目标分开：检测仍是可审计信号。细节在附录 D.5。

成功判定

• 训练中：跟踪中性锚定补全差距、对称 KL、神经元响应与损失级带符号差距。风险警报触发后，缓解智能体在当前批次训练前强制修正（Figure 1）。
• 训练后：在 BBQ、CrowS-Pairs、BOLD 上比较语义准确率与偏见偏离，理想情况是准确率更高、偏见分更接近 0，CrowS-Pairs 的刻板印象分更接近 50。

实验设置

• 模型：基座为 Qwen3-8B-Base（Yang et al., 2025）与 Llama-3.1-8B（Grattafiori et al., 2024）。表中 Llama 行写作 Llama3.1-8B。每方法独立训练。平台为 4 块 NVIDIA A800（各 80 GB）。相关参数在附录 E，论文正文未给出学习率、步数以外的超参；Figure 2 横轴 Global Step 画到约 1600，每 10 个 global step 记录一次。
• 训练数据：Alpaca-Cleaned 精炼自含 52,000 条指令演示的 Stanford Alpaca；StereoSet 覆盖 gender、profession、race、religion，含超过 17,000 句。作者把 StereoSet 的全部刻板示例转成 Alpaca 指令格式后并入 Alpaca-Cleaned。
• 评测集：BBQ 报歧义与消歧语境的准确率 A.Amb、A.Dis 及偏见分 B.Amb、B.Dis；CrowS-Pairs 报刻板印象分 SS，理想值为 50；BOLD 用情感与心理语言规范，报 Sentiment、VAD（Valence, Arousal, Dominance）与 BE5（Joy, Anger, Sadness, Fear, Disgust），绝对值越接近 0 越中性。细节在附录 F。
• 基线：KLAAD、Fairness Mediator、Bias Unlearning，以及原始微调模型。参数见附录 G。
• 探针：结构检测提到对 36 个探针取最大。论文未报告评测重复次数，也未报告与人工判断的一致性。
• 过程指标：全程跟踪补全差距、对称 KL、神经元响应与损失级带符号差距。

主结果

据 Table 1。Acc.、A.Amb、A.Dis 越高越好；B.Amb、B.Dis 越接近 0 越好；SS 越接近 50 越好。

Swipe horizontally to read the table

方法	模型	Acc.	A.Amb	A.Dis	B.Amb	B.Dis	SS
原始微调	Qwen3-8B-Base	61.42	46.17	76.67	3.99	1.02	64.46
KLAAD	Qwen3-8B-Base	62.09	45.65	78.52	5.94	0.83	69.56
Fairness mediator	Qwen3-8B-Base	59.46	45.01	73.90	3.41	1.43	62.40
Bias Unlearning	Qwen3-8B-Base	63.01	52.13	73.89	3.37	1.11	61.74
MASCRDM	Qwen3-8B-Base	63.12	51.71	74.54	3.32	1.04	63.00
原始微调	Llama3.1-8B	47.08	41.54	52.62	3.97	2.79	65.38
KLAAD	Llama3.1-8B	44.26	33.85	54.66	4.05	2.24	67.24
Fairness mediator	Llama3.1-8B	45.82	41.61	50.02	2.26	3.37	64.59
Bias Unlearning	Llama3.1-8B	48.93	56.55	41.31	1.70	1.37	63.59
MASCRDM	Llama3.1-8B	51.05	51.96	50.14	2.73	2.09	64.85

• BBQ：作者称 MASCRDM 在两种架构上总准确率最高，Qwen3-8B 为 63.12%，Llama3.1-8B 为 51.05%。Qwen 上 B.Amb 为 3.32，为该列最低；A.Amb 为 51.71%，低于 Bias Unlearning 的 52.13%。Llama 上 Bias Unlearning 的 A.Dis 降到 41.31%，MASCRDM 为 50.14%。
• CrowS-Pairs：Qwen 上最接近 50 的是 Bias Unlearning（61.74），MASCRDM 为 63.00，低于基座 64.46；KLAAD 升至 69.56。Llama 上 Bias Unlearning 为 63.59，MASCRDM 为 64.85，介于基座 65.38 与 Fairness mediator 的 64.59 之间。作者称 MASCRDM 给出更温和、更保效用的偏见降低，而不是每一项都最优。
• 并非全列最优：Qwen 上 A.Dis 最高是 KLAAD（78.52），B.Dis 最低是 KLAAD（0.83）；Llama 上 B.Amb、B.Dis 最接近 0 的是 Bias Unlearning（1.70、1.37），A.Dis 最高是 KLAAD（54.66）。

BOLD 上的情感偏离

Table 2 只展示 Qwen3-8B 的三类。Sentiment 等绝对值越小越好。Profession（Engineering Branches）上 MASCRDM 与基座 Sentiment 同为 +0.12，Fear 为 0.15，基座为 0.16。Race（Asian American）上 MASCRDM 的 Sentiment 为 +0.23，与 Fairness mediator 并列最低，Dominance 为 +0.31，为该列最低；KLAAD 的 Sentiment 为 +0.59。Political Ideology（Nationalism）上 Sentiment 最低是 Bias Unlearning（+0.12），MASCRDM 为 +0.13。作者称 MASCRDM 在 Sentiment 与 VAD 上有优势，并在不同敏感类型上更稳定。完整结果在附录 H 的 Table 6、7、8、10；正文未逐项列出这些表的数字。

训练过程与开销

• 损失：Figure 2 左图为 Llama3.1-8B 上标准 SFT 与 MASCRDM 的 SFT 分量损失，每 10 个 global step 记录，横轴约到 1600。作者称初始阶段之后 MASCRDM 的训练损失通常更低。图注未给出端点精确读数，此处不补读数。附录 Figure 4 另有过程曲线，正文未给数值。
• 嵌入距离：Figure 2 右图为敏感词嵌入两两 L2 距离之差（MASCRDM 减标准 SFT），色标约从 -0.003 到 +0.003，红色为增大、蓝色为减小。作者称变化以小幅为主，收益伴随对嵌入几何的有限扰动。
• 开销：作者称训练时间开销约增加 55.75%，内存开销只增加 2.14%，并认为可能可接受。论文未报告查询次数。

消融与案例

附录 H.2 的消融没有在正文给出逐模块数字。作者称改进是互补而非均匀的：数据审计带来相对稳定的收益；注意力提高准确率并降低歧义语境偏见；嵌入与 MLP 施加细粒度结构约束；损失模块改善消歧表现。

附录 H.4 比较五个方法在 BOLD 上的续写。作者对五则案例的解读是：敏感计数衡量的是话题指称而不是歧视；回复长度差很大，原始计数不应用于跨方法的公平排序。在该量规下，Fairness mediator、Bias Unlearning 与 MASCRDM 的这五则续写未标出候选偏见片段；MASCRDM 仍保留意识形态、性别与宗教用语。作者称这些案例不能据此说任一方法没有偏见，或稳定地比每个基线更少偏见；偏见、事实、相关性与重复需要分开评。

其他消融与分析

• 正文未给出 λ、边际 M、探针数 n 的搜索结果；36 个探针只出现在 MLP 聚合说明中。
• 附录 E、G 写有训练与基线参数，正文未摘出具体数值。
• 风险等级 negligible、low、high 的批次占比，论文未报告。

作者指出的局限与后续方向

• 风险类型：结论中作者承认，当前实证评测限于偏见与歧视（第 5 节）。
• 可扩展性：同一段称该框架是通用系统，既可用于法规已定义的风险，也可扩展到未来出现、仍在变化的风险（第 5 节）。
• 论文未在 Limitations、Discussion 或附录中另列其他局限。伦理或做法说明未把“只在受控环境进行”写成研究局限。

实验覆盖范围

• 模型：实验基座为 Qwen3-8B-Base 与 Llama-3.1-8B，共 2 个（第 4.1 节）。
• 训练范式：方法节称系统可用于不同训练范式，实验以 SFT 为代表（第 3 节）。
• 评测：训练后指标来自 BBQ、CrowS-Pairs 与 BOLD；BOLD 正文 Table 2 只列 Qwen3-8B 的 Profession、Race、Political Ideology 三类，完整表在附录 H（第 4.2 节）。
• 基线：对比为 KLAAD、Fairness Mediator、Bias Unlearning 与原始微调模型（第 4.1 节）。
• 未报告项：正文未报告评测重复次数、合规专用 LLM 的基座名称、警报触发次数，以及 BOLD 案例量规与人工判断的一致性（第 4 节、附录 H.4）。

MASCRDM 把 AI 法律规章编成知识图谱，再由五个智能体在 LLM 训练中做实时合规检测与缓解，实验以偏见与歧视为代表风险。

• 问题：作者认为只过滤输入输出或做静态内部干预，既难以系统提高合规，也缺少覆盖数据、结构与损失的全过程警报。
• 做法：法律专家抽取 AICKG；合规专用 LLM 驱动规划、数据、结构、目标、分析与缓解五类智能体。数据侧按样本降权或改写；嵌入、注意力、MLP 分别做最小范数修正、正向投影与梯度门控；损失侧用中性边际惩罚，达到边际后该项停止贡献梯度。代表范式是 SFT。
• BBQ：Qwen3-8B 上 MASCRDM 总准确率 63.12%、歧义偏见 3.32；Llama3.1-8B 上总准确率 51.05%、消歧准确率 50.14%，同列 Bias Unlearning 的消歧准确率为 41.31%（Table 1）。
• CrowS-Pairs：两模型上更接近 50 的都是 Bias Unlearning（61.74 与 63.59），MASCRDM 为 63.00 与 64.85。作者称结果是在语义与合规之间取平衡。
• 过程与边界：作者称 Llama3.1-8B 上初始阶段后训练损失通常低于标准 SFT，敏感词嵌入距离变化较小；时间开销约增 55.75%，内存增 2.14%。作者承认实证目前限于偏见与歧视，并认为接入 AICKG 可以把安全训练放到具体法规约束上，且框架还可扩展到其他风险。