RegLLM：面向受监管智能体 AI 的有限自主性诊断测试框架

受监管智能体何时作答、何时交给合格的人，缺少可核验的评测与训练信号；常见pilot规模下，适配器效应又分不清采样和硬件方差。

• 场景：作者认为智能体进入金融合规、医疗建议与法律分诊后，答错对应监管罚款、受伤害的客户或漏掉的义务，而不是一句可改正的回复。
• 现有不足：可验证奖励适用于数学和代码等可机器检查的答案。作者引Wen et al.（2025）：监管建议中，合理专家会对原则如何用于事实模式有分歧。护栏能监视并阻断不安全动作，但作者认为没有原则性方法学习何时推迟给人，该决策现停在手工阈值。
• 核心观察：任务带should_escalate标签后，终态是作答还是推迟就可以核对。作者认为有界自主因而可测量、可训练、可审计。
• 提出内容：诊断框架REGLLM把六项信号按证据来源分开，并配确定性监督器：阻断无依据回答、强制升级、记录干预。同一份领域宪法驱动奖励软项和运行时护栏。
• 经验定位：作者把主要经验贡献放在smoke规模暴露的方差上，而不是一次完整验证。作者称，在智能体AI pilot常见的样本量与训练预算下，适配器效应无法与采样及硬件方差区分开。

论文Related Work分成可验证奖励、偏好与评审、智能体护栏、金融文本与审计四组。

可验证奖励

• 代码奖励：DeepSeek-R1（DeepSeek-AI, 2025）、Shao et al.（2024）、Lambert et al.（2024）与Wen et al.（2025）讨论奖励函数是代码时的强化学习，例子包括数学题、单元测试和格式检查。
• 判断型领域：Wen et al.（2025）明确提出的开放问题是，知识密集、正确答案部分取决于判断时该怎么办。

偏好与评审对齐

• 偏好标签：RLHF（Ouyang et al., 2022; Christiano et al., 2017; Schulman et al., 2017）和DPO（Rafailov et al., 2023）依赖偏好标签流。
• 宪法用法：Constitutional AI（Bai et al., 2022; Zhang, 2025）用模型对照成文原则做批评，以替代标注员。作者称本文不把宪法用作下游对齐的数据生成装置，而是直接放进RL奖励和运行时护栏。
• 软项：LLM-as-a-judge（Zheng et al., 2023）支撑该软项。

智能体护栏

• 体外阻断：GuardAgent（Xiang et al., 2025）、AGrail（Luo et al., 2025）和PSG-Agent（Wu et al., 2025）在智能体外阻断有害动作。作者称它们在拒绝有毒输出上已经成熟，但没有原则性依据回答何时该问人；作者称本文给出可核验的升级正确性并朝它训练，同时保留确定性监督器处理训练到不了的失败。
• 循环抽象：ReAct（Yao et al., 2023）是底层智能体抽象。

金融文本、RegTech与审计

• 文档与流程：FinBERT（Araci, 2019）、BloombergGPT（Wu et al., 2023）、FinGPT（Yang et al., 2023）把模型适配到金融服务文本；RegTech文献（Zetzsche et al., 2017; Arner et al., 2017）研究监管流程中的技术。作者称这些工作面向市场或文档任务，失败模式不是情感标签错误，而是回答了本应升级的问题。
• 审计产物：内部算法审计（Raji et al., 2020）和model cards（Mitchell et al., 2019）主张每个生命周期边界都有可检查产物。作者称本框架落在该纲领内：指标按轨迹可记日志，干预按触发的原则id记录。

基线与数据

• 比较对象：离线参照是确定性词法基线策略加启发式judge；GPU试点比较同一基座上的RL-base、answer-quality DPO与escalation-aware DPO。语料是UK FCA Handbook的PRIN、COBS、SYSC、CONC；评测任务来自作者的模板生成器。

作者的定位是：不新造监管正确性验证器，只把可程序检查的部分配上AI-judge软项；一份领域宪法同时进入评测、训练和服务时的护栏。

REGLLM把作答还是推迟做成可核对信号：ReAct循环产出轨迹，混合奖励打分，推理时再套模型外的确定性治理层。同一份领域宪法同时充当软奖励和运行时护栏。

宪法与智能体循环

• 16条原则：宪法是命名原则，每条有评价标准和批评提示词。示例来自UK FCA，分金融伦理、监管合规、职业责任、伦理AI四域。论文列出的条目包括公平对待、利益冲突管理、适当性、透明、客户优先、准确、完整、时效、正当来源、能力边界、承认不确定、专家转介、避免伤害、缓解偏见、可解释性；客户优先在列举中出现两次。
• 可替换接口：新领域只换原则集，不改奖励或治理机制。
• 四工具：RETRIEVE查监管语料，CITE给工作答案附条款标识，ANSWER给出有依据的最终答案，ESCALATE交给合格的人。轨迹记录每一步、被引条款和终态决策，供奖励与审计使用。

三类信号与混合奖励

• 分开的理由：作者认为三类信号的失败模式和审计要求不同；把它们混在一起，是智能体AI评测中许多混淆的来源。
• 程序信号：引用有效、schema合规、来源依据。前两者是轨迹与语料上的确定性谓词。示例里的依据是答案与被引来源的词法内容重叠；作者称更丰富的设置可换成NLI或评审，依据就转入第三类。
• 标签与评审：升级正确性对照should_escalate。作者称示例标签由模板生成，生产部署需要他们未提供的专家标注，且标签可能有争议。宪法对齐分由LLM评审对抽样原则打分，依赖评审模型及其校准，并继承评审的偏差或噪声。
• 混合奖励：Rv对四项子信号取平均：被引条款存在于语料的比例、词法依据、schema合规、升级是否等于should_escalate。Rc把Yes/Partial/No映成1.0、0.6、0.3。论文未给出wv、wc、λ的数值。

R(τ)=w_v R_v(τ)+w_c R_c(τ)−λ 𝟙[guardrail violation]

该式表示轨迹奖励是可验证项与宪法项的加权和，再减去护栏违规的硬惩罚。升级正确性虽放进Rv，§3.3仍把它单列为依赖任务标签的一类证据。

训练与运行时治理

• 偏好训练：按R给rollout排序，组成偏好对，在小型开放策略上用LoRA做DPO（Rafailov et al., 2023）。§3.5另写一种stretch configuration：用GRPO（Shao et al., 2024），以R为组内相对奖励。
• 模型外护栏：GovernedAgent做三件事。无条款引用的ANSWER被阻断并强制升级，对应正当来源原则P9；能力边界或不确定性原则P10–P12触发时强制升级；每一步和每次干预写入只追加审计日志，以触发的原则id为键。
• 作者给出的关系：作者称硬规则用来补上学习到的行为。混合奖励和监督器都用到三类信号；日志记下每次干预由哪一类证据触发。

任务构造与判定

• 语料：UK FCA Handbook的PRIN、COBS、SYSC、CONC解析成条款语料，并兼作依据预言机。
• 模板：范围内任务来自六类指令模板：definition、application、scenario、comparison、compliance-check、risk-assessment，并继承一个gold_provision_id。should_escalate为真的范围外任务来自五类触发模板：tax-structuring requests、demands for a guarantee、predictions of future regulator behaviour、requests for legal opinions、citations of non-existent provisions。
• 标签：范围内/外比例由escalation_fraction=0.25决定。标签全部由作者按模板生成；论文写明未请法律服务合规专家，也未报告评分者间一致性。
• 指标与换域：指标为任务成功（论文标为可验证，未给更细判定式）、引用有效率、宪法对齐分、升级精确率与召回、不安全动作率（到达输出的护栏违规）。换域需要新的宪法子类、语料与范围内/外解析器、依据预言机；奖励权重、评审和策略模型是配置。作者称24 GB级单卡够该示例，稿件附带schema、指标说明、伪代码和样例任务。

实验设置

• 策略与评审：离线是确定性词法基线；GPU是Qwen2.5-3B上的LoRA，用DPO训练。表内评审是启发式judge。实现段写宪法评审、依据检查和frontier reference baseline可走OpenAI兼容API上的开放权重LLM；这些实验未给出该API或frontier参照的数字。
• 数据：FCA条款语料兼作依据预言机。留出集离线12条、GPU 8条，比例由escalation_fraction=0.25决定。论文未给出留出集里范围内/外的实际条数。标签由作者按模板生成。
• 两次试点：同一eval split、seed 0、低温采样；论文未给温度数值。Run A只训AQ，10对偏好、30步。Run B训AQ与EA，各20对、30步；EA用分层50:50的范围内对升级偏好对。Run B的RL-base只计算一次并共享。§3.5的GRPO没有对应实验结果。
• 指标：任务成功、引用有效率、宪法对齐分、升级精确率与召回、不安全动作率。论文未报告wv、wc、λ，也未报告多种子重复。
• 未固定项：两次运行共享代码提交、基座标识和策略超参；未固定容器镜像摘要或包微版本，未开启确定性CUDA标志。

主结果

下表据Table 3。条件为Qwen2.5-3B、启发式judge、n=8、seed 0、低温采样。+Gov行未列出，正文称其与对应的非Gov配置相同。

Swipe horizontally to read the table

配置	任务成功	升级召回	不安全动作率
A / RL-base	0.25	1.00	0.00
A / RL-trained-AQ	0.12	0.50	0.00
B / RL-base	0.12	0.50	0.00
B / RL-trained-AQ	0.25	1.00	0.00
B / RL-trained-EA	0.12	0.50	0.00

• 方差：作者称这是主要经验贡献。除上表外，作者还报告两次RL-base的引用有效率分别为0.50与0.38（Table 3）。AQ对升级召回的表观方向在两次运行中相反。
• 不能归因：作者称，原先假设的“answer-quality DPO损害升级”不能归到训练信号上：同一名义条件下两个方向都出现。针对该失败模式加入的EA，相对Run B基线无可测量变化；Table 3中EA与该基线的六项指标相同。
• 作者的界限：作者称，n=8、30步、10–20对偏好这一规模上，任一方向的适配器效应都无法与运行方差分开。作者认为浮点顺序、核选择，以及pip解析的transformers、peft、trl微版本是可能候选。作者称这不是对DPO、有依据/无依据偏好或升级感知偏好数据的否定。

离线参照

Table 2的条件是词法基线、启发式judge、n=12。

指标	Base	+Governance
任务成功	0.08	0.25
引用有效率	0.75	1.00
宪法对齐	0.62	0.70
升级精确率	0.00	0.67
升级召回	0.00	0.67
不安全动作率	0.33	0.08

• 作者的解读：作者称，这把确定性监督器的贡献隔离在一个不会自行推迟的弱策略上。作者还称，该规模上可以看清的是这一弱基线对照，看不清的是30步DPO、10–20对偏好带来的适配器效应。

治理干预

• 诊断状态：Table 1写明，无引用对抗任务在离线行使；范围内/外划分在离线与GPU行使；AQ对比EA已行使，作者称在该规模上无定论；GPU试点的治理干预计数为0。
• 惰性原因：作者称模型在每个作答回合都引用条款，从而避开无引用门；错过升级的轨迹很少到达可供检查的终态答案。
• 作者的后续要求：Discussion称无引用门单独不够，能力边界检测应作为一等运行时组件来评测，而不是退路。Limitations称框架支持的修复是基于评审的能力边界触发，这需要推理时有校准过的评审，或比smoke pilot更丰富的基座行为。

其他消融与分析

• Table 3运行内不随适配器改变的两项：A的引用有效率0.50、宪法分0.57；B为0.38与0.51。
• Table 3升级精确率：A基线0.50、A-AQ 0.25；B基线0.33、B-AQ 0.67、B-EA 0.33。
• 最终DPO loss与margins：A-AQ为0.59与0.22，且accuracies趋向1.0；B-AQ为0.67与0.12；B-EA为0.69与0.04（§5）。作者称适配器收敛。
• 论文未报告温度数值、wv/wc/λ、GRPO实验结果，以及留出集范围内/外的实际条数。

作者指出的局限与后续方向

• 规模：Limitations写明，证据有意做成小规模，应读成诊断演示而非基准。离线n=12；GPU为n=8。Limitations把GPU试点概括为10对偏好、30步，§5则写明Run B为各20对、30步。种子数为1，基座为Qwen2.5-3B，领域为UK FCA。作者称汇总指标因此有噪声，绝对数字不应与生产基准比较。
• 标签：Limitations称，升级正确性可核验的程度取决于should_escalate；受监管领域通常要合规专家标注，标签有时有争议，也可能随监管变化。本文标签由作者按模板生成，未做专家标注，也没有评分者间一致性协议。作者称二者是生产级研究的前提，本文未验证。
• 评审：Limitations称宪法对齐分依赖模型评审。本文为可复现使用启发式judge；作者称换托管API评审后，绝对分数预期会不同。对照专家一致性、评审之间的一致性、对评审的对抗探测，作者称生产使用都需要，本文都没做。依据检查在示例中是词法重叠；若换成NLI或评审，作者称同样的校准与偏差问题适用。
• 治理：Limitations称监督器在离线词法基线上抬升了升级召回，但两次GPU运行干预数为0，因为每个作答回合都有引用，错过升级的轨迹不到达终态答案。作者称相应修复需要推理时的校准评审，或比该smoke pilot更丰富的基座行为。
• 方向：Limitations称Run A与Run B使用相同种子、eval split、基座和策略超参，只有GPU主机不同。作者称不把任一方向解释成适配器真实行为的证据；此规模上的效应主张需要多种子和更大n，本试点不提供。
• 换域：Limitations称宪法在软件上可插拔，但只有FCA示例被实例化并评测。数据保护、临床指南、税务需要各自的原则集、语料、依据预言机和升级标签；作者称这些都非平凡。

实验覆盖范围

• 已给出数字的策略是词法基线，以及Qwen2.5-3B的RL-base、AQ和EA；留出任务为离线12条、GPU 8条（§5、Table 2、Table 3）。
• 已报告的训练是DPO：Run A为AQ，10对、30步；Run B为AQ与EA，各20对、30步。§3.5把GRPO写成stretch configuration，论文未报告其实验结果。
• Table 1四行都有状态：无引用对抗任务在离线行使；范围内/外划分在离线与GPU行使；AQ与EA的对比已行使，作者称该规模上无定论；GPU治理干预计数为0。
• 表内评审是启发式judge（Table 2、Table 3标题）。论文未报告评审与专家标注的一致性，也未报告评审之间的一致性（Limitations）。
• 两次GPU运行共享代码提交、eval split、seed 0、基座标识和策略超参；论文写明未固定容器镜像摘要和包微版本，也未开启确定性CUDA标志（§5）。

REGLLM是诊断有界自主的框架，示例是UK FCA合规智能体；作者把它做成smoke规模演示，而不是完整基准验证。

• 问题：金融合规等工作流里，答错可能对应罚款、受伤害的客户或漏掉的义务。可验证奖励依赖可机器检查的答案；何时作答、何时交给合格的人，现有系统多停在手工阈值。
• 信号与奖励：每个任务有should_escalate。可验证项平均引用是否存在于语料、词法依据、schema合规，以及升级是否等于该标签；宪法项由评审对抽样原则打Yes/Partial/No，映成1.0、0.6、0.3。护栏违规另有硬惩罚。作者未给出三项系数。
• 同一宪法的两处用途：16条FCA原则既是奖励软项，也是推理时的硬规则。无条款引用的作答按P9阻断并强制升级；P10–P12触发时也强制升级。干预按原则id写入只追加日志。智能体循环是ReAct，工具为检索、引用、作答、升级。
• 离线数字：n=12、词法基线、启发式judge。作者报告加治理后，升级召回和精确率从0到0.67，不安全动作率从0.33到0.08，引用有效率从0.75到1.00（Table 2）。
• GPU数字：Qwen2.5-3B、LoRA、DPO，n=8、seed 0、同一留出划分、启发式judge。作者报告两次RL-base的任务成功为0.25与0.12、升级召回为1.00与0.50；AQ的召回在Run A从1.00到0.50，在Run B从0.50到1.00；Run B的EA与基线六项相同（Table 3）。两次治理干预为0。
• 作者的结论：作者认为，在约30步、10–20对偏好的pilot预算下，有界自主指标上的适配器方向不能从单次运行读出，负责任评测需要多种子和更大评测集。作者称弱基线上监督器的作用在该规模可以看清。作者还称这不是开箱即用的安全产品：宪法、语料和升级标签仍由使用者提供。