RegLLM:面向受监管智能体 AI 的有限自主性诊断测试框架
Evaluating Bounded Autonomy in Regulated Agentic AI: A Diagnostic Harness with Constitutional Rewards, Escalation Labels, and Runtime Governance
AI 导读
研究者提出 RegLLM,一个面向受监管智能体工作流的有限自主性诊断测试框架,监测引用有效性、来源接地、schema 合规、升级正确性、宪法对齐和不安全动作率六项可信度信号。离线参考运行(n=12)在启用治理后将升级召回率从 0 提升至 0.67,不安全动作率从 0.33 降至 0.08。两个单 GPU Qwen2.5-3B LoRA/DPO 试点(n=8)显示配置差异可压过调优效果,尚不足以证明适配器效果或生产可用性。