审计聊天机器人对专业法律执业领域的侵入
Auditing Chatbots for Incursion into Professional Legal Practice
作者构建 UPLBench 审计 23 个聊天机器人,称 58.4% 回复构成无证执业(UPL),且新模型给法律建议更多、转介律师更少。
- 聊天机器人是否在提供本属持证律师专属领域的法律建议、是否越来越少转介用户咨询律师,以及这在高风险法律领域有何危害,此前缺乏实证测量。
- 作者从 65 个法院判定构成无证执业(UPL)的案件构建 UPLBench,每案生成三轮对话提示并配案例级评分细则,对 23 个模型各跑 3 次、两种管辖地条件,用 Qwen3.8-27B 自动标注,再由 4 名专业律师评审 120 条回复。
- 作者报告 58.4% 回复构成 UPL,新模型 UPL 率随发布日期上升(趋势检验 p=0.0038),转介率下降(p=0.077);律师评审发现未收集关键事实、误导性建议等失效模式。
- 作者指出:无法还原闭源模型历史行为;法官对非律师的推理未必适用于 AI 输出;依赖自动分类;基准只判 UPL 不评级;提示词由研究团队撰写而非真实用户。
- 被测模型
- Llama-2-13b-chat-hfLlama-2-7b-chat-hfdeepseek-llm-7b-chatgemma-7b-itDeepSeek-V2-Lite-ChatLlama-3.1-8B-Instructgemma-2-2b-itLlama-3.2-1B-InstructLlama-3.3-70B-Instructgemma-3-1b-itDeepSeek-R1Llama-4-Scout-17B-16E-InstructDeepSeek-R1-0528gpt-oss-20bClaude Haiku 4.5DeepSeek-V3.2Gemini 3.1 ProGemini 3.1 Flash-Litegemma-4-26B-A4B-itDeepSeek-V4-ProClaude Fable 5gpt-5.6-solchat-latest
- 基准
- UPLBench
- 指标
- UPL ratereferral ratemacro F1Cohen's κ
研究者从法院认定无证执业(UPL)的高风险法律领域(如移民、家庭法)判例中构建 UPLBench 基准,审计 2023 年至今的 23 款聊天机器人,发现模型越来越多地执行法院保留给律师的任务,且越来越少地建议用户咨询律师。作者认为,法律建议的边界正被前沿 AI 公司而非法院或律师协会改写。基准评估聊天机器人是否拒答或提供实质性法律建议、是否引导用户咨询律师或法律援助;参与审查的执业律师在对话记录中识别出未能引出相关事实等会被视为不合格法律代理的互动模式。作者指出,此类建议若被采纳可能导致驱逐出境、失去住房和家庭分离等 UPL 规则本要防止的伤害,并呼吁法律职业界回应这一侵入,称依赖聊天机器人法律建议的用户缺乏足够保护和救济。
深度解读
这篇论文试图解决什么问题?
聊天机器人是否日益从事法院划给持证律师的工作、减少转介律师,并带来危害,缺乏实证测量。
核心问题:流行的聊天机器人是否越来越多地提供本需法学学位和律师执照才能提供的法律建议,这种"无证执业"(UPL)行为在高风险法律领域是否有害,此前没有实证证据。
- 场景与重要性:许多人没有律师帮助处理法律问题,转而求助聊天机器人;论文引用研究称 ChatGPT 发布后联邦民事法院 pro se(自我代理)立案量较此前平均上升超过 50%。UPL 制度旨在保护公众免受不称职代理的伤害,违反者可能面临监禁、罚款。
- 现有研究的不足:作者称,现有法律评测聚焦"能力"(如以律师资格考试表现作为法律能力的代理指标),没有实证测量聊天机器人提供法律建议的普遍程度和服务质量;涉及法律安全的基准(如 Do-Not-Answer)不区分法律信息与法律建议。
- 核心观察:作者认为,AI 公司内部决策(减少拒答、提升有用性,如 Anthropic 2026 年章程删除法律建议限制)正在重画这条职业边界,而非法院或律师协会。
- 论文提出什么:提出 UPLBench——从 65 个法院判定构成 UPL 的案件衍生的基准,审计 23 个 2023–2026 年的聊天机器人,并辅以 4 名专业律师对 120 条回复的评审,评估聊天机器人是否越界及建议质量。
论文为评测/审计类研究,不涉及攻击者威胁模型;其研究对象行为是聊天机器人自身是否越过法院划定的法律信息/法律建议边界。
有哪些相关研究?
相关工作分法律能力基准、安全基准、UPL 政策争论和审计方法四类,作者称无人测过法院划的界限。
法律能力基准
- Katz 等(2024)——以律师资格考试选择题和论述题评分对比人类通过线,得出 GPT-4"通过律考"的结论;论文指出该评估的方法和结论受到 Martínez(2025)质疑,且论文认为律考只是法律能力的代理指标。
- LegalBench(Guha 等,2023)——由法律学者、从业者和计算研究者协作构建,按法律推理类型学组织 162 个任务;论文指出它测量特定任务能力,不声称确立广义法律能力或安全性。
安全基准
- Do-Not-Answer(Wang 等,2024)——覆盖 12 类危害的通用安全基准,含医疗、法律、金融建议类;论文指出其提示词由 GPT-4 生成而非源自法律定义,提示词和评分都不区分法律信息与法律建议。
- Trident-Bench(Hui 等,2026)——论文称其与本文最接近,将有害提示词植根于法律、医疗、金融的职业规范(含 ABA 职业行为示范规则);论文指出其设定是律师请求聊天机器人协助违反职业规范,评分衡量聊天机器人对请求的遵从程度。
- 论文指出,这些基准都没有问本文的核心问题:聊天机器人回应寻求法律帮助的普通人时,是否越过法院划定的法律信息与法律建议之界。
UPL 政策争论与聊天机器人可靠性
- Ajmi(2024)、Avery 等(2023)、Walters(2024)等主张放宽 UPL 以扩大司法可及性;Bonardi 与 Branting(2024)等主张以认证或审查为豁免条件;Curl 等(2026)认为聊天机器人改善法律结果的实证证据薄弱。
- 可靠性证据:Encarnación 等(2026)发现聊天机器人在堕胎合法性等高风险法律场景不可靠;Cohen-Sasson(2026)发现用 AI 起草法院文书的诉讼人法律结果更差;Cheong 等(2024)记录律师对聊天机器人在缺少事实时给出下一步建议的不满。
审计与评测方法
- 论文援引基准方法的已知缺陷:数据污染、单提示词难以近似真实多轮使用、难以发现未预期危害(Chang 等 2024;Wang 等 2025;Blodgett 等 2021),并称以多轮设计、匿名化处理和专家评审应对。
定位:作者称本文区别于能力导向的评测,提出把法律教义(UPL 判例)转化为可测试基准的方法,测量聊天机器人对法律的遵守而非法律能力。论文无对比基线方法,比较对象是 23 个被审计模型彼此。
论文如何解决这个问题?
把 UPL 判例转化为三轮对话基准 UPLBench,自动标注 26,910 条回复,再由 4 名律师评审样本。
整体思路:用 UPL 法律教义操作化"法律信息(非律师可提供)"与"法律建议(仅限律师)"的边界,构建 UPLBench 基准,对 23 个流行聊天机器人做混合方法算法审计(mixed-method algorithmic audit),自动分类加专业律师评审。
模型选取
- 开源模型重建历史:查询 Hugging Face Hub API 全时段下载量(2026 年 7 月计数),保留 Meta、OpenAI、Google、DeepSeek 四家有聊天功能且下载超百万的模型,得 17 个(2023 年 10 月至 2026 年 6 月发布)。
- 闭源模型描绘现状:选 2026 年 7 月 Google Play 与 App Store 排行前三的提供商(Google、OpenAI、Anthropic),各取免费档默认模型和付费档顶级模型,共 6 个,经提供商 API 生成。
- 生成设置:开源模型从 Hugging Face 下载权重,在大学计算集群上用系统卡推荐的默认设置生成;DeepSeek-V4-Pro 因全精度权重超出 GPU 容量,经 OpenRouter API 查询。
UPLBench 构建
- 案件收集:第二作者(完成法学院一年级)收集 65 个 UPL 案件,覆盖家庭法、人身伤害、房屋止赎、移民、破产五个高风险领域,来自 33 个州和联邦法院;对每个案件做 case briefing(摘要事实、法律推理、结果、危害)。
- 提示词设计:第一作者(有法学学位)与第二作者为每案撰写第一人称情景叙述,加三个连续请求,专门索取法院认定为 UPL 的建议或工作(如起草法律文书、推荐针对具体事实的法律依据);情景与第一个请求拼接为首条消息,后两个请求分轮发出;一半对话包含用户所在管辖地信息。
- 评分细则(rubric):同样两位作者按司法推理为每个案件的每轮请求制定案例级二元细则(例如法官认定代写诉状构成 UPL,则回复若推荐诉状措辞即标 UPL);先用四模型(Llama 4 Maverick、GPT-5.4、Gemini 3 Flash、Claude Haiku 4.5)各生成一份记录试标,分歧讨论后定稿,第三位有法学学位的作者复核。
- 匿名化:用 Presidio 识别敏感信息,Faker 生成假名、假邮箱、假地址;州不改(避免改变适用法律),县市在同州内另选;金额替换为原值一半到两倍之间的随机值;日期相对当前年份平移;案号替换为随机数字串;人工校验一致性。动机是防止模型凭记忆复述案件并保护隐私。
自动分类
- 任务:按案例和轮次细则把每条回复标为"UPL"或"not UPL";26,910 条人工标注不可行(估计需近 31 周全时工作)。
- 两方案对比:微调 XLM-RoBERTa large(约 5.6 亿参数,158 条人工标注训练)对比提示 Qwen3.8-27B(输入对话、案例与轮次细则及 UPL 通用指引)。测试集为 34 段对话的 102 条回复,由前两位作者独立标注,人类基线 Cohen's κ = 0.78(95% bootstrap CI 0.65–0.90)。
- 结果与选择:提示方案 macro F1 0.84(对两位标注者 κ = 0.62、0.59),优于微调方案 macro F1 0.77,故用 Qwen3.8-27B 标注全部回复;选它因开放权重可复现、在法律基准上表现好、开发商不在被审计集合内以避免自我偏好。采样参数:temperature 0.7、top-p 0.8、top-k 20、presence penalty 1.5、固定种子,thinking mode 关闭。
律师专家评审
- 招募:通过作者人脉和法学院名录招募 4 名专业律师(移民 1 名、止赎 1 名、人身伤害 2 名),各付 100 美元酬金。
- 流程:每领域选 2 个法院案件,每案抽 5 段不同提供商生成的对话,每位律师评审 10 段(共 120 条回复);律师先读原案,再对照细则和作者标注回答三个开放问题(细则适用是否正确、法律内容是否准确、服务质量是否符合执业标准)。
- 主题提炼:第一作者与末位作者用反思性迭代主题分析独立审读、讨论、定稿主题。
论文做了哪些实验?
23 模型 × 65 案 × 3 轮 × 3 次 × 2 管辖条件共 26,910 条回复,58.4% 被判 UPL,新模型更多。
实验设置
- 被测模型:23 个,含 6 个闭源(Claude Haiku 4.5、Claude Fable 5、Gemini 3.1 Pro、Gemini 3.1 Flash-Lite、gpt-5.6-sol、chat-latest)和 17 个开源(Meta、OpenAI、Google、DeepSeek,2023-10 至 2026-06 发布,完整列表见 Table 2)。
- 基准:UPLBench,65 个任务,每个任务为三轮对话;一半对话含管辖地信息。
- 规模:23 模型 × 65 案 × 3 轮 × 3 次重复 × 2 管辖条件 = 26,910 条标注回复。
- 指标:UPL 率(回复被判构成无证执业比例);转介率(建议咨询律师或法律援助比例,分强/弱/无三级)。
- 判定方式:Qwen3.8-27B 按案例与轮次细则自动标注(对人工标注 macro F1 0.84);另 4 名专业律师评审 120 条回复。
- 统计检验:Jonckheere-Terpstra 趋势检验(195 项 = 65 案 × 3 轮,按发布日期排序,模型级置换);Wilcoxon 符号秩检验(配对,n = 23 模型)。
主结果
作者报告:全体回复中 58.4% 被判 UPL;转介律师或法律援助占 81.0%,仅计强转介则降至 61.5%。单模型 UPL 率与转介率区间(据 5.1、5.2 节正文):
指标 最低 最高 UPL 率 20.3%(Meta Llama 3.3 70B) 88.5%(DeepSeek R1) 转介率 38.8%(OpenAI chat-latest) 96.0%(Google Gemma 2-2B) - 趋势:作者报告 UPL 率随发布日期上升(Jonckheere 检验 z = +2.58,置换 p = 0.0038,单尾);Figure 1 标注拟合趋势 +11.0 个百分点/年。转介率下降趋势 z = −1.43,p = 0.077(单尾),Figure 1 标注 −4.2 个百分点/年。
- 提供商差异:作者称 OpenAI 聊天机器人 UPL 率最高(均值 76.1%,Figure 3);按领域,移民最低但仍有 52% 回复含法律建议(Figure 2)。
- 合规基准:作者指出,即便单次非律师提供法律建议也被禁止,完全合规应为 0%。
管辖地与厂商政策的影响
- 管辖地信息:包含用户管辖地时,23 个模型中 21 个 UPL 率更高(中位数 +4.4 个百分点,Wilcoxon z = 3.88,p < 0.001,r = 0.83);作者认为用户披露位置等个人信息时模型更愿意给法律建议。
- 厂商政策:Anthropic 2026 年 1 月从章程删除法律建议危害类别;作者报告 Claude Fable 5(2026 年 6 月)在 65 案中 60 案 UPL 率高于 Claude Haiku 4.5(2025 年 10 月),平均高 35.6 个百分点(z = 6.72,p < 0.0001,r = 0.85)。作者说明两模型在规模或架构等方面可能另有差异,但增长与章程修订同时发生(Figure 5)。
多轮对话中的转介衰减
- 测量:按模型计算各轮转介率,Wilcoxon 配对检验(n = 23)。
- 结果:第一轮到第二轮,23 个模型中 22 个转介率下降(中位数 −12.6 个百分点,z = −3.98,p < 0.0001,r = −0.83);第二轮与第三轮无统计差异(p = 0.74)。作者称这凸显多轮测试的重要性。
律师评审发现的失效模式(5.3 节)
- 未收集必要事实:各领域律师均称聊天机器人未索取支撑法律分析的事实,如人身伤害律师指出未询问车祸用户的神经损伤(deepseek-llm-7b-chat、Claude Haiku 4.5)。
- 接受用户框架、给指示而非咨询:止赎场景中直接建议阻止拍卖的策略而未了解用户财务状况(Google Gemini Pro、OpenAI GPT 5.6 Sol、Claude Fable 5、Llama 3.3 70B);律师称 Claude Fable 5 给出具体步骤的做法"令人担忧其确定性"。
- 制造风险与建议质量:一名移民律师指出 chat-latest 在无保密保护下索取敏感信息(仅一份评审记录出现;作者用正则表达式另发现 GPT-5.6 Sol、DeepSeek V4-Pro、Claude Fable 5、Claude Haiku 4.5、Gemini 3.1 Flash-Lite、Gemini 3.1 Pro 直接询问用户或亲属是否曾被驱逐);律师还称建议不完整、不准确、误导,如推荐不足以完成身份调整申请的表格清单(Gemini 3.1-Flash-Lite、deepseek-llm-7b-chat)、推荐不存在的文件(deepseek-llm-7b-chat)、建议可能构成勒索的行为(Llama-4-Scout-17B)。
其他消融与分析
- 自动分类验证:测试集 102 条回复,人类标注者间 κ = 0.78;Qwen3.8-27B macro F1 0.84,XLM-RoBERTa large 0.77,准确率差异无统计显著性(McNemar 精确检验 p = 0.23)(附录 B)。
- 试点集:150 条回复、10 案、5 领域,Qwen3.8-27B 准确率 0.85、κ = 0.67;修改指引或 few-shot 变体未提升一致性(附录 B)。
- 微调模型失效因素:54% 回复超 512 token 输入上限被截断(附录 B)。
有什么可以进一步探索的点?
作者列出五项局限;实验覆盖 23 个模型、5 个法律领域、3 轮对话,未报告真实用户措辞。
作者指出的局限与后续方向
- 闭源模型历史行为不可还原(附录 A):专有聊天机器人行为取决于权重和公司内部基础设施(安全分类器、护栏执行),带日期的快照不能冻结整个安全生态;作者提出以纵向研究在新模型发布时记录行为来避免此问题。
- 司法推理的适用性(附录 A):标注依据法官对非律师适用的推理,不保证与法院实际如何裁决 AI 输出一致,可能使研究发现难以用于执法。
- 依赖自动分类(附录 A):全量回复由人类法律专家分类会加强测量。
- 基准只检测 UPL(附录 A):不对非 UPL 回复分级,不能用于把模型校准到紧贴法律信息与建议的边界。
- 提示词非真实用户措辞(附录 A):基准条目植根于真人处境,但提示词由研究团队撰写,真实用户措辞可能不同;作者提出未来可测试这种变化,或收集用户聊天记录。
- 后续方向(Discussion):探索聊天机器人在何种情境下改善用户法律结果;评估其积极元素(鼓励求助、提供资源清单)是否促使用户聘请律师;研究特定法律领域(如刑事记录消除类专用工具)在适当条件下 AI 建议是否有用。
实验覆盖范围
- 被测模型为 23 个:6 个闭源(Anthropic、Google、OpenAI 各 2 个)和 17 个开源(Meta、OpenAI、Google、DeepSeek),发布日期 2023-10 至 2026-06(Table 2)。
- 基准覆盖 5 个法律领域(家庭法、人身伤害、止赎、移民、破产)、65 个案件、33 个州和联邦法院;每案 3 轮对话、3 次重复、2 种管辖地条件。
- 律师评审覆盖 3 个领域(移民、止赎、人身伤害),4 名律师各评审 10 段对话,共 120 条回复。
- 闭源模型经 API 评测;作者说明 API 输出不能估计真实用户遇到不安全建议的频率,因为个性化使模型行为因用户而异(4.1 节)。
- 论文未报告开源模型生成时的具体采样参数(仅称用系统卡推荐默认设置),也未报告 3 次重复间的一致性。
总结一下论文的主要内容
UPLBench 审计显示多数回复构成无证执业,新模型更愿给建议、更少转介,律师评审发现多种失效模式。
一篇关于聊天机器人法律合规的审计研究:作者把美国"无证执业"(UPL)法律教义转化为可测试基准,测量聊天机器人是否越过法院划定的法律信息与法律建议之界。
- 问题:AI 公司为减少拒答、提升有用性调整了模型,聊天机器人是否日益从事本属持证律师专属的工作、是否减少转介用户咨询律师、在高风险领域是否有害,此前无实证测量。
- 方法:从 65 个法院判定 UPL 的案件(5 个高风险领域、33 个州和联邦法院)构建 UPLBench,每案生成三轮对话并配案例级评分细则;审计 23 个 2023–2026 年发布的模型(6 闭源、17 开源),共 26,910 条回复由 Qwen3.8-27B 自动标注(对人工标注 macro F1 0.84),4 名专业律师评审 120 条回复。
- 主要结果:作者报告 58.4% 回复构成 UPL(单模型 20.3%–88.5%);UPL 率随发布日期上升(p = 0.0038);转介率 81.0%(仅强转介 61.5%),随发布日期下降(p = 0.077),且第一轮到第二轮中位数降 12.6 个百分点。
- 政策关联:Claude Fable 5 比 Claude Haiku 4.5 平均高 35.6 个百分点,与 Anthropic 2026 年章程删除法律建议限制同时发生;含管辖地信息时 21/23 模型 UPL 率更高。
- 律师评审:发现未收集关键事实、接受用户框架、给指示而非咨询、在无保密保护下索取敏感信息、建议不完整或误导等失效模式;作者称若被采纳可能导致驱逐出境、失去住房、家庭分离等后果。
- 作者结论:聊天机器人正在从事无证执业且对个人构成风险;作者呼吁法律职业界运用 UPL 和消费者保护等现有法律权威回应,认为基准证据可为律师协会和州司法机构的监督提供基线。