The Persona Paradox: Medical Personas as Behavioral Priors for Clinical Language Models

医学人格是否会单调提升临床LLM的专业性与安全性，还是只作为随任务改变的行为先验，仍缺少系统刻画。

• 场景与重要性： 作者称LLM正被考虑用于临床决策支持。理想行为不止于点预测准确率，还包括置信与不确定性匹配、内部偏好与建议一致，以及适合情境的风险姿态，例如高风险病例宁可过度分诊。作者称，证据不变时响应不一致仍可造成不当升级或漏检。
• 既有假定的缺口： 作者称，用职业角色或交互风格做人格条件化，常被假定能提升真实感、专业性或任务表现。引言称，更专家的人格会均匀带来更安全或更高质量行为，这一假定在临床决策支持中大体未经检验。
• 研究问题： 作者把人格条件化视为单因素行为干预，而不是安全保证。三个问题分别考察临床表现与安全、交互风格对风险姿态的影响，以及LLM评审与临床医生是否感知到这些差异。
• 本文的分析： 沿职业角色与交互风格注入人格，在急诊分诊、初级保健分诊和患者安全建议上，用准确率、校准、一致性、风险倾向和风险敏感度分解行为，并以盲法LLM排序和临床医生判断作补充。作者的结论是：效应系统、情境依赖且非单调，带来权衡而非专业性或安全性的保证。

相关工作按行为引导、医疗模拟和潜空间控制讨论。作者称，这些工作大多未在临床决策支持中检验“专家人格均匀更安全”。

人格作为行为引导

• 角色条件化： Shanahan等（2023）、Hwang等（2023）与RoleLLM（Wang等，2024a）用角色或智能体设定引导LLM。RoleLLM做角色扮演能力的基准、引出与增强。
• 多样与对抗用途： Deng等（2025）与Li等（2025）用人格做红队，或模拟不同用户视角。论文只描述这些用途。
• 推理与输出： Kim等（2024a）与Zheng等（2024）被引用为角色扮演人格可以影响推理和输出。作者称，既有评估较少考察人类如何看待这些输出，以及它们与校准、一致性和风险姿态的关系。

医疗场景中的人格

• 患者侧变异： Kyung等（2025）用人格建模患者侧差异，以构建数据并评估稳健性。
• 临床医生智能体： Kim等（2024b）与Gaber等（2025）把临床医生人格用于工作流仿真和多智能体协作。作者称，这些做法通常假定专业人格会改善临床推理和任务表现；安全相关行为、校准、一致性与风险姿态是否被系统改变，仍大体未探索。

潜空间表示与功能后果

• 内部倾向： Chen等（2025）与Golovanevsky等（2025）识别与阿谀或幻觉倾向等相关的激活空间表示，侧重机制可解释性和训练时控制。
• 部署约束： 作者称，这类方法通常需要训练或推理时的专门访问，在包括面向临床医生的系统在内的典型部署中可能不可用（Mesinovic等，2025）。作者并称，潜表示与安全关键临床推理上的功能后果之间的联系仍不清楚。

基线与评测参照

• 对照与数据： Helpful Assistant，以及不修改系统提示的No Persona。数据为Khatri等（2025）的急诊队列、Fraser等（2023）的常规护理病例，以及PatientSafetyBench（Corbeil等，2025）。
• 指标来源： 一致性探针改编自Wang等（2024b）关于潜标签与生成标签可能分歧的观察；校准用ECE（Naeini等，2015）；LLM评审采用多模型评审团（Verga等，2024）。

作者把本文与上述工作的区别放在：不把专业人格当作均匀的安全或质量增益，而在分诊与患者安全中同时测量表现、风险姿态，以及自动评审和临床医生判断是否一致。

整体上，Persona Conditioning Framework把人格当作系统提示里的单因素行为先验：只改变角色声明，固定任务指令、输入、解码和标签抽取，再从决策、风险姿态和评审偏好观察后果。

任务与注入方式

• 两类任务： 临床分诊含高急症的急诊分诊和较低急症的初级保健分诊；另一类是患者安全建议。分诊为三选一：居家/自我护理、常规或初级保健、急诊。
• 注入模板： 系统层追加单句角色定义，模板为 You are a {persona}. 各条件只改这一句。No Persona不修改系统提示。
• 固定项： 任务指令、输入、解码参数和标签抽取在条件间不变。附录A称开源模型temperature为0、最长1024 tokens。

两条人格轴

• 职业角色： 急诊医师（ED physician）与急诊护士（ED nurse），对应作者所说的不同临床责任和权限。
• 交互风格： 只在急诊医师上设bold与cautious，以便角色不变时看风险调节。作者称这是为了限制实验搜索空间。
• 非医学对照： Helpful Assistant与No Persona，用来区分临床人格效应和通用助手行为。

定量行为指标

• 准确率与风险倾向： 准确率是预测与参考标签一致的比例。风险倾向是不论参考严重度、给出高紧急标签（如Emergency）的频率。
• 风险敏感度： 错误分为Type I过度分诊（低风险被标成高紧急）和Type II不足分诊（高风险被标成低紧急）。敏感度是出错样本上的 E_TypeI/E_TypeII。作者称两类错误都非一律更可取，平衡取决于临床情境。
• 一致性： 单次生成同时取logit最高似然类别（合法集为A、B、C）和从文本解析的标签。一致性率是可解析响应中二者相同的百分比，CR = 100 × 1/N∑_i=1^N 1(y_gen,i=y_logit,i)，不可解析输出排除。作者用它区分解码层调制与潜偏好改变。
• 校准： 对合法标签的条件对数似然做softmax，用ECE看所选决策的预测概率是否与经验正确率对齐。作者称ECE越低，置信与正确率越对齐。

评审、抽样与检验

• LLM评审： 三名评审对匿名、不同人格的回答排序。分诊看临床推理质量；患者安全看伤害性、有用性和相对医学知识的事实准确性。汇总用MRR，即各实例名次倒数的平均。附录D给出完整提示词，并要求不使用或推断地面真值。
• 临床医生： 三名医生对配对、匿名回答按总体临床效用和感知安全作偏好，并给出0–100置信。每类任务取三名评审一致偏好同一侧的50例，其中25例偏好医学人格、25例偏好非医学人格。细则在第3.4.2节和附录E。
• 统计： 准确率与一致性用带连续性校正的McNemar检验；MRR用配对t检验。除非另有说明，阈值取p < 0.05。

实验设置

• 被测模型： HuatuoGPT-o1-8B（LLaMA-3.1-8B）、HuatuoGPT-o1-70B（LLaMA-3.1-70B）、HuatuoGPT-o1-7B（Qwen2.5-7B）、HuatuoGPT-o1-72B（Qwen2.5-72B），以及不生成推理轨迹的MedGemma-27B。后文常简写为HuatuoGPT-7B/8B/70B/72B。
• 数据： 急诊分诊为2013–2020年城市学术观察单元中1,466例疑似TIA或卒中病例（Khatri等，2025），含结构化入院特征；另有201例基于症状的常规护理病例（Fraser等，2023）。参考标签表示就诊时临床适当的处理。PatientSafetyBench有466条开放查询，覆盖有害医疗建议、误诊与过度自信、无执照行医、健康错误信息、偏见或污名化。
• 条件与解码： 人格为急诊医师、急诊护士、bold、cautious、Helpful Assistant、No Persona。附录A称开源检查点来自HuggingFace，temperature 0，最长1,024 tokens；专有模型用开发者API的默认参数；全部评审模型使用相同推理设置。
• 评审： GPT-5、HuatuoGPT-o1-70B、HuatuoGPT-o1-72B。后两者同时也是被测模型。附录F的类别级图点名HuatuoGPT-72B与70B。作者称评审分析聚焦较大模型。
• 人类评估： 两名从业超过十年的主治医师和一名近一年内完成MD的毕业生，位于美国和德国，对模型身份、人格标签和回答来源设盲，且为本文共同作者（附录E）。每类任务50例。回收理由质量149份、安全合规150份。
• 指标与检验： 分诊报告准确率、ECE、一致性率、风险倾向和风险敏感度；评审用MRR；人类用Cohen's κ和0–100置信。论文未报告重复次数。

主结果

正文没有逐模型精确表，因此不能确定结果最差的模型，下表不按模型分行。只列作者写出的幅度。摘要与正文单位不同，并列保留。

| 比较 | 指标 | 作者给出的幅度 | 出处 | | 急诊，医学人格相对Helpful Assistant与No Persona | 准确率 | ≈+20 pp | 第5.1节 | | 同上 | 校准 | ≈−20 pp | 第5.1节 | | HuatuoGPT-72B，急诊 | 一致性 | ≈+4 pp | 第5.1节 | | 初级保健，医学人格 | 准确率 | ≈−10 pp | 第5.1节 | | 部分较小模型，初级保健 | 一致性 | ≈−20 pp | 第5.1节；模型未点名 | | 摘要总括 | 准确率与校准 | 最多∼+20% | 摘要 |

• 方向： 作者称急诊中急诊医师和急诊护士提升任务表现，部分比较达到p < 0.05（Figure 2以*标记）。Figure 2图注写柱状Δ相对无人格基线；第5.1节把上述急诊增益写成相对Helpful Assistant与No Persona。初级保健中同一医学人格经常变差，校准相对非医学基线变差，幅度未单列。
• 作者的机制解读： 作者认为一致性效应依赖模型：有的受益于潜偏好与生成更一致，有的主要靠准确率和校准。作者认为初级保健上的反转意味着面向高急症的人格在低急症任务上变得不对齐。
• 汇总与口径： 作者称全部病例合在一起时相反效应相互抵消，净改进不大；论文未给出该净改进的数值。摘要称初级保健下降幅度与增益相当，第5.1节写出的准确率降幅是≈−10 pp。摘要把校准增益写成最多∼+20%，第5.1节写成≈−20 pp。

交互风格与风险姿态

• 测了什么： 固定急诊医师角色，比较cautious、bold与该角色基线，指标为临床分诊上的风险倾向和风险敏感度（Figure 3）。
• 结果： 作者报告HuatuoGPT-72B、MedGemma-27B和HuatuoGPT-7B上，两种风格都使风险倾向相对急诊医师基线上升，最多+0.04。72B上cautious高于bold（0.72对0.69）；27B上顺序相反（bold 0.87对cautious 0.85）。敏感度上，cautious相对基线升高的例子是72B的0.14对0.01；bold更高的例子是27B的0.73对0.53。相对无人格基线，医学角色的倾向升幅最多0.21（HuatuoGPT-7B），敏感度最多0.76（HuatuoGPT-70B）。
• 作者解读： 作者称交互风格不构成单调的风险控制，风格提示的方向因模型而异，因此不宜当作高风险决策的安全控制。8B的顺序与27B同类，70B和7B的cautious敏感度高于基线；除已列例子外，正文未给这些模型的对应数值。

LLM评审与类别级逆转

• 测了什么： 三名评审对匿名回答排序，看感知安全、有用性和理由质量（Figure 4）。附录F按安全类别拆开72B与70B；附录类别名用Bias & Discrimination，正文为bias or stigmatization。
• 结果： 最高名次人格的评委间多数一致为43%到53%，Cohen's κ为0到0.1。聚合后，作者报告若干差异达到p < 0.05。作者称Figure 4a中医学人格在更低伤害性、有用性和事实准确性上排序更高；Figure 4c中cautious常被视为比bold更安全，相对基础医学人格的顺序依赖模型。Figure 4b中急诊理由偏好医学人格，急诊医师MRR最高；初级保健中优势减弱或消失。正文未给出Figure 4的MRR数值。
• 逆转： 附录F给出反例。HuatuoGPT-72B上，无执照行医的有用性No Persona为0.55、急诊医师为0.52；健康错误信息的安全性No Persona为0.56、急诊医师为0.55。70B上，作者称No Persona在无执照行医的安全性与有用性上优于急诊医师，急诊护士在误诊和健康错误信息的事实准确性上低于Helpful Assistant；这两处未给MRR。作者称聚合增益会掩盖类别特定的下降，人格有时放大而非减轻风险。

临床医生偏好

• 测了什么： 在LLM评审一致的50例上，医生选择更偏好的回答并报告置信（Table 1、Figure 5）。
• 结果： Table 1在置信≥50%时，理由质量偏好医学人格的比例为59.2%，安全合规为77.5%；≥70%时为65.5%与83.0%。安全合规的中、高置信判断平均Cohen's κ为0.43。理由质量的一致性未能计算，因为95.9%的响应为低置信。Figure 5a图注称医生对安全合规任务的偏好更有信心。Figure 5b的对象是≥50%置信的16条安全响应，图中κ数值在文本中不可读；正文未写明0.43是否只由这16条算出。
• 作者解读： 作者称医学人格更稳定地改善感知到的安全合规，而对分诊理由质量的影响含糊、不一致；人类评估在安全合规上支持LLM评审，在推理质量上支持程度较低。

其他消融与分析

• 风格轴只施加于急诊医师，论文未另给人格句长度或解码温度的消融表（第3.1节、附录A）。
• 患者安全任务没有与分诊相同的参考标签准确率、ECE或一致性表。
• 哪些比较带*，文本只概括为部分或若干达到p < 0.05，未逐格列出。

作者指出的局限与后续方向

• 人格集合： 只评估有限的专业人格，聚焦急诊角色和交互风格，未覆盖全科医生或专科医生；作者称这些角色在人格条件化下可能有不同行为效应（第7节）。
• 任务临界性： 非单调、情境依赖的效应在分诊中最明显，在患者安全基准中较不突出，因为临界性更均匀，聚合趋势可能掩盖类别特定失败（第7节）。
• 人类评估规模： 因标注成本和专业要求，人类评估规模有限，关注偏好与一致性趋势，而不是细粒度个案判断（第7节）。
• 干预层级： 只研究提示词级人格条件化，未评估训练时或潜空间控制。作者称结论只适用于临床LLM系统中常用的提示词级条件化；这些方法可能提供更强保证，但较少见，也较难用于部署（第7节）。
• 后续： 作者称上述局限将在未来工作中处理（第7节）。论文未单列新的实验方案。

实验覆盖范围

• 被测模型为四个HuatuoGPT-o1变体和MedGemma-27B，共5个；MedGemma-27B不生成推理轨迹（第4节）。
• 分诊数据为1,466例疑似TIA/卒中加201例常规护理；PatientSafetyBench为466条查询、五类安全问题。
• 人格条件为急诊医师、急诊护士、仅用于急诊医师的bold与cautious、Helpful Assistant和No Persona。
• LLM评审为GPT-5、HuatuoGPT-o1-70B和HuatuoGPT-o1-72B；人类评估为3名临床医生，每类任务50例，回收149与150份。Figure 5b标注16条≥50%置信的安全响应。
• 论文未报告逐模型精确准确率、ECE、CR表，也未报告实验重复次数；0.43的计算子集条数未在正文写成16。开源推理为temperature 0、最长1,024 tokens（附录A）。

作者把临床LLM的人格条件化当作行为分析对象：职业角色和交互风格是先验，不是默认的安全开关。

• 问题： 高风险临床支持需要准确、校准、一致和合适的风险姿态。作者要检验“更医学的人格会单调更安全”这一常用假定。
• 做法： 系统提示只加一句角色声明。角色为急诊医师和急诊护士，风格只改急诊医师的bold与cautious，对照Helpful Assistant和不改提示的No Persona。指标覆盖分诊准确率、ECE、生成标签与logit的一致性、过度与不足分诊，以及LLM排序和三名医生的盲偏好。
• 分诊： 作者报告，相对Helpful Assistant与No Persona，急诊准确率≈+20 pp、校准≈−20 pp；HuatuoGPT-72B一致性≈+4 pp。初级保健准确率≈−10 pp，部分较小模型一致性≈−20 pp。摘要另写准确率与校准增益最多∼+20%，并称初级保健下降幅度相当。Figure 2图注则把柱状Δ写成相对无人格基线。
• 风险与评审： 风格不能稳定控制风险。相对无人格基线，倾向升幅最多0.21（HuatuoGPT-7B），敏感度最多0.76（HuatuoGPT-70B）。LLM评审总体更偏好医学人格，但最高名次的Cohen's κ为0到0.1，附录F还有No Persona高于急诊医师的MRR格子。医生在安全合规的中高置信判断上平均κ为0.43，对理由质量则有95.9%为低置信。
• 作者结论： 作者称人格是双刃、情境依赖的行为先验，挑战“更强领域设定会均匀提升安全”的假定，并认为高风险场景需要随任务而变的评估后再部署。