HerHealthEval：评测大语言模型对多语言女性健康沟通的理解

女性健康沟通中，模型是否先理解用户关切，而不是只生成看似合理的回答。

• 场景：作者认为医疗沟通评测多看回答质量，并默认关切已被正确理解。病耻、不确定、健康素养有限和间接说法会改变表达；误读可能低估紧急程度，或在应先澄清时直接作答。
• 现有不足：作者称既有女性健康工作主要评事实性、可读性、共情和安全，较少分开检验关切是否被识别。多语言医学问答中，相同临床意图也可能得到不一致建议。
• 观察：同一关切可写成临床、通俗、间接或带情绪等语域（register），临床信息相同，语言证据不同。欠指定形式故意删细节，以测模型是否知道应先澄清。
• 做法：作者提出HerHealthEval，固定月经、PCOS或激素、生育力病例，在英语、法语、现代标准阿拉伯语下给六种形式，并预定义关切、风险和欠指定识别目标。
• 问题：RQ1看语域变化下解释是否稳健；RQ2看英、阿、法在解释、分诊和澄清上有无系统差异；RQ3看英语适配与三语联合适配如何改变这些行为。

作者把相关工作分成回答质量、跨语言理解与澄清三类，并把缺口放在匹配语域下的理解评测。

女性健康LLM评测

• 回答质量：Recker等（2025）与de Vries等（2025）被引为从事实性、可读性、共情和安全评生成回答的工作。论文未展开其实验细节。
• 领域对话：MenstLLaMA（Adhikary等，2025）做月经健康教育生成；Mai（Mughal等，2025）做月经健康对话，语言为英语和Roman Urdu。Table 1写二者都无匹配形式，也无分诊或澄清目标。
• 专家评分：WHBench（Maurya等，2026）用专家安全量规评临床回答；PCOS与生育力研究（Graça等，2026；Chervenak等，2023）用临床作者问题或专家对回答的判断。作者称这些路径通常评回答质量，而不是分开检验关切识别、紧急程度和澄清需求；WHBench的量规不含澄清目标。

多语言与社会文化理解

• XLingEval：Jin等（2024）在英语、西班牙语、中文和印地语上评正确性、一致性与可验证性。作者称可见相当大的跨语言回答差异。
• 跨语言建议：Schlicht等（2025）同样报告等价临床问题在不同语言下建议不一致。论文未再给出该研究的数值。
• 文化与形式：Hershcovich等（2022）区分语言形式、文化知识与交际目标；Deva等（2025）称合适的生殖健康回应可能需要字面翻译之外的本地语境。作者因此把本文主张限定为受控的语言与语域变化，不把语言当作文化代理。

歧义与澄清

• 对话能力：Testoni与Fernández（2024）、Zhang与Choi（2025）把识别不确定、找出缺失信息、请求补充证据、澄清后再回应视为不同能力，并称这对当前对话系统仍然困难。论文未把二者用作实验基线。

基线与数据

• 基线方法：零样本Qwen3.5-9B-Instruct；结构化英语QLoRA；该适配加4倍澄清过采样；联合英语–法语–阿拉伯语QLoRA（M3-ML）；风险校正再适配（M3-ML-RC）。英语风险准确率对照多数类基线。
• 基准/数据集：评分集为HerHealthEval，三语各540条匹配项。病例来自MENST，以及再封装的HealthCareMagic-100k与iCliniq-10k。有可靠映射时，关切对照NHS、NICHD，生育力补充CDC指引。
• 定位：作者认为缺口不是再做一个回答基准，而是检验等价意义跨语域和语言时是否仍被识别为同一关切，并暴露under-triage和退化的一致性；同时用精确匹配、来源溯源和释义族排除切断适配与评测泄漏。

作者用HerHealthEval把病例身份固定，只改变语言和交际形式，从而把理解与回答生成分开评。Figure 1、Figure 2分别是框架和构建流程的示意图；正文称预测差异可归因于语言实现。图中曲线或位置在所给文本里不可见。

病例、形式与语言

• 六种形式：canonical、clinical、layperson、indirect or hedged、emotionally concerned、deliberately under-specified。前五种受意义保持约束，措辞和情绪可变，临床证据与关切类别不变。
• 欠指定：该形式故意删除相关细节，单独作为澄清压力测试，不当作意义保持释义。其标签不是临床医生对真实患者是否需要澄清的裁定。
• 语言：英语、法语、现代标准阿拉伯语。作者选MSA而非地区方言，以便术语一致并做受控跨语言比较。
• 锚点：每个病例先映射到一个规范临床关切，全部变体都挂在这个锚点上。

来源、改写与审校

• 来源：PCOS或激素、生育力来自HealthCareMagic-100k与iCliniq-10k；月经健康来自MENST，并保留来源级释义族关系。候选按关键词进入三类，并清除ChatDoctor文本替换痕迹。
• 筛选：去掉近重复、仅神话、离题和非第一人称病例后按类别平衡。有可靠映射时对照NHS、NICHD，生育力补充CDC；无法确定的病例只标记，不推断标签。
• 改写：模板试点造成词汇趋同，尤其在clinical语域，因此改用区分度与语义保持检查，再人工看语义、语域和自然度。
• 本地化：标准化LLM辅助翻译后做结构与对齐检查，再由母语者审阅。阿拉伯语另经职业阿英医学翻译看术语、语法和性别一致。只有通过人工语言验证的条目被保留。

银标与防泄漏

• 评测风险：确定性关键词启发式从英文来源答案导出银标；每个英文源病例只算一次，再按病例身份传到法、阿，故评测标签语言不变。论文未列出关键词。
• 澄清标签：欠指定形式为正，其余为负，跨语言共享。它测的是注入的信息缺口，不是一般临床澄清标准。两类目标都是银标，不是临床裁定。
• 失败案例：事后审计发现，原多语言适配把英语启发式直接用于译文；缺少英语就诊用语，法、阿标签偏向routine。作者保留该模型M3-ML（Model 4）作为失败案例。
• 校正与隔离：M3-ML-RC（Model 5）从英文答案只推一次风险，经row_id挂到三语适配行，其余适配流程不变。评测与适配用精确匹配、来源溯源、释义族三条规则隔离。

指标

• 分诊：under-triage是参照see-doctor被标成routine的比例，分母为解析有效且参照为see-doctor的子集；over-triage是相反错误。风险准确率因类别不平衡另报多数类基线。
• 其他：关切准确率、澄清召回与特异度、parse_ok、六种形式标签是否相同，以及英法阿成对和三方一致。模型自报的unsafe_response为辅助标志。
• 检验：共享项上的配对比较使用McNemar；Model 4与Model 5还在see-doctor参照上，以避开routine为结局再比。

作者在HerHealthEval上比较Qwen3.5-9B-Instruct的零样本与四种QLoRA变体；主对照是语言不对称风险标签下的法、阿分诊，以及校正后澄清是否恢复。

实验设置

• 模型：均基于Qwen3.5-9B-Instruct。Model 1零样本；Model 2英语结构化QLoRA；Model 3在其上对澄清做4倍过采样；Model 4联合英法阿QLoRA，即M3-ML；Model 5为M3-ML-RC。
• 范围：五者都评英语；Model 1、4、5另评匹配的法语和现代标准阿拉伯语。每语言540条，共享病例身份和语言不变银标。
• 子集：正文写明英语see-doctor参照174例，需澄清的欠指定病例90例。主题为月经、PCOS或激素、生育力。论文未报告各类条数和适配语料规模。
• 对照：零样本为参照；英语风险准确率另对照多数类基线0.644（Table 2）。Table 3未给多数类基线。
• 判定：对照预定义银标，不是LLM评审，也不是临床裁定。风险、类别、分诊和澄清只计解析有效输出；失败另记parse_ok。
• 检验：McNemar用于共享项。论文未报告重复运行次数、QLoRA秩和训练步数。

主结果

下表每语言n=540。英语Model 1–4取Table 2；Model 5及法、阿取Table 3。两表重叠的英语数字一致。Model 2、3没有法、阿结果，格内写未报告。

Swipe horizontally to read the table

模型	英under-triage	法under-triage	阿under-triage	澄清召回（英/法/阿）
Model 1	0.718	0.632	0.638	0.856 / 0.811 / 0.889
Model 2	0.647	未报告	未报告	0.044 / 未报告 / 未报告
Model 3	0.605	未报告	未报告	0.000 / 未报告 / 未报告
Model 4	0.711	0.994	0.994	0.000 / 0.000 / 0.011
Model 5	0.590	0.572	0.558	0.000 / 0.000 / 0.000

• 塌缩：作者称Model 4在法、阿几乎总预测routine，约173/174个see-doctor参照被标成更低风险；法阿一致0.991，三方一致从0.846降到0.804。作者称这是退化的一致性，不是安全理解（正文4.3）。
• 校正：作者称Model 5的under-triage低于Model 1，但聚合风险准确率低估了该变化，因为部分routine准确率被换成see-doctor升级。相对Model 4，法语纠正74例、反向1例（p=4.0×10^-21），阿语纠正75例、反向0例（p=5.3×10^-23）。
• 澄清：作者称风险校正没有恢复澄清寻求。该召回测的是对构造性信息缺口的识别；作者称近零不应直接当作临床不安全的证据。

英语适配与过采样

• 设置：泄漏受控语料上的QLoRA，输出仍用同一结构化分诊schema。Table 2比较Model 2、4倍澄清过采样的Model 3，以及三语Model 4的英语结果。
• 数字：Model 2–4的parse_ok为0.998、0.996、0.998。英语类别一致性从0.156升至0.344、0.378、0.411。Model 3风险准确率0.665、under-triage 0.605；Model 2风险准确率0.623，低于多数类0.644。
• 作者解读：作者认为4倍过采样未恢复澄清，仅增加暴露可能不够，澄清或需显式训练目标。Model 2的风险正确性差于Model 1（p=0.033），类别与澄清正确性的p为0.707、0.302。作者称Model 3、4与Model 1的逐项准确率无统计学差异，主要效应在安全敏感和组级指标。

零样本的解释差异

• 英语：Model 1风险准确率0.667，多数类基线0.644。作者称see-doctor召回约0.282，routine召回0.897；澄清特异度0.862（正文4.1，90例）。
• 类别与形式：关切准确率0.539，生育力召回0.467，作者称生育力最难。六形式风险一致占0.644，关切一致占0.156（Table 2）。作者称交际风格会实质影响解释。
• 三语：Table 3中Model 1风险准确率为英0.667、法0.685、阿0.674，风险一致性为0.644、0.544、0.456。4.3节把法、阿under-triage升至表中的0.994归因于语言不对称监督。

其他消融与分析

• 英语风险一致性：Model 1为0.644，Model 2–4为0.433、0.444、0.500（Table 2）；Model 5为0.367（Table 3）。
• 法、阿风险一致性：Model 1为0.544、0.456，Model 4为0.978、0.967，Model 5为0.467、0.422（Table 3）。
• 关切准确率最低0.510（Table 2，Model 4英语），最高0.561（Table 3，Model 1法语）。
• Model 4英语类别一致性0.411，高于Model 2、3，但作者称未保住Model 3的分诊收益（Table 2）。
• Model 5的parse_ok为英0.994、法0.991、阿0.989（Table 3）；4.2节写Model 2–4不低于0.996，该句未包括Model 5。
• 论文未报告over-triage与unsafe_response的数值，也未报告Table 3的多数类基线。

作者在Limitations与Discussion里写明范围、探索性推断，以及结果不确立临床安全。

作者指出的局限与后续方向

• 框架性质：作者写明HerHealthEval是评测框架，不是固定规模基准（Limitations）。
• 范围：作者写明本研究覆盖三类女性健康主题、英语、法语、现代标准阿拉伯语、一个多语言模型家族和有限的适配配置（Limitations）。
• 推断：匹配项被当作独立配对，没有按源病例聚类的置信区间；作者称推断性主张应按探索性解读（Limitations）。
• 后续：作者写道未来工作将在更多临床和语言设置中验证，并加入临床裁定标注和不确定性感知的对话机制（Limitations）。
• 安全主张：作者在Discussion指出，Model 5指向适配标签流程，而不是多语言适配本身，但并不确立临床安全。
• 澄清解释：作者在Discussion限定，近零澄清召回是未能识别注入的信息缺口，不是临床不安全的直接证据。

实验覆盖范围

• 五个配置都基于Qwen3.5-9B-Instruct；英语n=540评全部，法、阿各n=540评Model 1、4、5（第4节，Table 2、Table 3）。
• 主题为月经、PCOS或激素、生育力；每病例六种形式；三语共享病例身份与语言不变银标（第3、4节）。
• 英语正文给出see-doctor参照174例、欠指定90例、澄清特异度0.862、see-doctor召回约0.282、routine召回0.897、生育力召回0.467（第4.1节）。
• 已报告的配对检验包括Model 2对Model 1的三个McNemar p值，以及Model 5相对Model 4在see-doctor参照上的b、c和p值（第4.2、4.3节）。
• 论文未报告over-triage数值、unsafe_response数值、适配语料规模、QLoRA秩、训练步数、重复次数、审校人数与审校一致性，以及Table 3的多数类基线。

HerHealthEval用来评女性健康沟通里的多语言、语域敏感理解，而不是只评生成回答。

• 要分开看模型有没有识别同一关切、把风险标成see-doctor或routine，并在故意欠指定时要求澄清。每个病例在英、法、现代标准阿拉伯语下有六种形式。
• 评测风险从英文来源答案推导后跨语言传播。适配侧曾把英语启发式直接用于译文；作者把该M3-ML保留为失败案例，再用语言不变标签做M3-ML-RC。
• 零样本Qwen3.5-9B-Instruct的英语风险准确率0.667，多数类基线0.644；under-triage为0.718，澄清召回0.856（Table 2，n=540）。
• 语言不对称监督下，法、阿under-triage为0.994，风险一致性为0.978与0.967；作者称高一致来自塌到routine（Table 3，正文4.3）。
• 语言不变标签再适配后，under-triage为法0.572、阿0.558、英0.590，三语澄清召回仍为0.000（Table 3）。作者认为这指向标签流程，并称不确立临床安全。
• 作者称对三个研究问题的回答是暂时的：聚合准确率与一致性可能掩盖安全相关失败；多语言医疗评测要分开测理解、不确定处理和风险校准，并检查适配标签是否语言不变、质量受控。