跳到正文
原文
论文追踪· arXiv:2610.11586·本站收录· 原文发表

MH-INDIC:面向印度城市与半城市语境孕产妇健康 LLM 交互的文化对齐评估框架

Measuring Cultural Alignment Beyond the Average: A Framework for Evaluating Maternal-Health LLM Interactions in Indian Contexts

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

MH-INDIC评10个LLM:T=0.3时Claude Euclidean为0.253,各模型敏感度低于人类0.199。

问题
医疗LLM评测多看事实、安全与流畅,看不出母婴互动是否按家庭权威、社区规范和情绪披露来推理。作者认为这一点在母婴照护里重要,因为决策嵌在家庭与社区关系中。
方法
MH-INDIC把Hofstede六维改到母婴互动层,并加MAFC、BTB、SVO、MHS。102名孕产妇与十个LLM答同一26题问卷,比较人群均值和画像间变异;再用人类分数或模型自答来生成对话。
实验与结果
T=0.3时Claude的Euclidean为0.253。作者称各模型条件敏感度都低于人类的0.199。human-grounded专家PAS:Claude 0.86,Qwen3 0.83。
局限与可以继续做的
作者称队列偏城市、本科,多为印度教或穆斯林,未必推广到农村或较低读写能力人群。十维不含经济约束与医疗可及性。对话为22段、两个模型、三种条件,专家只评十维中的三维。作者计划扩展人群,并研究多会话与保持临床安全的行为适应。
实验设置Claude Sonnet 4.6、GPT-5 等 · MH-INDIC、26-item maternal-health survey · Euclidean distance、MAE 等
被测模型
Claude Sonnet 4.6GPT-5Gemini 3 ProLlama 3.1 70BLlama 3.1 8BQwen3 30BMixtral 8×7BMedGemmaMed42 70BNanda 10B
基准
MH-INDIC26-item maternal-health survey
指标
Euclidean distanceMAEcosine similaritySpearman ρconditional sensitivityPASProfile ConsistencyNaturalness & FluencyOverall Dialogue Quality
AI 导读研究者提出 MH-INDIC,一个面向印度北部城市与半城市语境孕产妇健康交互的文化对齐评估框架,用十维度孕产妇健康推理刻画文化行为。基于对 102 名孕产妇的 26 项调查,团队评估了 10 个 LLM,发现多个模型接近人群层面的文化分布,但所有系统在人口与家庭画像上的行为差异都明显低于人类队列。用对齐度最高的专有与开源模型生成对话时,人类接地条件提示带来更强的画像对齐与对话质量评分。

研究者提出 MH-INDIC,一个面向印度北部城市与半城市语境孕产妇健康交互的文化对齐评估框架,用十维度孕产妇健康推理刻画文化行为。基于对 102 名孕产妇的 26 项调查,团队评估了 10 个 LLM,发现多个模型接近人群层面的文化分布,但所有系统在人口与家庭画像上的行为差异都明显低于人类队列。用对齐度最高的专有与开源模型生成对话时,人类接地条件提示带来更强的画像对齐与对话质量评分。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    母婴健康LLM评测多看事实与安全,MH-INDIC用十维框架分开总体对齐与画像敏感度。

    医疗 LLM 的现有评测主要考核事实正确、安全与流畅,对生成互动是否反映受社会关系塑造的母婴推理,提供的信息很少。

    • 场景:作者称母婴决策很少只发生在患者与临床人员之间,而是落在配偶、长辈、社区健康工作者和非正式知识来源构成的网络里;对权威的顺从、对医疗不确定性的态度、情绪披露和自我牺牲期待,会影响就医与孕产经历。
    • 现有不足:作者称现有方法侧重医学准确性、安全、语言流畅和宽泛文化适当性(Kazemi et al., 2024; Rystrøm et al., 2025)。Hofstede 式框架和近期 LLM 文化基准又过粗,看不清低资源情境里决策如何被协商并付诸行动。
    • 拆分方式:作者把对齐分成人群层面的总体一致,以及人口学、家庭画像上的行为变异,并认为接近人类总体分布并不等于模型会随画像改变行为。
    • 本文提出:面向城市与半城市北印度情境的 MH-INDIC,用十个母婴健康推理维度操作化文化行为;以 102 名孕产妇的 26 题问卷为参照,评测十个 LLM,并用作者称为对齐最强的专有与开源模型,在 zero-shot、self-conditioned、human-grounded 三种提示下生成对话。作者称据其所知,这是首次用多维框架系统评测此类互动的文化对齐。
  2. 有哪些相关研究?

    相关工作分母婴健康AI、文化评测与对话生成三支,作者称三者此前大体分开处理。

    母婴与生殖健康中的 AI

    • 公共卫生背景:Yadav et al. (2022) 与 Deva et al. (2025) 讨论文化规范、家庭结构和权威关系如何塑造求医与母婴结局。
    • 生物医学向应用:Ramjee et al. (2025)、Islam et al. (2022) 把 AI 用于风险预测、临床决策支持和信息型聊天机器人。作者称多数主要建模生物医学或个体因素,配偶权威、长辈角色和社区规范常被抽象或忽略,并据此引用 Kaur et al. (2025)。
    • 文化敏感性聊天机器人:Deva et al. (2025) 开始在母婴与生殖健康聊天机器人中处理文化敏感性。作者称其尚未给出可推广的评测框架,用以判断系统是否在规模上复现情境化推理。

    文化建模与 LLM 评测

    • 宽泛医疗评测:引言把 Kazemi et al. (2024)、Rystrøm et al. (2025) 所代表的评测写成侧重准确性、安全、流畅和宽泛文化适当性,并称这难以抓住社会规范维度。
    • 文化与价值基准:Tao et al. (2024)、Li et al. (2024),以及 Zhao et al. (2024)、Chiu et al. (2024),考察文化偏见、跨文化变异、价值对齐或文化知识。作者称这些框架通常依赖抽象价值类别和众包判断,缺少领域特定文化结构;Hofstede (2011) 的国家层分数也被作者视为过粗。
    • 只报人群均值:作者用 Mukherjee et al. (2024) 指出,现有基准多报告人群边缘对齐,即模型均值离人类均值有多近,很少检查个体、家庭和人口学画像上的文化变异。

    对话生成

    • 健康与个性化对话:Zhang et al. (2026)、Lee et al. (2024) 研究个性化、可控性、价值对齐,以及共情或支持性健康对话。作者称文化落地常被表面条件近似,缺少对回复是否反映社会文化约束的显式评测。
    • 评测与生成是否一致:作者引用 Chiu et al. (2024) 称,很少有研究同时在评测和生成任务上检查文化推理是否一致。

    对照:论文没有另设对齐算法基线。参照是同一 26 题工具上 102 名城市与半城市北印度孕产妇的分数;被比较的是专有、开源、医疗域和印地语适配共十个 LLM。

    作者称先前工作把母婴健康、文化建模和对话生成大体分开;MH-INDIC 用经验定义的维度使人与模型可直接比较,并把问卷层对齐接到下游对话生成。

  3. 论文如何解决这个问题?

    MH-INDIC把Hofstede六维改写到母婴互动层并加四维,人和模型用同一套规则打分。

    MH-INDIC 把母婴情境中的文化行为写成十个可打分维度,让人类与 LLM 走同一问卷、同一套规则,再把作者称为对齐最强的模型用于条件化对话。

    维度与问卷

    • 六维改写,四维新增。 作者把 Hofstede 的维度方法当作可解释骨架,不直接采用其国家分数。PDI、UAI、LTO、IVR 被改到母婴互动层;Masculinity vs Femininity 改称 Gender Norms(GN),Individualism vs Collectivism 改称 Community Norms versus Individual Divergence(CNID)。另加 Maternal Agency versus Familial Control(MAFC)、Biomedical Trust versus Traditional Belief(BTB)、Silence versus Openness around the Maternal Body(SVO)、Mental Health Suppression(MHS)。高低极对照见 Table 3。高极统一表示更受约束或更限制的一极。
    • 26 题英文问卷。 含 Likert、多选和开放题,每维用互补的直接指标与社会情境指标。经母婴与公共卫生文献,以及两位专家修订:母婴健康专家(MBBS/MPH)和心理健康专家(MSc Psychology,执业咨询师)。102 名城市与半城市北印度孕产妇的回答构成人类参照(附录 G、H)。
    • 结构分析不要求各维都高内部一致。 作者称若干维度是形成性而非反映性,Cronbach’s α、题总相关、单因子 EFA 和维度间相关用于看结构是否可解释。七个多题主维度的 α 为 0.19 到 0.63(Table 5)。附录 C 把 BTB、CNID 和题目较少的 SVO 当作探索性维度。Figure 5 中十个主维度的非对角相关绝对值不超过 0.41。

    规则化评分

    • 编码:二元回答编为 {0, 1},有序回答线性归一化到 [0, 1],必要时反向编码。缺失或不适用在指标层剔除。分类回答按预定代码映射(附录 D)。
    • 聚合:多数维度由多题合成,并使用非对称规则,避免简单平均抹掉关系动态。例如多名长辈影响并存时,长辈控制指标取原始代码的最大值再归一化。构造摘要见 Table 6。Figure 7 的 LTO 示例把 Q8 与 Q9 平均后再取 1 减该均值;Table 6 只把 LTO 标为 Q8。题目映射以 Table 6 为准。
    • 子成分:MAFC 再分为长辈中介(ED)与配偶中介(SC),MHS 再分为个人披露(MHSP)与社区识别(MHSC)。子成分只做二次分析。主对齐固定用十个主维度,避免相关建构被重复加权。
    • 表示:每人得到长度 M=10、取值在 [0, 1] 的文化向量。作者称编码、归一化、聚合和阈值在实验前固定,人和模型共用,不做模型层事后调整。

    总体对齐与画像敏感度

    • 画像:每个 LLM 在 30 个母亲画像上模拟作答。画像从队列按七个分类属性做 farthest-first traversal:年龄组、教育、就业、家庭结构、产次、家庭收入、宗教。种子是最稀有人口学配置的受访者。提示要求模型按该画像,模拟印度女性在母婴情境中的可能回答。
    • 总体对齐:人类与模型在主维度上的均值向量之欧氏距离,Am = ‖ μH − μm ‖2。越小表示越接近人类参照。
    • 画像条件敏感度:各主维度上、跨画像标准差的平均,Cm = 1/(|D|)∑d ∈ Dσd(m)。人类一侧用子组层面的人口学与家庭变异做类似估计。分析只用主维度。

    下游对话生成

    • 模型与三种提示:使用问卷评测中作者称为对齐最强的开源模型 Qwen3 30B 和专有模型 Claude Sonnet 4.6。zero-shot 只给母亲画像和目标维度;self-conditioned 用该模型自己的问卷回答导出行为标记;human-grounded 用对应画像的人类受访者分数。附录 E 给出提示词。
    • 对话结构:AI 母婴同伴与孕产客户的多轮互动。方法节把主维度定为 PDI,两个次维度定为 MAFC 与 GN,并在所有画像和条件中固定,以使 Profile Alignment Score 的差异来自条件策略而不是维度选择。Table 2 注则写 PAS 在 PDI、MAFC、SVO 上计算。图 2 的生成提示文字把每题的多数人类回答称为 GOLD standard,与第 4.3 节用维度均值做总体对齐不是同一手续。
    • 规模与画像:每个画像、每种提示生成成对的 20 轮对话,其余提示条件不变。对话评测用五个画像:队列中的 P18、P24、P25,以及合成极端画像 PSYN-LOW、PSYN-HIGH(各维分别固定为 0.0 与 1.0,人口学框架与 P18 相同,附录 B)。第 5.2 节把 P24、P25、P18 标为自主、中段和冲突;附录 B 与 Table 4 把 P18 写成家中低自主、诊所持顺从,P25 写成自主但 MHS 较高,P24 写成医学上偏现代、家中受约束。
  4. 论文做了哪些实验?

    T=0.3时Claude的Euclidean为0.253,但条件敏感度0.119,低于人类队列的0.199。

    实验设置

    • 被测模型:十个。专有 Claude Sonnet 4.6、GPT-5、Gemini 3 Pro;开源 Llama 3.1 70B、Llama 3.1 8B、Qwen3 30B、Mixtral 8×7B;医疗域 MedGemma、Med42 70B;印地语适配 Nanda 10B。论文写开源权重模型用 vLLM 在 NVIDIA A100 80GB 上本地服务,专有系统经各自 API 访问。
    • 人类参照:102 名城市与半城市北印度孕产妇,26 题英文问卷;成年、知情同意、经社交媒体招募、无报酬(第 9 节、附录 G)。21–40 岁 N=98(96%),印度教 N=50、穆斯林 N=49,本科及以上 N=98;只与丈夫同住 N=54(53%),含姻亲的联合或扩展安排 N=47(46%)。
    • 问卷协议:每模型 30 个画像。T=0.0 为贪婪解码;T=0.3 与 T=0.7 对五次采样做多数投票。除非另说,报告 T=0.3。没有另设对齐算法基线。
    • 对齐指标与检验:Euclidean、MAE、cosine similarity、Spearman ρ。维度差异用 Mann-Whitney U,Benjamini-Hochberg FDR,q=0.05。Euclidean 的 95% 区间对 102 个人类画像有放回 bootstrap,B=1000。
    • 对话协议:Claude Sonnet 4.6 与 Qwen3 30B;zero-shot、self-conditioned、human-grounded;五个画像。两位领域专家与两个 LLM-as-a-judge(GPT-5、Gemini 3 Pro)独立评分。质量指标为 Profile Consistency、Naturalness & Fluency、Overall Dialogue Quality,1–5。PAS 把评分与画像目标值的绝对差按 4 和维度数归一化后用 1 去减;Table 2 注写其取值在 [0, 1],越高越对齐,计算轴为 PDI、MAFC、SVO。
    • 对话条数:第 9 节写实验限于 22 段对话。论文未报告问卷模型回答是否经人工核对。

    主结果

    Table 1,T=0.3,相对人类队列均值。Euclidean、MAE 越低越好;cosine、ρ 越高越好。

    表格较宽,可左右滑动

    模型Eucl.↓MAE↓Cos.↑ρ↑
    Claude Sonnet 4.6.253.061.968.527
    GPT-5.343.090.932.406
    Gemini 3 Pro.380.101.924.358
    MedGemma.535.118.929.358
    Qwen3 30B.580.148.873.200
    Mixtral 8×7B.814.216.876.152
    Nanda 10B.817.221.900.406

    未列入上表的 Table 1 行:Llama 3.1 70B 为 .659 / .157 / .916 / .309,Llama 3.1 8B 为 .704 / .165 / .841 / .139,Med42 70B 为 .686 / .183 / .849 / .333(Euclidean / MAE / cosine / ρ)。

    • 表注的粗体四项都在 Claude Sonnet 4.6。作者称专有模型更接近人类总体分布;开源里 Qwen3 30B 最好,Nanda 10B 偏离最大。表中 Euclidean 最大的 Nanda,其 Spearman ρ 与 GPT-5 相同。
    • 作者称总体对齐强不等于行为敏感。Figure 4 与正文:人类条件敏感度为 0.199,Claude Sonnet 4.6 为 0.119;图注称所有 LLM 都聚在人类参照之下。
    • 正文给 T=0.3 时 Claude Euclidean 的 95% CI 为 [0.230, 0.307],与 Table 1 的 .253 对应。T=0.0 的正文点估计为 Claude 0.262、GPT-5 0.345,区间 [0.236, 0.314] 与 [0.318, 0.426] 且无重叠;Table 7 的对应点估计是 .260 与 .360。点估计以表为准。

    维度级偏差

    • Figure 3 为 T=0.3 的各维绝对偏差,模型从 Claude Sonnet 4.6 排到 Nanda。正文报告 BTB(|Δ|≤0.13)、LTO(|Δ|≤0.21)、PDI(|Δ|≤0.22)相对稳定;更大的偏差在家庭权威、性别角色和自我牺牲。MAFC、GN、IVR 把受约束一极说得过重,上界为 +0.41、+0.41、+0.50;MHS 反向,把痛苦压抑说得过轻,上界为 −0.32。作者报告 MAFC、GN、IVR 的大多数偏差在 FDR 校正后仍然显著。
    • 人类队列的 ED:SC 比约为 2.3。开源与医疗域模型把这一区分压到 1.5–2.0;专有模型分得更开(Claude: 5.5,Gemini 3 Pro: 20.7)。若干模型的 MHSP 塌向 0,MHSC 更接近人类。Figure 6 注:多数 LLM 在对角线上方,个人披露塌向零而社区识别保持中等,人类队列为图中金星。作者称模型难以区分内在痛苦与社会可见的情绪表达。

    对话生成

    • Table 2 专家 PAS:Claude 的 zero-shot / self-conditioned / human-grounded 为 0.54 / 0.77 / 0.86,Qwen3 为 0.62 / 0.68 / 0.83。LLM-judge PAS:Claude 为 0.86 / 0.86 / 0.85,Qwen3 为 0.76 / 0.78 / 0.85。human-grounded 的专家质量分(一致性、自然度、总体),Claude 为 4.60、4.20、4.40,Qwen3 为 4.60、3.70、3.90。表内一致性均值 Qwen3 为 4.37,Claude 为 4.14。
    • 作者称两种评审里 human-grounded 的 PAS 最强,其后是 self-conditioned 和 zero-shot;专家质量分也按这一顺序升高,Table 2 的三列质量分在两个模型上同向升高。正文另写专家均值 0.75 对 0.73、LLM 裁判 0.86 对 0.81,zero-shot 专家分 0.55 / 0.62,以及相对 zero-shot 提高 +0.31 与 +0.21。Table 2 的专家均值为 0.72 与 0.71,LLM 裁判均值为 0.86 与 0.80,Claude 的 zero-shot 为 0.54。解读以表为准。表注写专家与 LLM 裁判 PAS 的 Pearson r=0.71、Spearman ρ=0.70,N=66。
    • 冲突画像:P18(高 PDI、低 MAFC)在 human-grounded 下,作者称 Claude 把诊所持顺从和家中自主分开,专家给 MAFC 打 2.0,接近期望 1.2;Qwen3 塌向受约束一极(MAFC=4.0)。作者认为人类分数条件只在能力足够的模型上更好地保留内部冲突。作者还描述两类评审分歧:LLM 裁判按条件画像打分,即使用生成文本没有充分表现这些特质;在内部冲突画像上,裁判把表面标记平均,分数高于专家。

    其他消融与分析

    • T=0.0(Table 7):Euclidean 为 Claude .260、GPT-5 .360、Gemini 3 Pro .367、MedGemma .529、Qwen3 .578、Nanda .856;Claude 的 ρ 为 .491。
    • T=0.7(Table 8):Euclidean 为 Claude .252、GPT-5 .341、Gemini 3 Pro .372、MedGemma .530、Qwen3 .575、Nanda .670;Claude 的 cosine 为 .971、ρ 为 .479。
    • 跨温度排序:附录 F 称三个温度下 Claude 的 Euclidean 最低,四族无跨族重叠。Table 1 中 MedGemma .535、Qwen3 .580、Med42 .686 已交错;Table 8 中 Nanda .670 落在医疗域与开源模型的数值范围内。
    • 相关:Figure 5(N=102)最强联系为 IVR–PDI r=0.41、MAFC–GN r=0.39、MAFC–LTO r=0.37。
    • α(Table 5):LTO 0.63(2 题)、GR 0.50(3 题)、MAFC 0.45(6 题)、BTB 0.29(3 题)、CNID 0.19(2 题)。表中性别维度写为 GR,正文主名称是 GN。PDI、UAI、IVR 为单题,不计算 α。
    • 专家一致:三个核心取向轴上两位专家 r≥.90(第 6.4 节)。
  5. 有什么可以进一步探索的点?

    作者称队列偏城市与本科,对话仅22段,专家只评十维中的三维,且不用于临床决策。

    作者指出的局限与后续方向

    • 样本构成:队列以城市、本科教育为主,多数认同为印度教或穆斯林。作者称发现未必推广到农村、较低读写能力或其他代表性不足的人群(第 9 节)。
    • 维度范围:十个维度没有纳入经济约束、医疗可及性和基础设施差异(第 9 节)。
    • 对话规模:对话实验限于 22 段、五个画像、两个模型和三种条件;专家评测只覆盖十维中的三维,且是一次 20 轮咨询。作者称因此更长程、更广的文化情境推理得不到评估(第 9 节)。
    • 用途与风险:MH-INDIC 只作为研究评测方法,不用于临床决策。作者称文化对齐的生成有强化限制性社会规范的风险;若未来部署,需要分人群验证、人工监督,以及防止放大有害或约束行为的防护(第 9 节)。
    • 后续计划:作者计划把 MH-INDIC 扩展到更广的地理、语言和社会经济人群,并研究更长程的多会话互动,以及在保持临床安全的同时改善行为适应的对齐方法(第 9 节)。

    实验覆盖范围

    • 问卷对齐覆盖十个 LLM,每模型 30 个画像,温度含 T=0.0、T=0.3、T=0.7;Table 1 为 T=0.3,Table 7 与 Table 8 为另外两个温度(第 5.1 节、附录 F)。
    • 人类参照是 102 名城市与半城市北印度孕产妇;问卷以英文施测(第 4.1 节、附录 G)。
    • 对话模型为 Claude Sonnet 4.6 与 Qwen3 30B,提示为 zero-shot、self-conditioned、human-grounded;画像为 P18、P24、P25、PSYN-LOW、PSYN-HIGH。第 9 节写共 22 段。论文未说明这 22 段与上述画像、模型和条件如何对应。
    • 对话分数来自两位领域专家以及 GPT-5、Gemini 3 Pro。三个核心取向轴上专家间 r≥.90;专家与 LLM 裁判的 PAS 相关样本为 N=66(第 6.4 节)。论文未报告是否人工核对了模型的问卷回答。
    • 维度差异使用 Mann-Whitney U 与 Benjamini-Hochberg FDR(q=0.05);Euclidean 的 bootstrap 为 B=1000。附录 C 将 BTB、CNID、SVO 作探索性处理。
  6. 总结一下论文的主要内容

    作者称模型可接近人群均值,但画像变异低于人类,人类分数条件可改善对话。

    MH-INDIC 是面向城市与半城市北印度母婴互动的多维文化对齐评测。 它关心的不是医学事实是否正确,而是回复是否沿家庭权威、性别期待和情绪披露来推理。

    做法是把 Hofstede 六维改写到互动层,再加入 MAFC、BTB、SVO、MHS。102 名孕产妇与十个 LLM 回答同一份 26 题英文问卷;模型在 30 个匹配画像上作答。同一规则既比较人群均值距离,也比较画像之间的标准差。作者称为对齐最强的 Claude Sonnet 4.6 与 Qwen3 30B,再在 zero-shot、模型自条件和人类分数条件三种提示下生成 20 轮对话。

    • 总体距离:T=0.3 时 Claude 的 Euclidean 为 0.253、MAE 为 0.061、cosine 为 0.968、Spearman ρ 为 0.527(Table 1)。Nanda 10B 的 Euclidean 为 0.817。
    • 敏感度:人类为 0.199,Claude 为 0.119(Figure 4)。作者称所有被评系统都低于人类队列。
    • 分维:MAFC、GN、IVR 把受约束一极说得过重,上界为 +0.41、+0.41、+0.50;MHS 反向,上界为 −0.32(第 6.2 节)。
    • 对话:Table 2 中 human-grounded 的专家 PAS,Claude 为 0.86,Qwen3 为 0.83;各自 zero-shot 为 0.54 与 0.62。冲突画像 P18 上,Claude 的专家 MAFC 为 2.0(期望 1.2),Qwen3 为 4.0。

    作者称模型可以靠近人类文化均值,同时保不住人口学和家庭画像上有意义的行为变异;更大的偏差落在家庭协商、情绪压抑和文化中介的照护决策。作者认为,边际对齐会把文化落地说得过满,应与画像条件敏感度一起报告;医疗或语言上的领域适配并不迁移到文化推理。作者还认为,用被压平的模型去代表特定文化画像,会使合成对话看起来覆盖了人群,实际抽到的是窄先验。人类分数条件可以提高下游画像对齐和对话质量。对使用这类工具的女性,作者称未处理的文化错位可能使互动或建议较少反映其家庭权威结构、情绪情境和求医现实。

阅读原文arxiv.org