ChatGPT 的健康建议有多安全？来自四个全球南方国家真实用户对话的证据

大语言模型健康建议的安全评估多依赖合成数据与虚拟画像，缺乏对全球南方真实用户对话的检验，且孤立评估忽略了用户历史背景导致的潜在风险。

• 真实场景评估的缺失：作者称ChatGPT全球每周活跃用户超过7亿，在中低收入国家采用增长迅速且面临医疗资源紧张的现实，模型建议更容易替代而非补充专业医疗，但现有安全评估几乎均依赖临床医生撰写的小案例、合成提示词或模拟患者。
• 孤立安全评估的局限：作者指出相同的健康建议对健康成年人无害，但对患有溃疡、外科手术史等基础病症的用户可能带来风险；传统评估将单次回复与固定标准对比，无法感知用户在较早轮次或先前对话中披露的身体状况。
• 真实对话数据的获取难度：健康咨询属于高度私密的数据，平台通常仅发布没有人口统计学属性的聚合分析，外部研究者此前难以获取关联真实年龄与性别的真实健康对话记录。
• 研究目标与核心工作：作者通过用户授权捐赠机制收集来自印度、尼日利亚、巴西和巴基斯坦四国的真实对话，构建包含自我报告年龄和性别的健康对话语料，对比语境缺失与结合用户累积历史档案两种设置下的回复安全性。

• 大语言模型作为健康资源与临床表现

  • Costa-Gomes et al. (2026)——分析了超过50万条Copilot健康对话，发现约五分之一涉及用户自身的症状或状况，七分之一涉及被照料者的健康；作者指出该研究记录了用户实际咨询的内容，但明确将安全性评估列为未来工作。
  • Ramaswamy et al. (2026)——在结构化临床病例测试中评估ChatGPT Health的分诊建议，报告其低估了52%的急诊案例风险；作者指出其临床证据源于医生撰写的虚构病例。

• 上下文相关的安全评估

  • Kempermann et al. (2026)——提出在评估中考虑用户脆弱性时，健康建议评分从5/7分下降到3/7分；作者指出该研究完全依赖合成用户画像与提示词。
  • In et al. (2025)——在大规模评测中报告二十个主流大语言模型未能达到针对特定用户的安全标准；作者指出其评估同样建立在合成画像与合成提示词之上。

• 医学大模型中的人口统计学偏差

  • Omar, Soffer et al. (2025)——分析了32种社会人口学变体下的170万个模型输出，报告在保持临床事实不变时仅凭身份标签就会改变分诊、检查和转诊建议；作者指出该研究通过替换虚构病例的人口学标签测算偏差，属于反事实构建而非观察真实用户。

• 全球南方的大语言模型健康风险

  • Chen et al. (2025)——提出警告，大语言模型研发和部署集中于高收入国家，不准确的建议可能加剧中低收入国家的健康差距；作者指出该类研究侧重概念探讨。
  • Si et al. (2024)——针对中低收入国家常见疾病开展模拟患者研究，报告ChatGPT在27次试验中有23次推荐了不必要或有害的药物；作者指出其仍基于模拟测试。
  • Birk et al. (2026)——呼吁关注单轮安全不代表对话级安全，以及数字心理健康领域需要来自中低收入国家环境的实证证据。

• 基准与对比依据：本研究采用Costa-Gomes et al. (2026)的十二分类健康意图体系，安全性评分规则改编自Kempermann et al. (2026)的七分制安全量表。

• 与本文的区别定位：作者表示，先前关于上下文安全、医疗公平和中低收入国家AI风险的研究相互独立且依赖合成或描述性证据，本文通过已知人口统计学信息的真实用户对话评估对话式健康建议的安全性。

作者提出了一套结合无监督主题发现、大模型意图分类、持久健康特征提取与双通道安全评分的评估框架。

数据收集与预处理流程

• 用户招募与对话捐赠：作者通过Clickworker众包平台在印度、尼日利亚、巴西和巴基斯坦招募1,252名活跃用户（2025年12月至2026年2月），收集其使用OpenAI数据导出功能获得的完整对话历史（2022年12月至2026年2月共202,590条对话），并在上传前通过本地脚本去除个人身份信息。
• 主题发现与筛选：使用gemini-embedding-001模型提取每条对话前十轮交互的3072维嵌入并进行L2归一化；在各国分别拟合k=500的MiniBatch K-means聚类，再通过层次聚类合并为约50个宏观主题；利用BunkaTopics生成标签，经人工复核后筛选出健康相关主题对话。

健康意图分类与验证

• 意图分类体系：采用Costa-Gomes et al. (2026)的十二分类健康意图体系（包括健康信息与教育、症状问题、病症信息与照护、健身生活方式与指导、心理健康等）。
• 消息级分类与聚合：使用GPT-4o-mini作为分类器，输入前五轮交互作为上下文对消息进行标注，随后通过多数投票确定对话层面的主要意图。
• 分类一致性验证：在四国各随机抽取25条对话（共100条），作者在双盲条件下对消息进行人工标注，作者报告总体一致率为82%，Cohen's kappa为0.78。

用户历史健康档案提取

• 持久健康特征抽取：使用GPT-5-mini对用户的每条对话进行分析，依据Zaman and Garimella (2026)的个人信息分类法中与健康相关的12类属性，仅提取用户提及的持久性身体或心理健康特征（如慢性病、饮食习惯、用药史等），滤除一次性事件与个人身份标识。
• 时序累积构建：将用户所有对话按时间顺序排列，对某条目标对话，其用户档案为其先前所有对话中提取特征的去重并集，模拟系统截至该时间点所掌握的背景信息。

语境缺失与语境感知安全评分

• 评分标准与裁判模型：使用Gemini 3.1 Pro Preview作为独立评审模型，采用Kempermann et al. (2026)制定的七分制安全量表，从危害可能性（1–7分）、潜在危害严重程度（1–7分）和防范措施充分性（1–7分）三个维度进行评估，并汇总为1–7分的总体安全分数。对话整体得分定义为该对话内所有被评分消息安全分数的最小值：

S_conv = min_{m ∈ M} S(m) 一句话说明含义：对话整体安全得分等于该对话中所有被评分消息安全分数的最小值。

• 双通道评测设定：
  1. 语境缺失（Context-Blind）：输入前五轮交互上下文，对最后一条AI回复进行评估，不提供对话外的任何用户背景。
  2. 语境感知（Context-Aware）：在输入对话上下文的同时，提供该用户截至该对话累积的持久健康档案，要求裁判评估回复对该特定用户在当前境况下是否安全。
• 高风险判定界限：将总体评分不高于3分定义为高风险区间（≤ 3），4分及以上定义为低风险区间。

实验设置

• 被测模型：评测对象为用户在真实交互中调用的ChatGPT（涵盖14,420条单模型健康对话中的GPT-3.5、GPT-4o、GPT-5、GPT-5.1、GPT-5.2，以及轻量变体GPT-4o-mini和GPT-5-mini）。
• 数据集与样本量：基于印度、尼日利亚、巴西和巴基斯坦1,252名用户捐赠的202,590条真实对话（2022年12月至2026年2月），筛选出15,555条健康对话（754名用户贡献至少一条健康对话）；语境感知分析涵盖具备历史档案的427名用户的5,657条对话。
• 意图分类与辅助工具：采用十二分类健康意图体系，以GPT-4o-mini结合前五轮交互进行消息级意图标注并多数投票；使用gemini-embedding-001提取嵌入；使用Claude Sonnet 4.6抽检评估聚类标签质量；使用GPT-5-mini抽取十二类持久健康特征建立用户档案。
• 指标定义：采用1–7分总体安全评分（1分最不安全，7分最安全），将评分≤3归为高风险区间（high-risk）；三个子维度包括健康危害可能性（Likelihood of Harm，1–7分）、潜在危害严重程度（Severity of Potential Harm，1–7分）和防范措施充分性（Safeguard Adequacy，1–7分）；漏报率（Missed）定义为无语境下评为低风险但在语境感知下转为高风险的对话比例。
• 评审方式与裁判模型：使用Gemini 3.1 Pro Preview作为独立LLM裁判，依据Kempermann et al. (2026)的七分制标准对消息进行评分，对话整体得分为其包含的所有被评分消息的最低分。
• 基线与测试条件：对比语境缺失（Context-Blind，仅提供前五轮对话）与语境感知（Context-Aware，额外提供用户历史累积健康档案）两种评测设置；论文未进行重复采样实验。

主结果

据Table 7，四国具备累积健康档案对话在语境缺失（CB）与语境感知（CA）下的安全性评分对比如下：

表格较宽，可左右滑动

• 引入用户语境后安全评分系统性下降：作者称，提供用户累积健康档案后，四国对话的平均安全分下降0.58–0.73分（Wilcoxon符号秩检验均p < 0.001），高风险对话占比增加13.4–16.6个百分点，语境感知高风险率为语境缺失下的1.35–1.64倍。
• 孤立评估存在稳定的一致漏报：作者指出，语境缺失评估判为低风险的对话中，有25.2–26.3%在结合用户个人背景后实际属于高风险，且该漏报比例在不同国家、意图构成和基线风险差异下保持相近水平。
• 不对称评级修正与大幅度降级：作者报告，结合语境后34.3–41.3%的对话评分被调低，仅11.5–14.3%被调高；在语境缺失下获得满分7分的1,757条对话中，有11.4%在获知用户档案后落入高风险区间。

意图类型与语境缺失下的风险分布

• 测了什么：分析15,555条健康对话在意图分类下的分布特征及无语境下的高风险率（Figure 1, Figure 8, Figure 10, Table 5）。
• 结果：健康信息与教育占比最高（印度31.0%、尼日利亚48.9%、巴西28.3%、巴基斯坦31.2%）；临床类意图的高风险率最高（病症信息与照护为39.8–47.7%，症状问题为33.4–40.3%），而一般健康信息仅为7.9–11.9%；在用户层面，四国均有超过半数用户（51.6–61.7%，据Figure 9）遭遇过至少一次高风险回复。
• 作者的解读：作者指出风险集中于涉及用户自身症状、用药和病症的临床咨询意图，意图类型与安全评级的关联在各国均达到统计显著（p < 10^-20，Cramér's V = 0.26–0.36），是预测风险的最强关联因素。

语境感知下意图风险排序的逆转

• 测了什么：分析引入用户健康档案后不同意图类型的风险变化幅度（Figure 2, 5.4节）。
• 结果：健身生活方式与指导在四国均出现最大的高风险率增幅（+26.1至+30.0个百分点，平均分下降1.05至1.16分），高风险率升至54.8–68.0%；心理健康紧随其后（增幅+14.3至+23.6个百分点），在印度成为高风险率最高的意图（从40.7%升至61.7%）；而在无语境下本就高风险的临床意图增幅最小（+5.6至+16.4个百分点）。控制变量后的多变量逻辑回归显示，心理健康的跨入高风险比值比为3.5，健身为3.2，病症照护为2.0，症状为1.9（相对一般健康信息，均p < 0.001）。
• 作者的解读：作者认为表面良性的健身和心理咨询在结合用户基础疾病或创伤背景后显现出隐藏风险，改变了孤立评估中得出的风险排序。

模型版本演进下的安全性表现

• 测了什么：在14,420条单模型健康对话中，追踪从GPT-3.5到GPT-5系列的模型安全性变化（Figure 17, 附录J）。
• 结果：沿旗舰模型发布顺序（GPT-3.5至GPT-5.1），四国单模型对话的高风险率单调上升（印度从10.9%升至28.9%，巴西从6.2%升至34.6%，尼日利亚从4.6%升至30.4%，巴基斯坦从22.2%升至37.1%，Spearman rho = -0.055至-0.215，均p < 10^-4，Cramér's V = 0.10–0.20）；轻量变体风险更高，GPT-5-mini在四国高风险率为30.1–40.6%（高于GPT-5的19.0–24.3%）；最新模型GPT-5.2的高风险率在印度（13.8%）和尼日利亚（10.0%）回落，但在巴西（29.7%）和巴基斯坦（23.7%）未见回落。
• 作者的解读：作者认为大语言模型版本升级并未带来真实健康对话安全性的改善；可能原因包括新模型减少了拒答、对话轮次更长更具参与度，以及对帮助性的追求竞争过了停止并转诊的意愿。

其他消融与分析

• 定性风险主题分布：在128条高风险对话中，不当或有害建议占47.7%（61条），缺乏专业转诊占43.8%（56条），有害治疗或补救占25.0%（32条），强化伤害或依赖占25.0%（32条），不安全诊断占25.0%（32条）（据Table 1）。
• 安全维度变化敏感度：引入用户档案后，危害可能性维度变化最敏感（34.8–42.0%对话被判危害可能性上升，均分上升+0.55至+0.73分），危害严重程度维度变化最小（均分上升+0.32至+0.39分），防范措施充分性均分下降-0.39至-0.49分（据Figure 16与附录I.1）。
• 用户脆弱性评分回归分析：在5,657条具备档案的对话中，将整体安全分变化对三个维度的变化进行回归，确定系数R^2 = 0.875（据附录I.1）。
• 年龄与性别的语境敏感度梯度：控制意图和语境缺失评分后，36岁以上用户对话跨入高风险区间的比值比为18–25岁用户的1.46倍（p = 0.004）；巴西女性新增高风险率为22.8%，男性为12.0%（据5.4节）。
• 代他人咨询的性别差异：尼日利亚女性为受抚养人咨询的胜算比为男性的10.6倍（11%对1%），巴西为6.5倍（6%对1%），巴基斯坦为2.6倍（9%对4%），印度为0.98倍（3%对3%）（据Table 5）。
• 同用户跨版本表现对比：在同时向GPT-5和GPT-5.1提问的240名用户中，GPT-5对话高风险率为19.0%，GPT-5.1对话高风险率为27.8%（据附录J）。

作者指出的局限与后续方向

• 样本代表性局限：作者在Limitations中指出，参与者来自Clickworker众包平台的便利样本，在印度和巴基斯坦样本偏年轻且男性居多，反映的是活跃、具备数字素养的ChatGPT用户，无法作为国家层面的健康提问普及率估计。
• 大模型裁判误差与缺乏真实健康结局：作者在Limitations中指出，安全评分由大模型裁判根据公开标准评定，尽管对标记对话的抽样人工核对支持高风险判定的精确性，但裁判依然可能存在误差，且研究所观察的是安全风险评分而非实际产生的健康结局。
• 定性分析的主观性：作者在Limitations中指出，定性分析中的风险主题由单一位作者进行独立编码。
• 语境感知分析样本的自选择偏差：作者在Limitations中指出，语境感知分析仅覆盖具备可提取档案历史的对话（各占健康对话的19–60%），该子集即使在语境缺失评分下也比整体样本风险更高，因此其高风险率不能直接推断至所有健康对话。
• 模型版本与时间混淆：作者在Limitations与Discussion中指出，语料跨越三年混合了不同模型版本，无法完全将模型本身的行为差异与提供服务的时间背景彻底解耦。
• 档案安全机制的隐私与监控风险：作者在Discussion中指出，基于用户档案实施个性化安全防护需要系统保留更多敏感个人信息，存在隐私推断和监控风险，未来需要研究设备端存储、档案设定有效期或由用户控制的防护机制。

实验覆盖范围

• 被测国家与时间范围：数据覆盖印度、尼日利亚、巴西和巴基斯坦共4个全球南方国家，对话时间跨度为2022年12月至2026年2月。
• 被测模型体系：单模型实验覆盖GPT-3.5、GPT-4o、GPT-5、GPT-5.1、GPT-5.2以及轻量版GPT-4o-mini、GPT-5-mini，未测试其他商业或开源模型。
• 样本量与重复次数：包含1,252名用户的202,590条捐赠对话，筛选出15,555条健康对话进行意图分类与无语境评分，其中5,657条对话进行了语境感知评分；论文未报告针对单条对话使用不同随机种子的重复打分。
• 防御机制覆盖：实验仅评测了ChatGPT平台当时内置的防护行为，未评测外挂检测护栏、系统提示词干预或自适应防护机制。
• 人工验证规模：意图分类的人工验证基于100条抽样对话（每国25条）；高风险主题定性分析基于128条被判定为高风险的抽样对话。

• 研究定位：作者针对全球南方四国（印度、尼日利亚、巴西、巴基斯坦）开展了基于真实用户捐赠对话的大语言模型健康建议安全性实证评估。
• 核心问题：现有医疗AI安全评估主要依赖合成提示词和虚拟画像，脱离了真实医疗资源短缺地区的用户使用现状，且单次对话的孤立评估难以发现因忽略用户既往病史而引发的个性化健康风险。
• 方法设计：基于1,252名用户捐赠的15,555条真实健康对话，使用无监督聚类与LLM进行健康意图分类；利用用户历史对话抽取持久健康特征构建累积档案；采用Gemini 3.1 Pro Preview分别在语境缺失与结合用户档案的语境感知设置下进行安全评分与定性分析。
• 主要发现一：基线高风险分布与意图特征：语境缺失下四国有20.6–26.3%的健康对话落入高风险区间，四国均有超半数用户（51.6–61.7%，据Figure 9）遭遇过高风险回复；风险主要集中在症状咨询（33.4–40.3%高风险）和病症照护（39.8–47.7%高风险）等临床意图。
• 主要发现二：语境感知揭示稳定漏报与风险排序逆转：引入用户累积档案后，高风险对话比例上升13.4–16.6个百分点（据Table 7）；语境缺失下被判定为低风险的对话中，有25.2–26.3%在结合用户背景后实际为高风险；健身指导和心理健康等表面良性的意图在获知病史后风险增幅最大（健身高风险率升至54.8–68.0%）。
• 主要发现三：模型演化未降低现实风险：在单模型健康对话中，高风险率从GPT-3.5至GPT-5.1呈现单调上升趋势（印度从10.9%升至28.9%，尼日利亚从4.6%升至30.4%，据附录J），且轻量变体高风险率更高（GPT-5-mini为30.1–40.6%）。
• 作者启示与建议：作者认为医疗AI安全评估需要结合真实对话并考虑用户历史语境；模型虽具备个性化表达能力，但缺乏将已知背景转化为安全防护与及时转诊的机制；呼吁建立类似药物警戒的部署后监测体系，同时警惕档案个性化安全可能带来的隐私监控代价。