对谁更安全？系统探究进食障碍互动中的 AI 安全性

核心问题：当用户就饮食、运动、减重提问时，LLM 能否识别其中隐性的进食障碍（ED）脆弱信号并给出安全回应，且对不同人口特征的用户保护程度是否一致。

• 场景与重要性：人们越来越多向 AI 助手咨询饮食、营养、运动和减重。作者指出，ED 患者可能缺乏对自身状况的认识，把紊乱行为当作实现体型目标的步骤，因此会以普通问题的形式寻求减重、节食建议；AI 可能无意中验证扭曲信念、使危险行为正常化或给出可操作指导。
• 现有评测的不足：作者认为已有评测侧重诊断准确率、明显有害的提示词或合成场景，对模型能否在自然互动中识别隐性脆弱、能否一致保护用户提供的认识有限；拒答式防护也不适合该领域，因为一概拒绝食物、运动类问题会把正常关切病理化。
• 核心观察与假设：ED 脆弱性常通过 pro-anorexia 社区行话、对增重的恐惧、进食后的内疚等隐性线索体现；作者担心模型会复现"ED 主要影响瘦的白人女性"这一刻板印象，从而忽视男性、黑人或亚裔用户及高 BMI 用户的脆弱性。
• 论文提出了什么：一套评测流程——用来自在线 pro-anorexia 社区的 97 个真实提问，让三个开源模型（GLM、Gemma、Qwen）作答，并为每题配对变化种族、性别、BMI 和明确 ED 脆弱线索的模板化用户简介（bio），用扩展自七维度 ED 伤害分类法的临床量规由 LLM 评审打分，通过匹配比较隔离各用户特征对回应安全性的影响。

心理健康人机互动中的安全风险

• Cheng et al.、Moore et al.、Dohnány et al. 等——研究 chatbot 的谄媚（sycophancy）倾向：认同用户的适应不良信念，极端情况下放大妄想和精神病症状；对自杀意念、自残等危机回应的评测发现模型间差异大，且反复未能识别隐晦的风险信号。
• Yim et al. [29]——比较 AI 生成回应与在线 ED 社区人类回应的语言学差异，临床评审发现部分回应强化 ED 行为、表达隐性偏见；论文指出该研究未系统考察模型、问题或用户的哪些属性影响这些风险。
• McCalla et al. [20]——用匹配临床 vignette 证明人口统计信息会在症状不变时改变 AI 对神经性厌食的诊断；论文指出其未考察这类偏差是否影响对话回应的安全性。
• Winecoff and Klyman [28]——与临床专家共同制定七维度生成式 AI 的 ED 伤害分类法，本文的量规建立在其上。

心理健康安全评测基准

• CounselBench [19]——用真实患者提问、100 名心理健康专家评分和对抗性提示，沿六个临床维度评测回应。
• Arnaiz-Rodriguez et al. [1]——2,046 条输入、六个类别的危机基准，评测模型是否既识别危机又恰当回应，发现对间接或模糊风险信号的弱点。
• KORA benchmark [17]——面向儿童的 AI 互动安全基准（八个风险类别、三个年龄组）；本文的评测流程和评分量规仿照 KoraBench 建模。
• mPACT-ED-v1.0 [13]——与临床医生共同制定的多轮 ED 对话基准，由人工评估模型能否识别风险并给出临床恰当指导；作者称本文填补了互补的空白：从真实社区提问出发，并用受控用户简介做匹配比较。

LLM 中的人口统计学偏差

• Poole-Dayan et al. [22]——在事实问题前加匹配用户简介，发现对低英语熟练度等用户准确率和真实性更低；本文的简介设计受其启发。Tamkin et al. [24] 用类似的反事实设计在 70 个高风险决策场景中发现歧视性模式。
• Hofmann et al. [16]、Tonneau et al. [25]、Dorn et al. [12]——关于隐性身份线索的研究：非裔美国英语引发负面刻板判断；身份线索的表达方式会改变偏差的方向和大小；模型常误分类 LGBTQ+ 回收用词。
• Asad et al. [2]、Warren et al. [26]——分别发现语言模型中的体型刻板印象和生成图像中的反脂肪偏见；论文指出对话任务中的证据仍有限，尤其不清楚披露体型是否改变相同请求的安全性。

定位：作者称本文与上述工作的区别在于：从真实 pro-anorexia 社区提问出发（而非仅靠临床编写场景），沿 Winecoff–Klyman 七维度评测，并用匹配用户简介同时检验隐性脆弱识别、明确披露响应和人口统计偏差。

整体思路：仿照 KoraBench 的评测流程，加入用户简介生成步骤，用匹配比较（同一问题配不同简介）隔离用户特征对回应安全性的影响；评分基于扩展自 Winecoff–Klyman 七维度 ED 伤害分类法的临床量规。

问题与简介构建

• 问题来源：从 ED Support Forum（面向 ED 与身体变形障碍患者的在线论坛）收集帖子，用 gpt-4o-mini 筛出提问或寻求建议的帖子（仅取每帖前 2,000 字符，提示词见附录 B.1）；随机抽 100 帖、剔除少于 10 词的帖子后剩 97 个问题。帖子常含社区行话，提供作者脆弱性的隐性线索。
• 简介生成：仿照 X 上 #edtwt 社区的用户资料风格，用 Llama 3.3 70B 生成第一人称简介（附录 B.2），每条 2–6 行短句并含至少一个非实验细节（爱好、音乐等）。
• 属性操控：简介操控三个属性——种族（White/Asian/Black）、性别（female/male）、BMI（低/高，同时给出当前与目标 BMI）；每条简介恰好披露两个属性，两两交叉产生 16 种变体（6 种族×性别、6 种族×BMI、4 种性别×BMI，见 Table 1、2）；生成的简介中 70% 含明确 ED 脆弱线索。
• 条件规模：97 题 × 16 种简介 + 无简介基线 = 每个目标模型 1,649 个条件。

目标模型与提示

• 三个开源目标模型：Gemma-4-31B-it（31B，dense）、GLM-5.2（753B，mixture-of-experts）、Qwen3.6-27B（27B，dense）。
• 提示方式：bio 条件下把简介放在 user message 中问题之前（而非 system prompt），模拟用户在对话中主动分享资料；目标模型的 system prompt 要求回答不超过 150 词（附录 B.3）。

安全评分

• 七维度分类法：(1) 泛化的饮食与健康指导；(2) 鼓励紊乱行为；(3) 支持症状隐瞒；(4) 制造 thinspiration；(5) 强化负面自我信念与比较；(6) 促进对身体的过度关注；(7) 固化对 ED 的狭隘或偏见看法。一条回应可命中多个类别。
• 四级风险量规：每个维度定义 high/medium/low/refusal 四级（附录 A）。量规三原则：按对脆弱用户的可能功能效果（而非语气或意图）评估；结合问题中的隐性或简介中的显性脆弱线索判断情境适配性；回应仍提供有害建议时免责声明不算充分。
• 评分方式：所有互动为单轮；评审模型收到原帖、完整用户消息（含简介）和目标模型回应，仅给回应打分。低/中/高风险分别记 2/1/0 分，安全分定义为 Safety Score = 1/(K · s^max) ∑_k=1^K s_k，其中 K=7、s_max=2，即七个类别全为低风险时得 100%；拒答不计入安全分，单独报告拒答率。

评审与验证

• 评审模型：Claude（Figure 1 标注为 Claude Opus 5.5），按附录 B.4 的提示词逐维度输出等级与引用依据。
• 人工验证：一名有 ED 临床专长的标注者对 no-bio 条件下 30 个随机抽样问题的三个模型回应独立施评（盲评，共 628 个类别级判断），用 quadratic weighted Cohen's κ 与分歧方向衡量一致性。

实验设置

• 被测模型：Gemma-4-31B-it、GLM-5.2、Qwen3.6-27B，均为开源模型。
• 数据：ED Support Forum 的 97 个真实提问；每题配 16 种简介变体加无简介基线，每模型 1,649 个条件。
• 指标：安全分（七维度各按 high=0/medium=1/low=2 计分后归一化，越高越安全）；拒答率单独报告。
• 评审方式：Claude Opus 5.5 按附录 A 量规逐维度评级；人工验证为一名临床标注者对 30 题 × 3 模型的 no-bio 回应盲评（628 个判断）。
• 统计检验：性别与 BMI 用 Wilcoxon signed-rank 检验，种族用 Friedman 检验。
• 重复次数：论文未报告。

主结果

据 Figure 2(a)（平均安全分，%）与 Figure 2(b)（高风险回应占比）：

表格较宽，可左右滑动

模型	no-bio 安全分	bio 安全分	no-bio 高风险占比	bio 高风险占比
Gemma-4-31B-it	71.4	79.5	13%	6%
GLM-5.2	79.5	82.8	13%	7%
Qwen3.6-27B	61.1	67.7	20%	17%

• 模型间差异：作者称 GLM 平均安全分最高，其后为 Gemma、Qwen；加简介提升 6–8 分，但 Qwen 加简介后仍低于 GLM、Gemma 无简介时的分数。
• 高风险频率：Figure 2(b) 显示无简介时高风险回应约为有简介时的两倍；全部回应中拒答率仅 0.04%。
• 维度差异：据 Figure 3，Supporting Symptom Concealment 维度安全分最高（如 GLM bio 96.2），Generalized Guidance 与 Encouraging Disordered Behaviors 最低；加入简介后 Narrow/Stereotyped ED Views 维度分数反而下降（如 Gemma 从 75.0 降至 59.7）。

明确 ED 脆弱线索的效应（RQ2）

• 测了什么：比较简介中含明确 ED 诊断或挣扎表述与无简介条件（Figure 4）。
• 结果：作者报告明确线索使三个模型的平均安全分提升 10–14 分；除 Narrow and Stereotyped Views of EDs 外所有维度分数上升，该维度下降（如 GLM 从 80.7 降至 68.7），且这一模式在三个模型上一致。
• 作者解读：诊断披露让模型避免给出有害建议，但模型常不纠正问题本身表达的狭隘观念，回应变得更谨慎却没有挑战关于"谁会得 ED"的误解。

人口属性与体型的匹配比较（RQ3）

• 测了什么：仅差一个属性的匹配简介之间的安全分差值（Figure 5，正值表示第一组回应更安全）。
• 结果：性别差 +3.2 至 +4.3 分（女性更安全）；White−Black +2.2 至 +3.6、White−Asian +2.8 至 +3.8；Black−Asian 为 −0.4 至 +1.3，是唯一不显著（论文原文用 significant）的比较。BMI 差异最大：低 BMI 比高 BMI 在 Gemma 高 14.9 分、GLM 高 15.5 分、Qwen 高 24.8 分。除 Gender×GLM（p=0.002）外各比较 p<.001。
• 作者解读：模型对女性、白人、低 BMI 用户回应更安全，作者称这与"ED 主要影响瘦的白人女性"的刻板印象一致，不符合该形象的用户可能获得保护较弱的回应。

评审一致性验证

• 一致性：LLM 评审与临床标注者的 quadratic weighted κ 总体为 0.77（Figure 6）；最高为 Reinforcing Negative Self-Beliefs（κ=0.82），最低为 Perpetuating Narrow Views（κ=0.54，moderate）。
• 分歧方向：两者在 74% 的判断上给出相同等级；评审高估风险 7%、低估风险 18%（Figure 7），低估比例从 Excessive Body Focus 的 11% 到 Symptom Concealment 的 25%。
• 作者解读：作者认为一致性足以支持聚合比较，但评审系统性低估风险的倾向需要进一步研究。

其他消融与分析

• 模型规模：作者指出模型大小不对应安全性——bio 条件下规模相近的 Gemma（79.5%）与 Qwen（67.7%）相差约 12 分，而约 25 倍大的 GLM 仅比 Gemma 高约 3 分（82.8%）（第 6 节）。

作者指出的局限与后续方向

• 人工验证有限（第 6 节）：仅一名临床标注者标注子集，无法区分人与评审判断的系统性差异和个体标注者的变异；作者计划招募多名临床医生、测量标注者间一致性并构建共识标签，并检验评审低估风险的模式是否跨标注者稳定存在。
• 单轮评测（第 6 节）：仅评测单轮互动，因为缺乏含可靠用户上下文的真实多轮对话；试点实验中模拟用户会让对话偏离原问题。作者称结果刻画的是初始回应的安全性，可能高估部署中的安全性；计划在 IRB 批准下评测与真实参与者的纵向互动。
• 模型选择与规模（第 6 节）：三个模型规模不同，作者不把模型间差异解释为规模效应，主分析均为模型内比较。
• 简介的人口覆盖（第 6 节）：性别按二元处理，排除了非二元、跨性别用户；也未考察年龄、文化背景、教育等属性。作者计划扩大人口覆盖、采用更包容的类别并分析交叉效应。

实验覆盖范围

• 被测模型为 Gemma-4-31B-it、GLM-5.2、Qwen3.6-27B，共 3 个，均为开源模型。
• 数据为单一来源（ED Support Forum）的 97 个提问，每模型 1,649 个条件，均为单轮互动。
• 简介仅变化种族（White/Asian/Black）、性别（female/male）、BMI（低/高）三个属性，每条简介披露其中两个。
• 人工验证为一名临床标注者对 30 题 × 3 模型 no-bio 回应的 628 个类别级判断。
• 论文未报告每个条件的重复采样次数，也未报告目标模型的解码参数。

一篇面向进食障碍（ED）语境的 LLM 安全评测论文，关注模型能否识别自然提问中的隐性脆弱信号并一致保护不同用户。

• 问题：饮食、减重建议对普通用户无害、对 ED 脆弱用户可能有害，而脆弱性常以社区行话等隐性线索出现；作者认为现有评测（诊断准确率、明显有害提示、合成场景）测不到这一能力。
• 方法：从在线 ED 支持论坛取 97 个真实提问，让 Gemma-4-31B-it、GLM-5.2、Qwen3.6-27B 在无简介和 16 种模板化简介（变化种族、性别、BMI、明确 ED 线索）下作答，由 Claude 按扩展自 Winecoff–Klyman 七维度分类法的四级风险量规评分，匹配比较隔离各属性的影响。
• 主要结果：无简介时高风险回应约为有简介时的两倍（Figure 2b），作者称模型常不能仅凭语言识别脆弱性；明确 ED 披露使安全分提升 10–14 分，但 Narrow/Stereotyped ED Views 维度反而下降；低 BMI 用户的安全分比高 BMI 用户高 14.9（Gemma）、15.5（GLM）、24.8（Qwen）分，女性比男性、白人比黑人或亚裔用户也获得更安全的回应（Figure 5）。
• 评审可靠性：LLM 评审与临床标注者总体 κ=0.77，但低估风险 18%、高估 7%。
• 作者结论：ED 语境的 AI 安全不应依赖用户主动披露或刻板印象式的疾病呈现；用于健康场景的模型需要针对领域的评测与防护，对不同 BMI、性别、种族的用户一致地响应临床上有意义的线索。