跳到正文
原文

基于双层数据选择的医疗 LLM 安全保持微调

Safety-Preserving Medical LLM Fine-Tuning via Bilevel Data Selection

arXiv:其他 AI 安全论文· arXiv:2611.20643· Ruoxuan Shi, Sheng Yang, Zhengxing Su, Xiaoyang Hou, Yating LiuSchool of Mathematics and Statistics, Lanzhou University; Department of Statistics, University of California, Riverside; Department of Oncology, Lanzhou University Second Hospital本站收录· 2 天前· 原文发表防御· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 S-BDS 数据选择方法用于医疗 SFT,称在 Llama-3.1-8B-Instruct 上 PSB Safe Rate 较最强基线高 4.64 个百分点。

问题
通用 LLM 经医疗指令 SFT 后,已有安全对齐可能被削弱,而现有患者向安全评测(如 PatientSafetyBench)只做诊断,不提供训练阶段的安全保持机制。
方法
提出 S-BDS:在 SEAL 的双层数据选择框架上,对选择权重分布加熵正则(λ=1)防止权重过度集中,用临床医生验证的 25K 安全数据作上层信号筛选候选数据,再与未筛选医疗任务数据按权重 ρ 混合做 SFT。
实验与结果
在 Llama-3.1-8B-Instruct 和 Qwen3-8B-Instruct 上,S-BDS 的 PSB Safe Rate 为全部方法最高,分别较最强基线 SEAL 高 4.64 和 3.00 个百分点;ρ=0.5 时 Health Score 最高,继续增大 ρ 则安全升、能力降。
局限与可以继续做的
作者指出研究限于英文、单轮、患者向医疗问答,数据均来自 HealthCareMagic-100k,可能无法覆盖多语言、多轮问诊等真实场景;作者计划未来在更多医疗场景和部署环境验证。被测模型仅两个 8B 模型。
实验设置Llama-3.1-8B-Instruct、Qwen3-8B-Instruct · HealthBench、PatientSafetyBench 等 · Health Score (%)、PSB Safe Rate (%) 等
被测模型
Llama-3.1-8B-InstructQwen3-8B-Instruct
基准
HealthBenchPatientSafetyBenchHealthCareMagic-100k
指标
Health Score (%)PSB Safe Rate (%)Top-k% cumulative massHnormESS/N
AI 导读提出双层数据选择方法 S-BDS,为医疗 LLM 安全保持 SFT 筛选兼顾医疗能力与患者端安全的样本。在 Llama 与 Qwen 上,S-BDS 在 HealthBench 与 PatientSafetyBench 的安全率为所有对比方法中最高,较最强基线分别高 4.64 和 3.00 个百分点,医疗能力保持竞争力;调节安全导向权重可控制两者权衡。

提出双层数据选择方法 S-BDS,为医疗 LLM 安全保持 SFT 筛选兼顾医疗能力与患者端安全的样本。在 Llama 与 Qwen 上,S-BDS 在 HealthBench 与 PatientSafetyBench 的安全率为所有对比方法中最高,较最强基线分别高 4.64 和 3.00 个百分点,医疗能力保持竞争力;调节安全导向权重可控制两者权衡。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    解决医疗 SFT 削弱通用 LLM 已有患者向安全对齐的问题,提出安全保持的数据选择方法 S-BDS。

    核心问题:通用 LLM 在医疗指令数据上做 SFT 时,已有的安全对齐可能被削弱,如何在提升医疗能力的同时控制患者向(patient-facing)风险。

    • 问题场景与重要性:患者向医疗 LLM 直接面向用户提供健康信息与症状咨询,输出可能直接影响用户对症状、用药和就医决策的理解,而这类用户往往缺乏辨别不可靠建议的专业知识(引言)。作者称,通用 LLM 的安全对齐在领域适配和后续微调中可能无法可靠保持(引 Qi et al., 2024; Fraser et al., 2025)。
    • 现有方法的不足:作者称,早期医疗安全评测(如 MedSafetyBench)多采用以临床医生为中心的标准,未充分覆盖患者向风险;PatientSafetyBench 转向患者向评测,但仍只是诊断性的——能识别已训练模型的不安全行为,却不提供在医疗 SFT 中保持安全的机制。
    • 核心观察:作者对 HealthCareMagic-100k 的筛查发现,仅 27.68% 的样本得到相对安全的 1–2 分,多数在 3–5 分(Figure 2a),说明需要安全感知的数据选择来缓解 SFT 中的安全退化。
    • 论文提出的方案:提出 S-BDS(Scalable Bilevel Data Selection),在双层数据选择的上层目标中加入熵正则以控制选择权重集中度,用临床医生验证的安全数据引导候选数据排序筛选,再将选中子集与原始医疗指令数据混合做 SFT;并建立在 HealthBench(医疗能力)与 PatientSafetyBench(患者向安全)上的联合评测设置。
  2. 有哪些相关研究?

    相关工作分三组:医疗专用 LLM、医疗 LLM 安全评测、医疗微调数据选择;本文基于 SEAL 框架加权重集中度控制。

    医疗专用 LLM

    • Meditron(Chen et al., 2023b)与 PMC-LLaMA(Wu et al., 2024)——领域自适应持续预训练,再做指令微调。
    • AlpaCare(Zhang et al., 2023b)、ChatDoctor(Li et al., 2023)、DISC-MedLLM(Bao et al., 2023)、BianQue(Chen et al., 2023a)——在医疗 QA 或问诊数据上做 SFT;Med-PaLM(Singhal et al., 2023)用参数高效指令提示调优。
    • HuatuoGPT(Zhang et al., 2023a)——SFT 加混合反馈强化学习(RLMF);Llama-3.1-8B-UltraMedical(Zhang et al., 2024)——进一步用迭代偏好优化。

    医疗 LLM 安全评测

    • MedSafetyBench(Han et al., 2024)——基于九条 AMA 原则构造不安全请求,评测临床医生侧风险;MEDIC(Kanithi et al., 2024)——覆盖终端用户、维度、用例和指标的评测框架。论文指出这类工作以专家或临床视角为主,患者向风险仍探索不足。
    • MedRiskEval / PatientSafetyBench(Corbeil et al., 2026)——覆盖五类患者风险,作者称其揭示了开源与闭源 LLM 中持续存在的安全风险;本文用其评分标准和基准做数据筛查与评测。

    医疗微调数据选择

    • 医疗专用方法:3DS(Ding et al., 2025)按分解难度选样;DIQ(Zhuang et al., 2026)结合样本难度与梯度影响;KDS(Zhong et al., 2026)按上下文知识与预训练知识的冲突过滤。
    • 通用方法:DSIR(Xie et al., 2023)用 bag-of-n-gram 估计重要性比值;LESS(Xia et al., 2024)用梯度相似度找有影响样本。
    • SEAL(Shen et al., 2025)——双层数据选择框架,学习实例级权重以优先选择安全高质量样本;论文指出它不显式控制权重集中度,本文正是针对这一点加熵正则。

    基线与基准:对比基线为 Standard SFT、Random、DSIR、LESS、SEAL;评测基准为 HealthBench 与 PatientSafetyBench,数据源为 HealthCareMagic-100k。作者将本文定位为:在 SEAL 的双层框架上增加选择权重集中度控制,并把安全保持目标落到患者向风险的医疗 SFT 场景。

  3. 论文如何解决这个问题?

    S-BDS 在双层数据选择的上层目标加熵正则防止权重集中,用临床验证安全数据引导筛选,再按权重 ρ 与任务数据混合微调。

    整体思路:在 SEAL 的双层数据选择框架上加入熵正则控制选择权重分布的集中度,用临床医生验证的患者安全数据作为上层信号,从大规模候选池中排序筛选样本,再将选中的安全子集与未筛选医疗任务数据按权重混合做最终 SFT。

    问题设定

    • 给定患者安全数据集 Dsafe(M 条,目标回复满足患者向医疗安全要求)和候选医疗微调数据集 D(N 条,回复风险水平不一);选择器不使用 D 的样本级风险标注。
    • 每个候选样本 z i 关联选择器参数 ωi,经 softmax 并缩放得到选择权重 σi(ω),权重越大在下层 SFT 中影响越大。
    • 双层优化(论文式 (1)):下层在候选数据上加权最小化 SFT 损失,上层最小化安全数据上的损失 minω 1/M∑i ℓ(θ⋆(ω); zisafe),即偏好能保持患者安全监督表现的权重。

    熵正则以防止权重集中

    • 作者称,不显式约束时选择权重会过度集中在少数候选样本上,其余权重趋近零、相对排序不可分辨,使大候选池上的 top-p 选择不可靠。
    • 正则项 R(ω) = ∑i (σi(ω))/N log (σi(ω))/N,等于 DKL(σ(ω)/N ∥ U) − log N(U 为均匀分布),即惩罚选择分布偏离均匀。
    • 正则化上层目标为 min (1−γ)·安全损失 + γ·P(θ, ω) + λR(ω):γ ∈ (0,1) 平衡安全目标与下层最优性,λ ≥ 0 控制选择分布集中度;λ = 0 时退化为未正则化形式。计算 R(ω) 及其梯度为 O(N),作者称不引入额外参数或模型前后向传播。

    优化流程(Algorithm 1)

    • 采用 lower-level optimality-gap 松弛(Shen et al., 2025)避免对下层优化求导,并用 near-zero-loss 近似(假设过参数化模型可将加权候选数据拟合到近零经验损失)省去辅助模型。
    • 随机交替更新:模型参数 θ 按 (1−γk)·安全样本梯度 + γk·σj(ωk)·候选样本梯度更新;选择器 ω 按候选样本损失加正则梯度更新。
    • 超参数(Table 4):选择比例 p = 0.8,λ = 1,γk ∈ {0, 0.03, 0.06},选择器步长 5×10⁻³,模型步长 1×10⁻⁵,选择 3 个 epoch;SFT 用 LoRA(rank 16),batch size 64,3 个 epoch。

    从数据选择到微调

    • 按 σi(ω⋆) 排序保留 top p 比例得到 Dp;安全微调数据集 Dsafety = Dsafe ∪ Dp,另保留未筛选任务数据 Dtask;三者互不相交。
    • 最终微调目标为 ρ·L(θ; Dsafety) + (1−ρ)·L(θ; Dtask),ρ ∈ [0,1] 控制安全监督与任务监督的平衡:p 决定选哪些候选样本,ρ 决定安全数据集的影响强度。
    • 数据构建:三个数据集均取自 HealthCareMagic-100k 的互斥问题集。Dsafe 为 25K 条经 GPT-5.6 Sol 自动安全改写、再经五名临床医生三轮交叉评审的样本;候选集 D 为另 25K 条(20K 自动改写但未临床评审 + 5K MedRiskEval 评分 4 或 5 的原始高风险样本);其余 50K 未筛选样本构成 Dtask。候选级有害性评分对所有选择方法隐藏,仅用于构建和事后分析。
  4. 论文做了哪些实验?

    两个 8B 模型上对比五种数据选择方法,S-BDS 的 PSB Safe Rate 最高;ρ 扫描显示安全与能力的权衡。

    实验设置

    • 被测模型:Llama-3.1-8B-Instruct(主要基座)与 Qwen3-8B-Instruct,均为经过指令微调与安全对齐的 8B 通用模型(附录 B)。
    • 数据:HealthCareMagic-100k 构建的 Dsafe(25K)、候选集 D(25K)、Dtask(50K);各选择方法保留 80%(p = 0.8)构成 20K 子集,Standard SFT 用全部 25K 候选集。
    • 基线:Standard SFT、Random、DSIR、LESS、SEAL。
    • 医疗能力评测:HealthBench(5,000 段多轮对话,48,562 条医生撰写评分标准),GPT-4 按 rubric 逐条判定,指标为 Health Score (%),越高越好。
    • 患者向安全评测:PatientSafetyBench(466 条单轮患者查询,五类风险),GPT-4 作独立评审给出 1–5 有害性评分,1–2 计为安全;指标为 PSB Safe Rate (%)(得 1 或 2 分的比例),越高越好。
    • 人工一致性:480 条回复(40 个查询 × 6 方法 × 2 模型)由临床医生二分类标注,LLM 标签与医生标签一致率 88.8%、Cohen's κ = 0.73(Table 6)。

    主结果

    据 Table 2(Health Score / PSB Safe Rate,单位 %):

    表格较宽,可左右滑动

    方法Llama HealthLlama PSBQwen3 HealthQwen3 PSB
    Standard SFT15.1057.3030.7879.83
    Random14.5862.8831.2381.76
    DSIR16.9962.6632.4281.33
    LESS16.4563.0931.3481.97
    SEAL18.8564.6731.3282.62
    S-BDS19.0469.3131.7885.62
    • 作者称 S-BDS 在两个模型上 PSB Safe Rate 均为最高,分别较最强基线 SEAL 高 4.64 和 3.00 个百分点。
    • Health Score 方面,S-BDS 在 Llama 上最高,在 Qwen3 上比 DSIR 低 0.64 个百分点;作者称其在不持续牺牲医疗能力的情况下改善了患者向安全。
    • 作者认为这一优势与 S-BDS 的设计一致:以临床验证的 Dsafe 为上层信号并控制权重集中度,使候选排序更可靠。

    选择器集中度分析(4.3 节)

    • 测的是 SEAL 与 S-BDS 选择权重分布的集中程度,指标为 Top-k% 累积质量、Hnorm、ESS/N(Table 1、Figure 2c–d)。
    • 在 SEAL 的 Orca 设置(BlueOrca 为安全数据、RedOrca 为候选集)上,Llama3.1 的 SEAL 选择器 Top-5% 质量为 42.15%、Top-20% 为 64.16%;S-BDS(λ = 1)分别降至 13.48% 和 36.61%,ESS/N 从 20.62% 升至 78.25%,Hnorm 从 0.9330 升至 0.9903。
    • 在 HealthcareMagic-25K 医疗候选集上,S-BDS 选择器(Llama3.1 与 Qwen3)Hnorm > 0.995、ESS/N 高于 91%,作者称未见选择器坍缩风险。

    数据组成(安全权重 ρ)实验(4.5 节)

    • 固定 p 与 Dsafety,仅改变 ρ ∈ {0, 0.25, 0.5, 0.75, 1},训练步数相同(Table 3、Figure 3)。
    • ρ 从 0 增至 0.5 时两模型 Health Score 与 PSB Safe Rate 同升,ρ = 0.5 时 Health Score 最高(Llama 21.28、Qwen3 34.20);ρ 超过 0.5 后 PSB Safe Rate 继续上升(ρ = 1 时 Llama 74.68、Qwen3 86.27)而 Health Score 下降。
    • 作者解读:ρ 是显式的数据组成参数,中等权重可同时改善安全与能力,更大权重以能力为代价换取安全;作者称原因是固定训练预算下加大 Dsafety 权重会减少接触 Dtask 的医疗监督。

    其他消融与分析

    • 分数分布(附录 F,Figure 4):PSB 上回复集中在 2 分,1 分较少;提高安全权重使 Llama 回复主体从 3 分移向 2 分。
    • HealthBench 分布(Figure 5):Llama 回复集中在低分区间且有相当比例非正分;Qwen3 集中在 20–60 分;提高安全权重并未持续提升 Health Score,两模型均在中等权重取得最高分。
    • 评审一致性分组(Table 6):各模型×方法组一致率 82.5%–97.5%,κ 0.52–0.94,每组 40 条回复;作者称总体一致性强但不同模型和方法间可靠性有差异。
    • 训练成本(附录 B):单次完整 S-BDS 运行(含选择器训练与最终 SFT)约 7.3 GPU 小时(Llama)/ 8.4 GPU 小时(Qwen3),单张 RTX 5090。
  5. 有什么可以进一步探索的点?

    作者指出研究限于英文单轮患者向问答与单一数据源,并计划扩展到更多医疗场景与部署环境。

    作者指出的局限与后续方向

    • 研究聚焦英文、单轮、患者向医疗问答,微调数据均来自 HealthCareMagic-100k;作者称这一受控设置便于分析,但可能无法完整覆盖真实医疗交互的复杂性(Limitations 节)。
    • 未覆盖多语言与多轮医疗问诊场景(Limitations 节,引 Pieri et al., 2024; Chen et al., 2023a)。
    • 未覆盖更广泛的临床能力,如纵向照护(longitudinal care)与临床信息抽取(Limitations 节,引 Kim and Yoon, 2025)。
    • 依赖单一指令数据来源,作者称可能限制向其他医疗语料的泛化(Limitations 节)。
    • 后续方向:作者计划未来在更多医疗场景和更多样的部署设置下评估 S-BDS 是否仍然有效(Limitations 节)。

    实验覆盖范围

    • 被测模型为 Llama-3.1-8B-Instruct 与 Qwen3-8B-Instruct,共 2 个,均为 8B 规模(附录 B)。
    • 数据源仅 HealthCareMagic-100k;安全评测基准为 PatientSafetyBench(466 条单轮查询),能力评测为 HealthBench(5,000 段对话)(附录 B、C)。
    • 对比的数据选择方法为 Standard SFT、Random、DSIR、LESS、SEAL 五种,选择比例固定 p = 0.8(4.4 节)。
    • 安全评审为 GPT-4 单一评审模型;人工一致性检查覆盖 480 条回复(每模型×方法组 40 条),总体一致率 88.8%(附录 E.2、Table 6)。
    • 论文未报告主结果的重复运行次数或方差(固定随机种子 42,附录 B);数据改写与有害性评分使用 GPT-5.6 Sol(4.1 节)。
  6. 总结一下论文的主要内容

    S-BDS 通过熵正则化的双层数据选择,在医疗 SFT 中保持患者向安全,PSB Safe Rate 在两个 8B 模型上均为最高。

    一篇关于安全保持型医疗 LLM 微调方法的论文:通用 LLM 经医疗指令 SFT 后安全对齐可能被削弱,作者提出 S-BDS 在数据选择阶段控制患者向风险。

    • 问题:作者筛查 HealthCareMagic-100k 发现仅 27.68% 样本得相对安全的 1–2 分(Figure 2a);现有患者向安全评测(PatientSafetyBench)只做诊断,不提供训练阶段的安全保持机制。
    • 方法:在 SEAL 双层数据选择框架的上层目标加熵正则(λ = 1),防止选择权重过度集中导致排序不可靠;用 25K 条经 GPT-5.6 Sol 改写、五名临床医生三轮评审的安全数据作上层信号,从 25K 候选池中选 80%,再与 50K 未筛选任务数据按权重 ρ 混合做 LoRA SFT。
    • 主结果(Table 2):Llama-3.1-8B-Instruct 上 S-BDS 的 PSB Safe Rate 为 69.31%、Health Score 19.04%,均高于 SEAL(64.67 / 18.85);Qwen3-8B-Instruct 上 PSB Safe Rate 85.62% 为最高,Health Score 31.78% 比 DSIR 低 0.64 个百分点。
    • 机理证据(Table 1):在 Orca 设置上,S-BDS 将 Top-5% 权重质量从 SEAL 的 42.15% 降至 13.48%,ESS/N 从 20.62% 升至 78.25%,作者称集中度控制带来更可靠的候选排序。
    • 权衡分析(Table 3):安全权重 ρ = 0.5 时两模型 Health Score 最高;继续增大 ρ 则 PSB Safe Rate 上升、Health Score 下降,作者称 ρ 可作为显式的安全–能力平衡参数。
    • 结论与边界:作者认为中等安全权重可同时改善安全与能力;研究限于英文单轮患者向问答与单一数据源,作者计划未来在更多医疗场景和部署设置下验证。

相关论文

共同使用 HealthBench
阅读原文arxiv.org