基于双层数据选择的医疗 LLM 安全保持微调
Safety-Preserving Medical LLM Fine-Tuning via Bilevel Data Selection
作者提出 S-BDS 数据选择方法用于医疗 SFT,称在 Llama-3.1-8B-Instruct 上 PSB Safe Rate 较最强基线高 4.64 个百分点。
- 通用 LLM 经医疗指令 SFT 后,已有安全对齐可能被削弱,而现有患者向安全评测(如 PatientSafetyBench)只做诊断,不提供训练阶段的安全保持机制。
- 提出 S-BDS:在 SEAL 的双层数据选择框架上,对选择权重分布加熵正则(λ=1)防止权重过度集中,用临床医生验证的 25K 安全数据作上层信号筛选候选数据,再与未筛选医疗任务数据按权重 ρ 混合做 SFT。
- 在 Llama-3.1-8B-Instruct 和 Qwen3-8B-Instruct 上,S-BDS 的 PSB Safe Rate 为全部方法最高,分别较最强基线 SEAL 高 4.64 和 3.00 个百分点;ρ=0.5 时 Health Score 最高,继续增大 ρ 则安全升、能力降。
- 作者指出研究限于英文、单轮、患者向医疗问答,数据均来自 HealthCareMagic-100k,可能无法覆盖多语言、多轮问诊等真实场景;作者计划未来在更多医疗场景和部署环境验证。被测模型仅两个 8B 模型。
- 被测模型
- Llama-3.1-8B-InstructQwen3-8B-Instruct
- 基准
- HealthBenchPatientSafetyBenchHealthCareMagic-100k
- 指标
- Health Score (%)PSB Safe Rate (%)Top-k% cumulative massHnormESS/N
提出双层数据选择方法 S-BDS,为医疗 LLM 安全保持 SFT 筛选兼顾医疗能力与患者端安全的样本。在 Llama 与 Qwen 上,S-BDS 在 HealthBench 与 PatientSafetyBench 的安全率为所有对比方法中最高,较最强基线分别高 4.64 和 3.00 个百分点,医疗能力保持竞争力;调节安全导向权重可控制两者权衡。
深度解读
这篇论文试图解决什么问题?
解决医疗 SFT 削弱通用 LLM 已有患者向安全对齐的问题,提出安全保持的数据选择方法 S-BDS。
核心问题:通用 LLM 在医疗指令数据上做 SFT 时,已有的安全对齐可能被削弱,如何在提升医疗能力的同时控制患者向(patient-facing)风险。
- 问题场景与重要性:患者向医疗 LLM 直接面向用户提供健康信息与症状咨询,输出可能直接影响用户对症状、用药和就医决策的理解,而这类用户往往缺乏辨别不可靠建议的专业知识(引言)。作者称,通用 LLM 的安全对齐在领域适配和后续微调中可能无法可靠保持(引 Qi et al., 2024; Fraser et al., 2025)。
- 现有方法的不足:作者称,早期医疗安全评测(如 MedSafetyBench)多采用以临床医生为中心的标准,未充分覆盖患者向风险;PatientSafetyBench 转向患者向评测,但仍只是诊断性的——能识别已训练模型的不安全行为,却不提供在医疗 SFT 中保持安全的机制。
- 核心观察:作者对 HealthCareMagic-100k 的筛查发现,仅 27.68% 的样本得到相对安全的 1–2 分,多数在 3–5 分(Figure 2a),说明需要安全感知的数据选择来缓解 SFT 中的安全退化。
- 论文提出的方案:提出 S-BDS(Scalable Bilevel Data Selection),在双层数据选择的上层目标中加入熵正则以控制选择权重集中度,用临床医生验证的安全数据引导候选数据排序筛选,再将选中子集与原始医疗指令数据混合做 SFT;并建立在 HealthBench(医疗能力)与 PatientSafetyBench(患者向安全)上的联合评测设置。
有哪些相关研究?
相关工作分三组:医疗专用 LLM、医疗 LLM 安全评测、医疗微调数据选择;本文基于 SEAL 框架加权重集中度控制。
医疗专用 LLM
- Meditron(Chen et al., 2023b)与 PMC-LLaMA(Wu et al., 2024)——领域自适应持续预训练,再做指令微调。
- AlpaCare(Zhang et al., 2023b)、ChatDoctor(Li et al., 2023)、DISC-MedLLM(Bao et al., 2023)、BianQue(Chen et al., 2023a)——在医疗 QA 或问诊数据上做 SFT;Med-PaLM(Singhal et al., 2023)用参数高效指令提示调优。
- HuatuoGPT(Zhang et al., 2023a)——SFT 加混合反馈强化学习(RLMF);Llama-3.1-8B-UltraMedical(Zhang et al., 2024)——进一步用迭代偏好优化。
医疗 LLM 安全评测
- MedSafetyBench(Han et al., 2024)——基于九条 AMA 原则构造不安全请求,评测临床医生侧风险;MEDIC(Kanithi et al., 2024)——覆盖终端用户、维度、用例和指标的评测框架。论文指出这类工作以专家或临床视角为主,患者向风险仍探索不足。
- MedRiskEval / PatientSafetyBench(Corbeil et al., 2026)——覆盖五类患者风险,作者称其揭示了开源与闭源 LLM 中持续存在的安全风险;本文用其评分标准和基准做数据筛查与评测。
医疗微调数据选择
- 医疗专用方法:3DS(Ding et al., 2025)按分解难度选样;DIQ(Zhuang et al., 2026)结合样本难度与梯度影响;KDS(Zhong et al., 2026)按上下文知识与预训练知识的冲突过滤。
- 通用方法:DSIR(Xie et al., 2023)用 bag-of-n-gram 估计重要性比值;LESS(Xia et al., 2024)用梯度相似度找有影响样本。
- SEAL(Shen et al., 2025)——双层数据选择框架,学习实例级权重以优先选择安全高质量样本;论文指出它不显式控制权重集中度,本文正是针对这一点加熵正则。
基线与基准:对比基线为 Standard SFT、Random、DSIR、LESS、SEAL;评测基准为 HealthBench 与 PatientSafetyBench,数据源为 HealthCareMagic-100k。作者将本文定位为:在 SEAL 的双层框架上增加选择权重集中度控制,并把安全保持目标落到患者向风险的医疗 SFT 场景。
论文如何解决这个问题?
S-BDS 在双层数据选择的上层目标加熵正则防止权重集中,用临床验证安全数据引导筛选,再按权重 ρ 与任务数据混合微调。
整体思路:在 SEAL 的双层数据选择框架上加入熵正则控制选择权重分布的集中度,用临床医生验证的患者安全数据作为上层信号,从大规模候选池中排序筛选样本,再将选中的安全子集与未筛选医疗任务数据按权重混合做最终 SFT。
问题设定
- 给定患者安全数据集 Dsafe(M 条,目标回复满足患者向医疗安全要求)和候选医疗微调数据集 D(N 条,回复风险水平不一);选择器不使用 D 的样本级风险标注。
- 每个候选样本 z i 关联选择器参数 ωi,经 softmax 并缩放得到选择权重 σi(ω),权重越大在下层 SFT 中影响越大。
- 双层优化(论文式 (1)):下层在候选数据上加权最小化 SFT 损失,上层最小化安全数据上的损失 minω 1/M∑i ℓ(θ⋆(ω); zisafe),即偏好能保持患者安全监督表现的权重。
熵正则以防止权重集中
- 作者称,不显式约束时选择权重会过度集中在少数候选样本上,其余权重趋近零、相对排序不可分辨,使大候选池上的 top-p 选择不可靠。
- 正则项 R(ω) = ∑i (σi(ω))/N log (σi(ω))/N,等于 DKL(σ(ω)/N ∥ U) − log N(U 为均匀分布),即惩罚选择分布偏离均匀。
- 正则化上层目标为 min (1−γ)·安全损失 + γ·P(θ, ω) + λR(ω):γ ∈ (0,1) 平衡安全目标与下层最优性,λ ≥ 0 控制选择分布集中度;λ = 0 时退化为未正则化形式。计算 R(ω) 及其梯度为 O(N),作者称不引入额外参数或模型前后向传播。
优化流程(Algorithm 1)
- 采用 lower-level optimality-gap 松弛(Shen et al., 2025)避免对下层优化求导,并用 near-zero-loss 近似(假设过参数化模型可将加权候选数据拟合到近零经验损失)省去辅助模型。
- 随机交替更新:模型参数 θ 按 (1−γk)·安全样本梯度 + γk·σj(ωk)·候选样本梯度更新;选择器 ω 按候选样本损失加正则梯度更新。
- 超参数(Table 4):选择比例 p = 0.8,λ = 1,γk ∈ {0, 0.03, 0.06},选择器步长 5×10⁻³,模型步长 1×10⁻⁵,选择 3 个 epoch;SFT 用 LoRA(rank 16),batch size 64,3 个 epoch。
从数据选择到微调
- 按 σi(ω⋆) 排序保留 top p 比例得到 Dp;安全微调数据集 Dsafety = Dsafe ∪ Dp,另保留未筛选任务数据 Dtask;三者互不相交。
- 最终微调目标为 ρ·L(θ; Dsafety) + (1−ρ)·L(θ; Dtask),ρ ∈ [0,1] 控制安全监督与任务监督的平衡:p 决定选哪些候选样本,ρ 决定安全数据集的影响强度。
- 数据构建:三个数据集均取自 HealthCareMagic-100k 的互斥问题集。Dsafe 为 25K 条经 GPT-5.6 Sol 自动安全改写、再经五名临床医生三轮交叉评审的样本;候选集 D 为另 25K 条(20K 自动改写但未临床评审 + 5K MedRiskEval 评分 4 或 5 的原始高风险样本);其余 50K 未筛选样本构成 Dtask。候选级有害性评分对所有选择方法隐藏,仅用于构建和事后分析。
论文做了哪些实验?
两个 8B 模型上对比五种数据选择方法,S-BDS 的 PSB Safe Rate 最高;ρ 扫描显示安全与能力的权衡。
实验设置
- 被测模型:Llama-3.1-8B-Instruct(主要基座)与 Qwen3-8B-Instruct,均为经过指令微调与安全对齐的 8B 通用模型(附录 B)。
- 数据:HealthCareMagic-100k 构建的 Dsafe(25K)、候选集 D(25K)、Dtask(50K);各选择方法保留 80%(p = 0.8)构成 20K 子集,Standard SFT 用全部 25K 候选集。
- 基线:Standard SFT、Random、DSIR、LESS、SEAL。
- 医疗能力评测:HealthBench(5,000 段多轮对话,48,562 条医生撰写评分标准),GPT-4 按 rubric 逐条判定,指标为 Health Score (%),越高越好。
- 患者向安全评测:PatientSafetyBench(466 条单轮患者查询,五类风险),GPT-4 作独立评审给出 1–5 有害性评分,1–2 计为安全;指标为 PSB Safe Rate (%)(得 1 或 2 分的比例),越高越好。
- 人工一致性:480 条回复(40 个查询 × 6 方法 × 2 模型)由临床医生二分类标注,LLM 标签与医生标签一致率 88.8%、Cohen's κ = 0.73(Table 6)。
主结果
据 Table 2(Health Score / PSB Safe Rate,单位 %):
表格较宽,可左右滑动
方法 Llama Health Llama PSB Qwen3 Health Qwen3 PSB Standard SFT 15.10 57.30 30.78 79.83 Random 14.58 62.88 31.23 81.76 DSIR 16.99 62.66 32.42 81.33 LESS 16.45 63.09 31.34 81.97 SEAL 18.85 64.67 31.32 82.62 S-BDS 19.04 69.31 31.78 85.62 - 作者称 S-BDS 在两个模型上 PSB Safe Rate 均为最高,分别较最强基线 SEAL 高 4.64 和 3.00 个百分点。
- Health Score 方面,S-BDS 在 Llama 上最高,在 Qwen3 上比 DSIR 低 0.64 个百分点;作者称其在不持续牺牲医疗能力的情况下改善了患者向安全。
- 作者认为这一优势与 S-BDS 的设计一致:以临床验证的 Dsafe 为上层信号并控制权重集中度,使候选排序更可靠。
选择器集中度分析(4.3 节)
- 测的是 SEAL 与 S-BDS 选择权重分布的集中程度,指标为 Top-k% 累积质量、Hnorm、ESS/N(Table 1、Figure 2c–d)。
- 在 SEAL 的 Orca 设置(BlueOrca 为安全数据、RedOrca 为候选集)上,Llama3.1 的 SEAL 选择器 Top-5% 质量为 42.15%、Top-20% 为 64.16%;S-BDS(λ = 1)分别降至 13.48% 和 36.61%,ESS/N 从 20.62% 升至 78.25%,Hnorm 从 0.9330 升至 0.9903。
- 在 HealthcareMagic-25K 医疗候选集上,S-BDS 选择器(Llama3.1 与 Qwen3)Hnorm > 0.995、ESS/N 高于 91%,作者称未见选择器坍缩风险。
数据组成(安全权重 ρ)实验(4.5 节)
- 固定 p 与 Dsafety,仅改变 ρ ∈ {0, 0.25, 0.5, 0.75, 1},训练步数相同(Table 3、Figure 3)。
- ρ 从 0 增至 0.5 时两模型 Health Score 与 PSB Safe Rate 同升,ρ = 0.5 时 Health Score 最高(Llama 21.28、Qwen3 34.20);ρ 超过 0.5 后 PSB Safe Rate 继续上升(ρ = 1 时 Llama 74.68、Qwen3 86.27)而 Health Score 下降。
- 作者解读:ρ 是显式的数据组成参数,中等权重可同时改善安全与能力,更大权重以能力为代价换取安全;作者称原因是固定训练预算下加大 Dsafety 权重会减少接触 Dtask 的医疗监督。
其他消融与分析
- 分数分布(附录 F,Figure 4):PSB 上回复集中在 2 分,1 分较少;提高安全权重使 Llama 回复主体从 3 分移向 2 分。
- HealthBench 分布(Figure 5):Llama 回复集中在低分区间且有相当比例非正分;Qwen3 集中在 20–60 分;提高安全权重并未持续提升 Health Score,两模型均在中等权重取得最高分。
- 评审一致性分组(Table 6):各模型×方法组一致率 82.5%–97.5%,κ 0.52–0.94,每组 40 条回复;作者称总体一致性强但不同模型和方法间可靠性有差异。
- 训练成本(附录 B):单次完整 S-BDS 运行(含选择器训练与最终 SFT)约 7.3 GPU 小时(Llama)/ 8.4 GPU 小时(Qwen3),单张 RTX 5090。
有什么可以进一步探索的点?
作者指出研究限于英文单轮患者向问答与单一数据源,并计划扩展到更多医疗场景与部署环境。
作者指出的局限与后续方向
- 研究聚焦英文、单轮、患者向医疗问答,微调数据均来自 HealthCareMagic-100k;作者称这一受控设置便于分析,但可能无法完整覆盖真实医疗交互的复杂性(Limitations 节)。
- 未覆盖多语言与多轮医疗问诊场景(Limitations 节,引 Pieri et al., 2024; Chen et al., 2023a)。
- 未覆盖更广泛的临床能力,如纵向照护(longitudinal care)与临床信息抽取(Limitations 节,引 Kim and Yoon, 2025)。
- 依赖单一指令数据来源,作者称可能限制向其他医疗语料的泛化(Limitations 节)。
- 后续方向:作者计划未来在更多医疗场景和更多样的部署设置下评估 S-BDS 是否仍然有效(Limitations 节)。
实验覆盖范围
- 被测模型为 Llama-3.1-8B-Instruct 与 Qwen3-8B-Instruct,共 2 个,均为 8B 规模(附录 B)。
- 数据源仅 HealthCareMagic-100k;安全评测基准为 PatientSafetyBench(466 条单轮查询),能力评测为 HealthBench(5,000 段对话)(附录 B、C)。
- 对比的数据选择方法为 Standard SFT、Random、DSIR、LESS、SEAL 五种,选择比例固定 p = 0.8(4.4 节)。
- 安全评审为 GPT-4 单一评审模型;人工一致性检查覆盖 480 条回复(每模型×方法组 40 条),总体一致率 88.8%(附录 E.2、Table 6)。
- 论文未报告主结果的重复运行次数或方差(固定随机种子 42,附录 B);数据改写与有害性评分使用 GPT-5.6 Sol(4.1 节)。
总结一下论文的主要内容
S-BDS 通过熵正则化的双层数据选择,在医疗 SFT 中保持患者向安全,PSB Safe Rate 在两个 8B 模型上均为最高。
一篇关于安全保持型医疗 LLM 微调方法的论文:通用 LLM 经医疗指令 SFT 后安全对齐可能被削弱,作者提出 S-BDS 在数据选择阶段控制患者向风险。
- 问题:作者筛查 HealthCareMagic-100k 发现仅 27.68% 样本得相对安全的 1–2 分(Figure 2a);现有患者向安全评测(PatientSafetyBench)只做诊断,不提供训练阶段的安全保持机制。
- 方法:在 SEAL 双层数据选择框架的上层目标加熵正则(λ = 1),防止选择权重过度集中导致排序不可靠;用 25K 条经 GPT-5.6 Sol 改写、五名临床医生三轮评审的安全数据作上层信号,从 25K 候选池中选 80%,再与 50K 未筛选任务数据按权重 ρ 混合做 LoRA SFT。
- 主结果(Table 2):Llama-3.1-8B-Instruct 上 S-BDS 的 PSB Safe Rate 为 69.31%、Health Score 19.04%,均高于 SEAL(64.67 / 18.85);Qwen3-8B-Instruct 上 PSB Safe Rate 85.62% 为最高,Health Score 31.78% 比 DSIR 低 0.64 个百分点。
- 机理证据(Table 1):在 Orca 设置上,S-BDS 将 Top-5% 权重质量从 SEAL 的 42.15% 降至 13.48%,ESS/N 从 20.62% 升至 78.25%,作者称集中度控制带来更可靠的候选排序。
- 权衡分析(Table 3):安全权重 ρ = 0.5 时两模型 Health Score 最高;继续增大 ρ 则 PSB Safe Rate 上升、Health Score 下降,作者称 ρ 可作为显式的安全–能力平衡参数。
- 结论与边界:作者认为中等安全权重可同时改善安全与能力;研究限于英文单轮患者向问答与单一数据源,作者计划未来在更多医疗场景和部署设置下验证。