DeFineMed：持续预训练能否让 7B 医疗模型追平 24B 通用模型？
[Daily Paper] Can Continual Pre-training Bridge the Performance Gap between General-purpose and Specialized Language Models in the Medical Domain?
AI 导读
DeFineMed 系列用持续预训练与 SLERP 分层合并，把 7B 医疗模型的性能拉近 24B 通用模型。基于 Qwen2.5-7B 的版本对 Mistral-Small-24B-Instruct 的胜率由 0.09 升至 0.31（约 3.5 倍），Mistral-7B 变体平均提升 6.61%。安全侧，DeFineMed-Mistral-7B-SLERP 在 216 个样本中出现 207 次语言混用，远高于基线的 12 次。