Llama-3.1 医学微调模型在专业术语理解上为何不如通用版：一项机制可解释性对比分析

医学领域微调是否提升对领域术语的理解，以及术语的参数知识编码在哪些内部组件。

• 场景与重要性：作者称术语会阻碍专家与公众沟通；在医学中，若临床助手误解 EHR 中的术语，可能给出误导性摘要。作者认为既要测性能，也要理解成败原因。
• 现有不足：作者称领域微调是提升术语处理的常见做法，既有工作多集中在术语检测与定义生成，对模型内部如何编码术语的参数知识关注较少。
• 核心观察：作者比较 Llama-3.1-8B-Instruct 与在医学文本上微调的 Llama-3.1-8B-UltraMedical，称通用模型在两项术语任务上都更好，微调并未重组知识位置，而是加重了偏向“术语”预测的少数组件。
• 本文提出：两项互补基准（术语理解 JU、术语识别 JI），覆盖医学与材料科学的比较评测，以及用组件分解、消融和重加权定位术语知识。

术语处理

• 领域微调：Chen et al. (2023)、Wu et al. (2024)、Zhang et al. (2024a) 将领域微调作为提升专业词汇能力的常见做法。本文的 UltraMedical 即 Zhang et al. (2024a)。
• 检测与定义：Rakedzon et al. (2017)、Lao et al. (2021)、Ke et al. (2022)、Kwon et al. (2022)、Guo et al. (2024) 做术语检测；Huang et al. (2022)、August et al. (2022)、Liu et al. (2021) 做定义生成。作者称这些工作推进了检测与通俗解释，但内部机制仍不清楚。
• 其他术语任务：Lucy et al. (2023) 用词义归纳量化学术术语；Papandreou et al. (2025) 研究面向医学文本简化的术语感知提示。

机制可解释性

• 定位与探针：Meng et al. (2022) 用因果追踪称事实关联位于中层前馈模块；Hewitt and Liang (2019) 用控制任务检验探针选择性。
• 医学内部知识图：Marinescu et al. (2026) 用激活修补和层损毁构建医学 LLM 的内部知识图，称专门概念定位在不同网络层。
• 本文采用的框架：Chang et al. (2024) 将输出分解为各注意力头和 MLP 块的直接贡献，并报告单个组件可以超过完整模型。

基线与数据来源

• 被比较的模型：Llama-3.1-8B-Instruct 与 Llama-3.1-8B-UltraMedical。数据来自 README（Yao et al., 2024）和 MatScholar（Song et al., 2023）；BoolQ（Clark et al., 2019）作非术语对照。JU 的多项选择设定参考 Hendrycks et al. (2021)、Zhang et al. (2024b)。

作者将 JU 与 JI 定位为便于机制分析的简化设置，用来追踪术语的参数知识，而不是以提高下游准确率为目标设计任务。

作者构建两项术语基准，再用 Chang et al. (2024) 的线性分解比较 Instruct 与 UltraMedical 的组件贡献，并做重加权。

数据与过滤

• README：使用 README-exp_good，共 113,659 条，来自 UMLS。专家从 EHR 句中标出对不超过七年级教育者难懂的术语。每条含术语、EHR 上下文、UMLS 术语定义和通俗定义；流水线只用前三项。
• 术语与非术语：用 SBERT（all-mpnet-base-v2）和 Wiktionary 标签过滤。若术语定义与对应词条的非医学义项足够相似，则视为非术语。去重过滤后术语集 J 有 5,977 条，非术语集 N 有 2,095 条。J 按 70/25/5 分为训练 4,183、测试 1,495、开发 299。
• MatScholar：材料科学论文摘要的 NER 语料，只有跨度标注、没有词典定义，因此只建 JI，不建 JU。

JU 与 JI

• JU：多项选择。给出 J 中的术语和 EHR 上下文，从五个定义中选正确项。干扰项按与目标定义的 SBERT 余弦相似度降序选取，排除相似度超过 τmax = 0.9 的近重复，取其后四条。正确选项在 A–E 上均匀分布。训练与测试的干扰项都只来自训练集定义。共 4,183 条训练、1,495 条测试。
• JI：是非问答。给定术语和上下文，判断该用法是否为外行不太可能理解的术语。正例来自 J，负例来自 N。测试集分配 1,495 条负例以保持 1:1，共 2,990 条测试；训练为 600 正例加 600 负例，共 1,200 条。
• Mat-JI 与 BoolQ：B- 或 I- 标注为正类。O 标注由 LLM-as-a-judge 按 1–5 的技术复杂度打分，负例从 3–5 分中均匀抽取。BoolQ 改写成与 JI 相同的 A/B 提示，作为非术语对照。附录 I 给出完整评分细则和提示词。

组件分解与重加权

对 L 层 Transformer，最终隐状态是各层注意力与 MLP 写入残差流的输出之和。输出 logit 写成各组件直接贡献的加权和：

logits = ∑_j w_j (U_Y · C_j)

其中 C_j 是组件 j 的 post-layernorm 激活，U_Y 是限制到任务标签词的输出嵌入，w_j 默认为 1。这只度量对输出的直接贡献，不含通过残差流影响后续层的间接作用。JU 在最后一个输入位置读取 A–E 的 logit，JI 读取 A/B，取 argmax。

重加权只学习 w_j，其余参数冻结。在训练集上最小化带 L1 正则的交叉熵。权重维度为 1,056（1,024 个注意力头加 32 个 MLP），SGD（学习率 0.01，λ = 0.01），最多 1,000 epoch，训练损失早停（patience = 3）。评测为零样本、单一提示模板、单一种子；附录 B 称该设置下前向是确定的。

成功判定与干预

• 行为指标：测试集准确率，附 95% Wilson 区间。校准用 ECE，即分箱后置信度与准确率差距的加权平均。JI 的成对差异用双侧精确 McNemar 检验。
• 消融：按 Michel et al. (2019)，把注意力头或 MLP 的输出在写入残差流之前置零，从而同时去掉其对下游层的影响。累积消融按单组件准确率取 top-k；随机对照从排除 top-20 后的组件中无放回均匀抽样。也做用另一检查点的 top-k 进行交叉消融。
• 组件筛选：跨领域分析在 Instruct 上计算 Med-JI 与 Mat-JI 的单组件准确率，保留两者都进 top-50、但 BoolQ 不进 top-50 的组件。

实验设置

• 模型：Llama-3.1-8B-Instruct 与 Llama-3.1-8B-UltraMedical，均为仅推理。分解结果缓存后，重加权在 CPU 上优化 1,056 个标量权重。
• 数据规模：JU 测试 1,495 条；医学 JI 测试 2,990 条（1:1）。Mat-JI 与改写后的 BoolQ 各 2,990 条（Table 6）。重加权的 JI 训练集 1,200 条，JU 训练集 4,183 条。
• 指标与检验：准确率及 95% Wilson 区间；ECE；JI 分歧用双侧精确 McNemar；组件排序一致性用加权 Kendall τ，10,000 次成对 bootstrap 的 95% 区间。
• 打分：读取末位置选项字母的 logit 并取 argmax。论文未报告温度或多次重复；附录 B 称零样本前向确定，种子列表为 [0]。
• Mat-JI 的评审：负例由 LLM-as-a-judge 按 1–5 分打分后从 3–5 均匀抽取。论文未在正文写明该评审模型的名称。

主结果

据 Table 1，测试集准确率（方括号为 95% Wilson 区间）：

模型	JU	JI
Llama-3.1-8B-Instruct	76.1% [73.8, 78.2]	58.8% [57.0, 60.6]
Llama-3.1-8B-UltraMedical	74.1% [71.8, 76.3]	53.1% [51.3, 54.9]

• 作者解读：两项任务上 Instruct 都更高，差距在 JI 上更大。作者称这与“领域适应通常会提升术语任务”的假定相反。
• 校准：Figure 2 标注 JU 的 ECE 为 Instruct 2.28%、UltraMedical 9.86%；JI 为 29.13% 与 42.63%。作者称 UltraMedical 在高置信箱中准确率更低，属于过度自信。
• 错误结构：Table 2 统计一方对、另一方错的 JI 样本。Instruct 错 197 条（假阳性 1、假阴性 196），UltraMedical 错 368 条（假阳性 367、假阴性 1），McNemar p < 0.001。平均置信边际分别为 1.64 与 3.04。作者称 UltraMedical 把临床上下文中的词系统性地判成术语，Instruct 则偶尔漏掉日常词的临床专门义。

组件定位与消融

• 位置：Figure 3 中，JU 的高准确率组件在两个模型里都集中于上层（17–31），下层单组件准确率接近零。作者点名 L17H24、L26H3、MLP-29、L31H1 为双方的前四名，只是名次不同。JI 的热图更稀疏。加权 Kendall τ 在 JU 上为 0.72（95% CI [0.69, 0.76]），在 JI 上为 0.59（[0.47, 0.65]）。作者认为微调没有把术语知识搬到新位置，主要是调制已有组件的直接贡献；脚注称该结论不排除间接通路上的重组。
• 累积消融：Figure 4 以 20%（JU）和 50%（JI）为随机水平。作者称 JU 上按 top-k 消融时准确率下降更快，到 k = 20 达到随机水平，随机消融下降更慢；JI 上定向与随机消融都只浅降且彼此接近。交叉消融大致跟随各自模型的 top-k 曲线。作者称对 UltraMedical 做交叉消融时，JI 准确率明显上升，并推测微调模型用对术语语义敏感的组件把术语当成普通词。
• 单组件消融：附录 O 称单独去掉 top-5 时，最大降幅为 Instruct 的 MLP-19（0.43%）和 UltraMedical 的 L26H3（0.13%）；UltraMedical 上最大随机单组件降幅（−1.10）超过最大的 top 组件降幅。作者称没有单个组件对 JI 不成比例地重要。

重加权与跨领域

• 重加权：Table 3 中，Instruct 的 JU 从 76.1% 到 76.9% [74.7, 79.0]，JI 从 58.8% 到 57.8% [56.1, 59.6]；UltraMedical 的 JU 从 74.1% 到 74.2% [71.8, 76.2]，JI 从 53.1% 到 56.1% [54.3, 57.9]。作者称 UltraMedical 在 JI 上获得 3.0% 的准确率增益，McNemar p = 0.01；Instruct 在 JI 上下降 1.0%；两边 JU 增益都不超过 0.2%。
• 权重与错误转移：作者称 MLP-29 与 L30H27 在两个模型中降权最多。UltraMedical 中 L30H27 的权重约为 0，MLP-29 为 10^-4；Instruct 中二者为 0.39 和 0.27。UltraMedical 纠正 270 个假阳性，同时新增 146 个假阴性。Table 4 给出两个被误判为术语的非术语例子，重加权前整模型 logit 边际为 2.01 与 1.98，重加权后均为 0.0。作者认为增益来自压低被放大的“术语”偏向，而不是一般性再校准；Instruct 没有这种方向性偏差，压制后损失了原本平衡的信号。
• 跨领域：Table 5 列出 9 个在 Med-JI 与 Mat-JI 都进 top-50、但 BoolQ 不进 top-50 的 Instruct 组件。整模型准确率为 Med-JI 0.588、Mat-JI 0.739、BoolQ 0.816。L20H10 为 0.562 / 0.769 / 0.505，L18H26 为 0.553 / 0.735 / 0.539。作者称这两头在 Mat-JI 上接近整模型准确率，在 BoolQ 上接近随机，并认为中上层有一部分与领域无关的术语知识；该信号出现在通用模型中。作者提出可检验医学上的重加权能否不经逐领域再训练而迁移，论文未报告这项迁移实验的结果。

其他消融与分析

• 开发集 299 条来自 J 的 5% 划分（Table 6）；正文主结果使用测试集，未单列开发集准确率。
• 分解在两块 RTX A6000 上约 JU 5 分钟、JI 8 分钟（每个模型）；累积消融合计约 2 小时 GPU；重加权在缓存上每个任务不到 1 分钟。
• 随机消融使用固定种子，从排除 top-20 后的组件中抽样；附录 O 的随机对照为 10 个单组件。
• 论文未报告 JU 上与 Table 2 对应的分歧计数，也未报告重加权后的 ECE。

作者指出的局限与后续方向

• 自动过滤：Limitations 称 SBERT 流水线不一定得到最优结果，选择它是为了扩大评测规模。
• 正类精度优先：同一节称只保留医学定义与常规意义足够远的术语，从而优先保证正类精度；作者称这对当前主张是合适的，但用带标注者置信度的人工标注扩展基准，可以更细地分析更含糊的术语用法。
• 模型范围与因果：Limitations 称因算力只分析 Llama-3.1-8B 家族，比较一个通用模型和一个医学微调变体。UltraMedical 的训练数据与微调流程带来潜在混杂，不能隔离领域微调本身的因果效应。作者尝试训练受控微调变体，但得到质量相当的模型计算上要求高，所得检查点不够可靠而未用于实验。后续工作应评测更多模型家族和规模，并做训练过程受控的微调实验。
• 语言：Limitations 称只考察了英语术语用法，多语言扩展留作未来工作。
• 直接贡献：第 5.2 节脚注称分解只测对输出 logit 的直接贡献，不排除通过间接通路发生重组。
• 跨领域干预：第 5.4 节称这些发现促使检验在医学术语上开发的重加权能否不经逐领域再训练迁移到其他技术域。Conclusion 强调需要更稳健的领域语言处理方法。

实验覆盖范围

• 被测模型为 Llama-3.1-8B-Instruct 与 Llama-3.1-8B-UltraMedical，共 2 个；主结果在 JU 测试 1,495 条、JI 测试 2,990 条上报告（第 5 节、Table 1）。
• 干预包括累积消融、随机消融、交叉消融、单组件消融，以及冻结模型参数、只学习 1,056 个组件权重的重加权（第 5.2–5.3 节、附录 N–P）。
• 跨领域实验在 Instruct 上比较 Med-JI、Mat-JI 与 BoolQ 的单组件准确率，筛出 9 个组件（Table 5）；MatScholar 未建 JU。
• 统计报告包括 Wilson 区间、JI 上的 McNemar 检验，以及 10,000 次 bootstrap 的加权 Kendall τ 区间（附录 Q）。
• 论文未报告 Mat-JI 负例评审所用 LLM 的名称，也未报告重加权从医学 JI 迁移到 Mat-JI 的准确率。

作者用两项术语基准和组件分解，比较通用与医学微调的 Llama-3.1-8B 如何编码领域术语。

• 问题：领域微调常被假定能改善专业文本，但术语的参数知识如何分布较少被直接测量。作者以 EHR 医学术语为案例。
• 做法：JU 是五选一的定义理解（测试 1,495），JI 是上下文中是否为术语的判断（测试 2,990）。再用 Chang et al. (2024) 把 logit 分成注意力头与 MLP 的直接贡献，做消融和只调 1,056 个权重的重加权，并用材料科学 JI 与 BoolQ 检查组件是否跨领域。
• 行为结果：Table 1 中 Instruct 的 JU、JI 为 76.1% 和 58.8%，UltraMedical 为 74.1% 和 53.1%。Figure 2 中后者 ECE 更高（JU 9.86% 对 2.28%，JI 42.63% 对 29.13%）。Table 2 中 UltraMedical 的分歧错误几乎都是假阳性（367/368）。
• 机制与干预：两边 JU 的高准确率组件都在第 17–31 层，加权 τ 为 0.72。JU 上消融 top-20 达到随机水平，JI 则不依赖少数组件。重加权后 UltraMedical 的 JI 升至 56.1%（作者称增益 3.0%，p = 0.01），Instruct 的 JI 降至 57.8%。
• 作者的结论：该案例中医学微调检查点没有比通用模型更好理解术语；偏差来自对已有术语敏感组件的加重，而不是知识位置重组。部分中上层组件在材料科学 JI 上仍有较高准确率，作者认为其中包含部分与领域无关的术语知识，并质疑为处理术语而做领域微调的必要性。