用强化学习增强胸部 X 光报告生成中的视觉推理

胸片自由文本报告容易出现幻觉，而 SFT 的 next-token 目标奖励与参考报告的词面相似，不是图像里的临床事实。

• 场景：作者称胸片是最常见的医学影像，解读依赖放射科医生；检查量增长造成难以承受的工作负担，并关系到诊断延迟、较晚发现和可预防死亡，低收入国家尤甚。报告生成或可减轻负担，但作者称现有模型常常达不到临床要求，也缺少放射科需要的可解释性。
• 目标错位：作者认为幻觉主要来自 next-token prediction：它奖励词面相似，却不把描述锚定到图像上。因此 SFT 优先的是词面而不是临床正确性。
• RL 没查推理：作者称 RLVR 能提高数学和代码上的表现，医学里的 RL 却多用于答案短而固定的视觉问答和指代表达理解。即便报告生成已有 RL（Liu et al. 2026；Gundersen et al. 2025），也只检查最终输出。作者认为，未检查的推理可以在结论碰巧正确时仍然缺少依据；错误推理还会降低报告质量，并伤害可解释性和作者所说的 reliability。
• 做法：用解剖区域、边界框和区域描述把推理变成可评分对象。空间奖励是各区域平均 IoU，事实奖励用 RadGraph，且事实项以定位过关为前提，不是两项直接相加。基座 Qwen3-VL-8B-Instruct 经过领域 SFT、cold-start SFT 和 GRPO。作者称联合核查优于只核查一侧，并在单一奖励下看到 reward hacking。

空间奖励和事实奖励在先前工作里被分开使用，报告生成上的 RL 也多只检查最终答案。

多模态推理

• 可验证奖励：DeepSeek-R1（Shao et al. 2024）和 Qwen3（Yang et al. 2025a）用 cold-start SFT 引入推理，再用 RL 加强。RLVR（Guo et al. 2025）在数学和代码上使用可验证奖励。同节还出现 GRPO、DAPO（Yu et al. 2025）。论文把这条路线写在传统 RLHF（Ouyang et al. 2022）之外。
• 视觉侧：Vision-R1（Huang et al. 2025）在 Qwen2.5-VL 上生成多模态思维链并使用 GRPO；Visual-RFT（Liu et al. 2025b）和 VLM-R1（Shen et al. 2025）报告，额外数据不多时定位和视觉理解优于常规 SFT。作者指出，这些输出可以和标准答案精确匹配，报告则没有单一正确答案。
• 推理未必更好：Li et al.（2025）报告，先推理再作答可以差于直接作答。作者认为，这发生在推理本身没有被验证的时候。

放射科 VLM

• SFT 报告模型：论文称，在 MIMIC-CXR 与 CheXpert-Plus 上做 SFT 之后，MedGemma、LLaVA-Med、MAIRA 能生成更像放射报告的文本。
• 闭端医学 RL：Med-R1（Lai et al. 2026）、MedVLM-R1（Pan et al. 2025）和 ChestX-Reasoner（Fan et al. 2025）把 GRPO 用于多选视觉问答。引言把同类工作概括为核对短而固定的答案。
• 定位与开放式报告：MedGround-R1（Xu et al. 2025a）和 DeepMedix-R1（Lin et al. 2025）用空间与事实奖励做定位；RadVLM-GRPO（Gundersen et al. 2025）把奖励用于报告生成和视觉定位；GEMeX-CoT（Liu et al. 2025a）与 UniRG-CXR（Liu et al. 2026）用 RL 优化自然语言指标。作者称这些工作都把空间奖励和事实奖励分开使用。引言另称 Liu et al. 2026 与 Gundersen et al. 2025 只验证最终输出。

基线与数据

• 实验对照：基线为 Qwen3-VL-8B-Instruct、MedGemma、DeepMedix-R1、MAIRA-2、RadVLM-GRPO、UniRG-CXR。测试用过滤后的 MIMIC-CXR 与 IU X-ray 正面片；推理文本来自 Chest ImaGenome。后两个基线无公开权重，作者按原论文复现。

作者把本文放在没有单一标准答案的报告生成上：用门控同时核查推理中的定位和区域事实，而不是只核查最终报告，也不是把两种奖励分开使用。

三阶段训练 Qwen3-VL-8B-Instruct：先适配胸片报告，再用带框的区域轨迹做 cold-start，最后用 GRPO 和门控奖励更新策略（Figure 1）。

三阶段各自优化什么

• SFT：只生成最终报告。损失是视觉 token、提示和已生成 token 条件下、报告 token 的负对数似然。论文把这一步写成把通用模型适配到医学领域。
• Cold-start：从 SFT 检查点继续，目标改成 think 标签里的推理加上 answer 标签里的报告。论文称该格式让模型先想再答，并由各区域描述合成整份报告。
• GRPO：每个提示从旧策略采样 G 条完成，实现里 G=8。论文称此时奖励的是自下而上的流程：拆成解剖区域、做局部判断、再写成报告，而不再只拟合下一个 token。

推理轨迹怎么构造

• 字段：Chest ImaGenome 为 MIMIC-CXR 提供场景图。每个区域写成字典，含区域名、框坐标和该区域所见；整段放入 think 标签，MIMIC-CXR 原文报告放入 answer 标签。
• 过滤：原始 MIMIC-CXR 为 377,110 张图像、227,835 份报告。去掉侧位以及没有 Findings 和 Impressions 的报告后，剩 213,073 对，覆盖官方 train、validation、test。报告中对既往检查的指称被删除，论文给出的理由是单张图像支持不了这些内容。标注有 38 个解剖区域、642,703 个框。
• 用量：cold-start 使用 13,000 条带轨迹的样本。论文称，框和区域描述把推理压到图像上，从而降低写出错误所见的可能。

级联奖励

格式用正则检查，但是不加分。论文的理由是格式很容易满足，一旦加进总分就会盖住另外两项。think 与 answer 标签不完整，或推理里缺少每个区域的框，则奖励为 0，不再往下评。

通过格式后才算空间奖励：按解剖名称把预测区域与标注配对，计算每对 IoU；标注里有、输出里没有的区域记 0；得分是全部标注区域上的平均 IoU。

事实项用 RadGraph-XL 的 RadGraph-F1，按区域比较预测所见和标注所见。论文不把两项直接相加，而写成

R=R_spatial+1[IoU>τ]R_factual,τ=0.25。

IoU 不高于 0.25 的区域只保留空间项。论文称，这样是让区域事实的核实以该区域定位正确为前提。三级关系是：格式通过才做空间评估，空间再门控事实项。

组内优势与截断

同一条完成的优势对所有 token 共用，由组内奖励标准化：

A_i,t=(r_i−mean(r_1:G))/std(r_1:G)。

高于组均值的样本得到正优势。更新时用优势乘重要性采样比，按不对称区间截断，再减去与参考模型的 KL。KL 用 Schulman（2020）和 Shao et al.（2024）的无偏估计。不对称截断沿用 DAPO：ε_low=0.2，ε_high=0.28。作者称这样便于探索，并避免熵坍缩，因为朝正奖励方向允许更大更新。β=0.04。论文写了参考模型 π_ref，但没有写它是哪一个检查点。

优化配置

• SFT：120,000 对，2 个 epoch，AdamW，学习率 1×10^-5，余弦退火，warmup 比例 0.1，全局 batch 128；8 张 80GB 的 A100，论文写明 3 小时。
• Cold-start：1 个 epoch，学习率 5×10^-6，全局 batch 64；同样 8 张 A100，论文写明 1.5 小时。
• RL：74,000 条，学习率 1×10^-6，warmup 比例 0.1，batch 32；每条 8 个 rollout，最长 1024 token；bfloat16 与 DeepSpeed ZeRO-3，8 张 A100，论文写明 35 小时。

主比较在过滤后的 MIMIC-CXR 与 IU X-ray 正位片上，用词面指标和 RadGraph-F1 对照六家模型以及本文三阶段。

实验设置

• 模型：Qwen3-VL-8B-Instruct、MedGemma、DeepMedix-R1、MAIRA-2、UniRG-CXR、RadVLM-GRPO，以及 Qwen3-VL-8B-GRPO。有公开权重的在作者过滤后的测试划分上直接推理；后两者无公开权重，按原论文复现。
• 数据：过滤后的 MIMIC-CXR 为 213,073 对，含官方 train、validation、test。评测用正位片，并删除既往检查指称。Chest ImaGenome 为 38 个区域、642,703 个框。论文未单独写出 MIMIC 测试划分条数；IU X-ray 只写明使用正面片。
• 训练量：SFT 为 120,000 对、2 个 epoch；cold-start 为 13,000 条、1 个 epoch；RL 为 74,000 条。Table 5 与 Table 6 在全量前两阶段之后，用 25% 数据做 RL，并在验证集评估。
• 指标：BLEU-2、ROUGE-L、METEOR、BERTScore，以及 RadGraph-XL 的 RadGraph-F1，均经 RadEval。Table 1 与 Table 2 是三组 seed 的均值和标准差。Table 3 至 Table 6 未给标准差；Table 5、Table 6 另有 BLEU-4。没有人工评审，也没有通过阈值。
• 取文：本文模型只评 answer 标签内的报告。RL 每个提示采样 8 条，最长 1024 token。

主结果

表格较宽，可左右滑动

模型	BLEU-2	ROUGE-L	METEOR	RadGraph-F1	BERTScore
Qwen3-VL-8B-Instruct	4.4	14.0	21.3	10.8	42.0
MedGemma	9.6	20.7	26.1	15.5	47.7
DeepMedix-R1	21.5	22.3	29.0	18.6	52.8
MAIRA-2	14.2	17.7	21.5	12.9	46.6
UniRG-CXR	26.2	26.4	31.5	26.7	47.8
RadVLM-GRPO	22.5	30.0	30.2	25.7	59.0
Qwen3-VL-8B-GRPO	23.4	28.5	32.5	27.9	56.3

据 Table 1，MIMIC-CXR 测试集，三组 seed 的均值；标准差见原表。

• 列上的高低：作者称通用基座低于放射学专用模型，并称 UniRG-CXR 与 RadVLM-GRPO 整体最强。表中 BLEU-2 最高是 UniRG-CXR，ROUGE-L 与 BERTScore 最高是 RadVLM-GRPO，METEOR 与 RadGraph-F1 最高是本文模型。作者称事实性提高时流畅性仍在；从表上看，本文模型不是五列都最高。
• IU X-ray：Table 2 只含正面片。本文模型 BLEU-2 27.51、ROUGE-L 34.47、RadGraph-F1 36.53、BERTScore 61.49，这四列最高；METEOR 39.92，UniRG-CXR 为 40.12。作者称只在 MIMIC-CXR 上训练仍能迁移。该表没有 Qwen3-VL-8B-Instruct。MedGemma 的 BERTScore 为 17.25，论文未解释。

分阶段

• 数字落在哪：正文在 MIMIC-CXR 结果里称 Figure 3 展示各阶段，并写出 SFT 的 BLEU-2 为 22.0、RadGraph-F1 为 16.9，cold-start 为 14.9 与 20.4，GRPO 为 23.4 与 27.9。Table 3 与这些数字一致，但标题未写数据集；其 RL 行与 Table 1 的本文模型相同。
• 全表：Table 3 的 BLEU-2、ROUGE-L、METEOR、RadGraph-F1、BERTScore 为：SFT 22.0、25.3、27.0、16.9、52.0；cold-start 14.9、23.2、26.1、20.4、54.2；RL 23.4、28.5、32.5、27.9、56.3。相对 SFT，cold-start 的 ROUGE-L 和 METEOR 也下降。作者只把 BLEU-2 的下降归因于更短报告带来的 brevity penalty，论文未给报告长度。作者称 GRPO 是该流程里最大的事实性提升，并恢复词面分数。

核查答案、推理或两者

• Table 4：三行依次为只查答案、只查推理、联合核查，列顺序是 ROUGE-L、BLEU-2、METEOR、RadGraph-F1、BERTScore：26.2、23.2、23.1、21.0、53.8；25.5、22.1、33.5、23.2、55.2；26.8、23.3、32.5、27.9、55.6。标题未写数据集，也未写是否使用 25% 数据。
• 与作者概括的差别：作者称只查推理始终优于只查答案。表中 METEOR、RadGraph-F1、BERTScore 更高，但 ROUGE-L 是 25.5 对 26.2，BLEU-2 是 22.1 对 23.2。作者称联合核查在多数指标上最好；METEOR 例外，只查推理为 33.5，联合为 32.5。
• 作者的解释：只监督推理时，模型常把左右侧所见分开写，而不概括成双侧表述，最终报告也略长，于是和参考报告对不齐，即便区域所见是对的。作者还称核查推理能减少遗漏和幻觉，并将其归因于空间与事实奖励并用；论文未给这两类错误的次数。

空间奖励与事实奖励

• 正文中的 hacking：消融表之前，作者称只用空间奖励时定位可以是对的，但不同区域被写成相同所见，并把这看作 reward hacking；该段没有指标。贡献列表称，只用事实奖励会把正确所见放到错误区域，且分数低于完全无奖励。
• Table 6：全量 SFT 与 cold-start 之后，用 25% 数据做 RL，IoU 阈值 0.25，在验证集评估。列顺序为 BLEU-4、ROUGE-L、RadGraph-F1、METEOR、BERTScore。只事实：4.69、25.17、20.27、26.87、54.27；只空间：6.63、25.27、20.68、28.46、52.30；都不用：5.36、24.74、21.18、28.85、55.22；都用：7.89、27.12、23.73、32.25、55.25。都用一行五列都最高。
• 作者解释与表内例外：作者称去掉空间、只留事实时多数指标最差，且差于无奖励，因为事实反馈会强化错误的区域与文本对应。该行的 BLEU-4、RadGraph-F1、METEOR 确实四行最低；ROUGE-L 为 25.17，高于无奖励的 24.74；BERTScore 为 54.27，低于无奖励的 55.22，但高于只空间的 52.30。作者称只留空间即可与完整奖励相比，且空间监督起主要作用；表中完整奖励五列都更高，只空间的 RadGraph-F1 20.68 还低于无奖励的 21.18。

其他消融与分析

• IoU 阈值（Table 5，验证集，25% 数据）：0.00 的 BLEU-4、ROUGE-L、RadGraph-F1、METEOR、BERTScore 为 4.69、25.17、20.27、26.87、54.27；0.25 为 7.89、27.12、23.73、32.25、55.25；0.50 为 4.98、24.78、20.21、27.62、54.74。作者称 0.25 整体最好；0.00 会在重叠不足时仍给事实分；0.50 使早期正奖励变少、优化更不稳定。相对 0.25，0.00 五列都更低；相对 0.50，0.00 的 ROUGE-L 与 RadGraph-F1 更高，其余三列更低。
• 两表数字：Table 5 的 0.00 行与 Table 6 只事实行相同，0.25 行与都用行相同。论文未把它们写成同一次运行。
• 平均 IoU：作者称 RL 后空间奖励（平均 IoU）上升，事实奖励随之上升；论文未给 IoU 数值。
• Figure 2：一条 MIMIC-CXR 测试样本，含区域框、think 中的区域字典和 answer 中的报告。作者称报告不是轨迹拼接，双侧一类判断由左右区域汇总，因此比端到端生成更可审计。该例没有指标。

作者在 Limitations 里写了三类限制：标注范围、RL 开销，以及奖励仍可能被利用。

作者指出的局限与后续方向

• 标注只覆盖胸片：推理监督依赖 Chest ImaGenome 的区域标注。作者称这些标注目前只用于胸片，因此在缺少同类标注时，框架难以直接用于其他成像模态或解剖部位（Limitations）。
• RL 更贵：作者称 RL 相对 SFT 计算成本更高，因为每个训练样本要采样多条 rollout；这可能限制更大基础模型或资源较少环境中的使用（Limitations）。
• 奖励不等于视觉理解：作者认为，尽管奖励鼓励视觉定位，RL 仍可能优化奖励函数而不是真正的视觉理解；策略可能利用奖励设计中的缺陷。作者称还需要在对抗设置上评估鲁棒性（Limitations）。

实验覆盖范围

• 主结果比较 7 个模型：Qwen3-VL-8B-Instruct、MedGemma、DeepMedix-R1、MAIRA-2、UniRG-CXR、RadVLM-GRPO、Qwen3-VL-8B-GRPO。指标为 BLEU-2、ROUGE-L、METEOR、BERTScore、RadGraph-F1，Table 1 与 Table 2 给出三组 seed 的均值和标准差。
• 训练量为 SFT 120,000、cold-start 13,000、RL 74,000；区域标注为 38 类、642,703 个框。评测还包括 IU X-ray 正面片。论文未单独写出 MIMIC-CXR 测试划分和 IU X-ray 测试划分的条数（Datasets、Table 2）。
• Table 5 与 Table 6 在全量 SFT 和 cold-start 之后，用 25% 数据做 RL，并在验证集报告结果。Table 4 比较答案核查、推理核查和联合核查，论文未写明数据集和数据比例。消融表未给标准差，论文也未写明消融是否使用三组 seed。
• 论文描述了只给空间奖励时的重复所见，以及只给事实奖励时的错误区域。论文未报告 mean IoU，也未报告这些 shortcut 的比例；未报告人工评测、与人工的一致性、显著性检验和测试解码温度。
• 方法里使用参考模型 π_ref 和 KL 系数 β=0.04，论文未写明 π_ref 来自哪一阶段的检查点。Limitations 所说的对抗设置，实验部分没有给出结果。

用门控的 IoU 与 RadGraph 奖励做 GRPO，同时约束胸片报告的区域推理和最终文本。

• 问题：作者认为开放式报告没有单一正确答案；SFT 的 next-token 目标偏向与参考报告的词面重叠。已有 RL 多只核对短答案或最终报告。
• 做法：Qwen3-VL-8B-Instruct 先在 MIMIC-CXR 上 SFT（120,000 对），再用 Chest ImaGenome 的区域框和所见做 cold-start（13,000 条），然后在 74,000 条上做 GRPO。格式不通过则奖励为 0；空间项是各标注区域的平均 IoU；区域级 RadGraph-F1 只在 IoU>0.25 时加入。
• 主结果：MIMIC-CXR 测试集上，Qwen3-VL-8B-GRPO 的 RadGraph-F1 为 27.9、METEOR 为 32.5，为 Table 1 最高。BLEU-2 为 23.4，低于 UniRG-CXR 的 26.2；ROUGE-L 为 28.5、BERTScore 为 56.3，低于 RadVLM-GRPO 的 30.0 与 59.0。
• 迁移与消融：IU X-ray 正面片上，本文 RadGraph-F1 为 36.53，五项里四项最高；METEOR 39.92 低于 UniRG-CXR 的 40.12（Table 2）。正文给出的阶段 RadGraph-F1 从 SFT 的 16.9 到 cold-start 的 20.4，再到 RL 的 27.9；BLEU-2 为 22.0、14.9、23.4。验证集、25% 数据上，只给事实奖励的 RadGraph-F1 为 20.27，低于无奖励的 21.18（Table 6）。
• 作者结论：作者称推理和报告一起核查，好于只核查一边；框和区域所见必须一起监督，否则会复制所见或配错区域。结构化轨迹让输出更可审计。作者也写明：标注目前只覆盖胸片，RL 更贵，策略仍可能去优化奖励而不是视觉理解。