生物推理模型何时真正使用其生物输入？

生物推理模型的基准准确率，是否说明它使用了收到的生物基础模型表示？

• 场景：这类模型把基因组、蛋白或细胞的基础模型表示，连同基因、通路、功能注释或按表达排序的基因列表等文本，接进语言模型做预测。作者认为，注释已经能支持正确答案时，基准提升不必等于这些表示被更多使用。
• 现有做法分不开原因：同一生物对象常有多路表示，信息可以重叠。作者认为某一路贡献小，可能是另一路已经支持预测、该输入的预测价值有限，或模型没有使用一个本可预测的输入；只看基准分无法区分。
• 本文做法：作者用扰动、证据冲突、线性探针和推理轨迹四项检验，检查六个模型在DNA、蛋白和单细胞任务上的输入使用，并比较后训练检查点与模型规模。
• 要回答的后半问：后训练或放大模型提高准确率时，基础模型表示或差异表达基因的性能贡献有没有一起变大；生成的推理是否连得上所给生物证据，以及辅助监督能否增加对序列的敏感。

论文按生物推理模型、多模态评测、探针与生成理由来组织相关工作，并把本文放在“预测是否依赖生物输入内容”，而不是再报任务分数。

• 生物推理模型：ChatNT使用Nucleotide Transformer表示，BioReason把Evo2与基因、通路文本合在一起（de Almeida et al., 2025; Brixi et al., 2026; Fallahpour et al., 2025）。Prot2Text-V2用ESM2加上蛋白名和分类单元文本，BioReason-Pro用ESM3加上GO-GPT预测和InterPro注释（Fei et al., 2025; Hayes et al., 2025; Fallahpour et al., 2026）。Cell2Sentence-Scale把转录组写成按表达排序的基因句，CellWhisperer使用连续转录组表示（Levine et al., 2024; Schaefer et al., 2025）。
• 同方向系统与既有评测：另有蛋白模型把生物表示接到语言上，做检索、注释或生成（Queen et al., 2025; Su et al., 2026; Xu et al., 2023; Liu et al., 2024; Jararweh et al., 2025; Wang et al., 2024; Char et al., 2025）。论文称既有评测多强调任务表现、规模和后训练（Fesser et al., 2026; Wu et al., 2025; Zhao et al., 2026; He et al., 2025; Dip et al., 2026），自己改为区分目标可预测性和模型是否使用该输入。
• 多模态使用与捷径：引言用shortcut learning说明基准分可以来自捷径而非信号（Geirhos et al., 2020; DeGrave et al., 2021）。视觉语言模型可利用语言先验、对相关视觉内容不敏感，或在跨模态交互未增加时仍提高基准分（Goyal et al., 2017; Agrawal et al., 2018; Cadene et al., 2019; Hessel and Lee, 2020; Frank et al., 2021; Asadi et al., 2026; Gao et al., 2026）。反事实输入和受控扰动被用来检验预测是否响应某一模态（Niu et al., 2021; Thrush et al., 2022）。表征对齐、组合和分解被单独列出作背景（Liang et al., 2024; Dufumier et al., 2025; Huh et al., 2024等），论文没有逐篇指出不足。
• 探针与理由：线性探针检验表示能否预测目标（Alain and Bengio, 2017; Hewitt and Liang, 2019）。后续工作指出探针表现应与下游行为分开评估（Ravichander et al., 2021; Elazar et al., 2021）。像样的解释不必就是影响预测的特征（Jacovi and Goldberg, 2020; DeYoung et al., 2020; Wiegreffe et al., 2021; Turpin et al., 2023）。

基线与数据：实验里的简单预测基线是线性探针、按提示文本的多数票，以及训练集中最常见的碱基对。数据见Table 1：KEGG疾病预测查询、ChatNT三项测试、reviewed human proteins与时间留出、Prot2Text-V2测试划分、五个单细胞图谱。

作者称，生物推理模型的特殊之处是同一蛋白、基因组或细胞的多路表示可以同时可用，因此要问哪一路贡献了下游预测。

作者把检验组织成四个研究问题，核心对象是六个生物推理模型收到的连续表示Zrepr和生物文本Ztext。预测与可选理由写成(ŷ,R̂)=f_θ(q,Z)，即在查询q和生物输入Z上产生答案，有时还有推理轨迹。

问题设定

• 输入：q规定任务和回答格式。Z来自蛋白序列、基因组序列或单细胞转录组。作者把使用定义成：改变Zi里与任务相关的生物内容，固定q和其他输入，再看预测敏感性和任务表现。
• 证据冲突：把一个查询的Zi与另一个查询的其余输入拼在一起，使两路证据支持不同预测，再看预测跟随哪一路。
• 未充分利用：简单基线能从Zi预测目标，但改变其任务相关内容对推理模型表现影响很小；可能时还要控制其他输入里的预测信息。作者用这一定义把“输入没有信息”和“有信息但贡献有限”分开。

四项检验

• 扰动：打乱或重采样一路输入后重算表示。DNA打乱参考和变异两条序列，保留长度和碱基组成，不保留编辑位置。蛋白侧打乱氨基酸序列后只重算ESM3或ESM2，GO-GPT、InterPro、生物名等文本保持未打乱来源。细胞侧打乱基因句顺序、从全部表达基因重采样，或在基因身份之间置换count后再重算CellWhisperer表示。
• 证据冲突：使用两个未改动查询的输入。例如BioReason用A的Evo2表示，配B的基因和通路文本。作者写明ChatNT的被评查询没有可与DNA冲突的查询特异生物文本，因此不做这项。
• 线性探针：表现贡献小时，在基础模型输出以及推理模型projector之后的表示上拟合线性探针，并与只看文本的预测器比较。
• 轨迹与辅助监督：核对轨迹或被提示写出的理由是否同意输入、是否随扰动变化、是否与最终预测一致。不产生轨迹的模型会被提示指出支持预测的生物证据。RQ4把BioReason的长轨迹换成标明编辑处参考碱基和变异碱基的短目标，疾病答案仍保留。

检查点与DEG对照

• 后训练：RQ2在同一扰动下比较BioReason、BioReason-Pro的SFT和RL，以及42个BioReason检查点；C2S-Scale比较2B和27B。
• DEG：按atlas用Wilcoxon秩和检验。一个基因在log2倍数变化至少1.0、Benjamini–Hochberg校正p值低于0.05时记为该类型的DEG。去除比例包括最强DEG、最弱DEG、随机基因，以及表达值最接近的非DEG。

打分与探针

• BioReason：生成疾病映射到37个标签，对不上记为错。RL检查点在野生型查询上有1.5%映射失败。
• ChatNT：在最后提示位置比较“ Yes”和“ No”首token的log-softmax。
• BioReason-Pro：按其CAFA配置用cafaeval，报告信息积累加权Fmax。冲突按本体传播后的GO集合是否满足要求或禁止条目，判定跟随哪一侧。
• Prot2Text-V2：与UniProt功能文本计算BioBERT BERTScore F1，模型为dmis-lab/biobert-large-cased-v1.1，第24层。两侧分数差超过0.005才算跟随某一来源。
• 细胞模型：C2S-Scale的细胞句按表达降序截断到1,000个基因，选项为该atlas的全部细胞类型。CellWhisperer按候选答案的每token对数似然评分，细胞类型指标是1减perplexity分位数。
• 探针：逻辑回归、L2、特征标准化。基因组依赖查询按基因组分五折；蛋白按InterPro家族分五折，家族内AUROC等权平均。

实验设置

• 被测系统：BioReason（SFT、RL及42个后训练检查点）、ChatNT、BioReason-Pro（SFT、RL）、Prot2Text-V2、C2S-Scale的2B与27B、CellWhisperer。除第4.4节辅助监督外，作者称使用已发布检查点且不改权重。
• 规模：BioReason为1,449条KEGG查询、708个基因组、37个疾病标签，其中165条是基因组依赖查询。ChatNT为4,578条（供体2,000、受体2,000、TATA启动子578）。BioReason-Pro为14,102个reviewed human proteins，另有91蛋白时间留出。Prot2Text-V2扰动实验为3,917个蛋白。单细胞为五个atlas、4,846个细胞；理由分析2,000个细胞。
• 指标与不确定性：疾病、剪接/启动子和细胞类型用准确率；蛋白功能用IA加权Fmax；Prot2Text-V2用BioBERT BERTScore F1；CellWhisperer用1减perplexity分位数。图中误差线为95% CI。辅助监督报告三次训练种子的标准误。
• 探针子集：165条查询的提示文本相同，但基因组和疾病标签不同。蛋白探针为540个蛋白、140个InterPro家族，家族注释本身不能决定酶活性、细胞器定位或DNA结合。
• 判定：疾病和细胞类型按标签映射或选项匹配，不是单独的LLM裁判。Prot2Text-V2的描述用BERTScore对照UniProt功能文本。

主结果

表格较宽，可左右滑动

模型	扰动	完整输入	扰动后	出处
BioReason RL	DNA打乱，文本保留	准确率0.847	0.847	Table S2
ChatNT	序列打乱，splice donor	0.988	0.502	Fig. 2b
BioReason-Pro RL	ESM3打乱，GO-GPT与InterPro保留	Fmax 0.855	0.856	正文、Fig. 6c
Prot2Text-V2	去掉蛋白名与分类单元	未报告	BERTScore F1下降0.177	Fig. 2d
C2S-Scale 27B	基因句顺序打乱	准确率0.446	0.351	Fig. 2e
CellWhisperer	immune1内置换基因计数	1−分位数0.98	0.53	Fig. 2f

• 准确率不变时答案仍可改变：Table S2把BioReason RL两端都记为0.847，净变化为+0.001，同时有101/1,449个答案改变（7.0%）。BioReason-Pro有46.8%的蛋白GO集合改变，平均Jaccard为0.889（Table S3）。作者称去掉基因名时BioReason准确率下降最大（Fig. 2a），正文未给出该条件的数字。
• 另外两个ChatNT任务与CellWhisperer的lung：splice acceptor从0.987到0.502，TATA启动子从0.971到0.577。作者称打乱序列的正确标签定义不清，但该结果支持回答相对原序列发生变化。lung上1−分位数从0.84到0.25；C2S-Scale 27B重采样后为0.406（Fig. 2e、f）。
• 证据冲突与探针：BioReason有97.9%与文本来源B一致（Fig. 3a），BioReason-Pro有99.7%与GO-GPT一致（Fig. 3b）。Prot2Text-V2有97.0%偏向序列（Fig. 3c），C2S-Scale 27B有93.7%跟随基因句（Fig. 3d），CellWhisperer有96.1%给表示支持的答案更低perplexity（Fig. 3e）。165条查询上，Evo2输出与投影后表示的探针为0.736和0.735，文本预测器为0.708（Fig. 4a）。三种蛋白性质上，ESM3探针为0.766、0.898、0.830，投影后为0.713、0.921、0.898，BioReason-Pro为0.729、0.890、0.736（Fig. 4b）。作者称这些表示含任务信息，但总体性能贡献有限。

后训练与规模

• SFT对照RL：全部生物文本在场时，BioReason SFT为0.823对打乱后0.814，RL为0.847对0.847（Fig. 6a）。BioReason-Pro的Fmax从SFT的0.829到RL的0.855；换成打乱序列的表示后，SFT为0.829到0.833，RL为0.855到0.856（Fig. 6c）。作者称RL提高了任务表现，但没有增大Evo2或ESM3的性能贡献。
• 42个检查点：模型规模、SFT与RL的LoRA秩和RL时长变化时，准确率变化，原ZEvo2相对打乱序列表示的优势没有稳定变大（Fig. 6b）。作者称后训练可以提高疾病预测准确率，包括基因组能区分标签的查询，而不增加ZEvo2的性能贡献。
• C2S-Scale从2B到27B：未改动细胞句的平均准确率从0.366到0.446。100%去掉DEG时，2B在最强DEG与表达相近非DEG上为0.140和0.363，差值为0.223；27B为0.127和0.446，差值为0.319（Fig. 5）。作者称27B在五个atlas的全量DEG去除上，DEG特异效应都更大。

轨迹、理由与辅助监督

• BioReason写出的碱基：111条单碱基替换留出查询上，RL与SFT写出正确碱基的比例为7.2%和3.6%（Fig. 7a、b；图中为8/111与4/111）。RL在全部145条回答中都写成替换且为T>C，序列被打乱时也如此。作者称SFT对序列有部分响应，不总是写出同一个突变。
• 功能被轨迹提到但未进入预测：53个BioReason-Pro轨迹中，23个在最终预测前用非InterPro条目名的措辞说出被测性质，但全部53个最终响应都省略该性质对应的GO条目（Fig. 7c为例）。C2S-Scale 27B理由引用63.4–67.8个基因，62.6–84.7%为核糖体蛋白基因；全部引用的平均DEG精度为10.63%，低于随机抽取参照，前五个引用则有富集（Fig. S3）。452条点名atlas类型的错误注释中，对预测类型DEG的精度为24.2%，括号中的随机抽取参照为9.9%（Table S6）。加入理由请求后，汇总准确率从0.45到0.41（Table S7）。同一模板下2B没有生成含Rationale的回答。
• 辅助监督很少转到疾病预测：257-bp窗口下，编辑碱基对准确率在完整DNA上为0.671，打乱后为0.122；2,048-bp为0.531和0.099，无辅助监督时为0.080（Fig. 8b）。Table S9记录的下降分别为0.549和0.432，疾病预测下降为0.021和0.028。218条训练中见过的基因组上为0.691和0.606；72条未见基因组为0.148和0.106，始终预测最常见训练碱基对为0.111（Table S10）。作者称改进集中在训练中出现过的基因组。

其他消融与分析

• 时间留出91蛋白：正文并列给出Fmax 0.685与0.682，该句未写明哪一个对应完整输入；作者称只解释留出集内部对比。
• PRNP占165条中的98条，探针准确率0.855，文本预测器0.708。
• GO NOT：106个冲突中98.1%与GO-GPT和InterPro一致（Fig. S1）。
• 七种理由问法、200个细胞：DEG精度10.4%–13.3%，原问法11.2%，细胞句中DEG占16.2%；one-shot准确率从0.40到0.18（Table S5）。
• 基因符号到疾病的多数票，测试集准确率0.932；91个基因都出现在训练中（附录B.5）。
• 附录B.5称，训练提示是否总含可预测文本与输入使用的跨模型对照只是观察；模型的架构、任务、数据和规模不同，不能隔离提示内容的作用。

作者指出的局限与后续方向

• 评测的是六个生物推理模型、特定任务和生物输入，作者认为发现未必推广到其他架构或生物模态（§5）。
• 部分分析打乱序列，可能把表示移出自然序列分布；作者称由未改动输入构成的证据冲突支持同一结论（§5）。
• 线性探针说明目标可从交给推理模型的表示中预测，但不说明语言模型可以如何使用该表示（§5）。
• 作者提出后续可以评测更多模型，并在固定其他训练设置时，检验同一模型内的训练提示变体（§5）。
• 作者提出另一个方向：强化学习目标除最终准确率外，还奖励对生物输入变化作出正确响应（§5）。摘要也写，后续应检验奖励正确使用生物输入的后训练目标能否提高其贡献。
• 附录B.5写明，六个模型之间关于训练时是否总有可预测答案文本的对比，不能隔离训练提示内容的作用，作者没有做受控干预。

实验覆盖范围

• 被评系统为BioReason、ChatNT、BioReason-Pro、Prot2Text-V2、Cell2Sentence-Scale和CellWhisperer，模态为基因组、蛋白和单细胞（Table 1）。
• BioReason使用1,449条KEGG查询、708个基因组、37个疾病标签，并比较SFT、RL和42个后训练检查点（Table 1，Fig. 6）。
• ChatNT为4,578条三项二分类测试查询。作者写明这些查询不提供可与DNA冲突的查询特异生物文本，因此不做证据冲突（§4.1）。
• 蛋白实验包括14,102个reviewed human proteins、91蛋白时间留出、540个蛋白的家族对照，以及Prot2Text-V2的3,917个蛋白（Table 1，§4.1）。
• 单细胞为五个atlas、4,846个细胞，理由分析为2,000个细胞。图中给出95% CI，辅助监督给出三次种子的标准误（Fig. 2–8，Table S9）。论文未报告这些差异的假设检验p值，也未报告自动判定与人工判定的一致性。

作者检验生物推理模型的答案是否依赖它收到的生物输入，而不是把基准准确率直接当成使用证据。

• 问题：模型同时收到基础模型表示，以及基因、通路、注释或基因列表等文本。作者认为这些表示可能重叠，所以高分不能说明某一路被用上。
• 做法：固定查询和其他输入后扰动一路生物内容；用两个未改动实体做证据冲突；贡献小时用线性探针看目标能否从该表示预测；再核对推理轨迹。对BioReason还加上编辑碱基的辅助监督。
• 谁在用输入：作者报告ChatNT、Prot2Text-V2、CellWhisperer的生物输入，以及C2S-Scale基因句里的差异表达基因，会改变任务表现。BioReason打乱DNA后，1,449条疾病预测的准确率仍为0.847（Table S2），证据冲突中97.9%跟随文本（Fig. 3a）。BioReason-Pro在GO-GPT和InterPro保留时Fmax为0.855对0.856，冲突中99.7%跟随GO-GPT（Fig. 3b、Fig. 6c）。
• 有信息但不贡献：165条基因组依赖查询上，Evo2输出的线性探针准确率为0.736，文本预测器为0.708（Fig. 4a）。作者称表示里有任务信息，但给这两个推理模型的总体提升有限。
• 后训练、轨迹和辅助目标：SFT到RL提高了BioReason和BioReason-Pro的分数，作者称Evo2、ESM3的性能贡献没有一起变大。C2S-Scale从2B到27B时，全量去掉DEG相对去掉表达相近非DEG的准确率差，从0.223到0.319（Fig. 5）。BioReason的RL轨迹在145条留出查询上都写成T>C。257-bp辅助监督下，打乱使编辑碱基对准确率下降0.549，疾病预测只下降0.021（Table S9），碱基预测的改进集中在训练见过的基因组。
• 作者的结论：高基准分可以在预测性生物输入贡献有限时出现。作者认为，拿到可预测表示，或SFT、RL之后分数更高，都不保证该表示有性能贡献；设计和评测应把正确使用与任务相关的生物输入，和预测准确率一起作为目标。