DiffusionGemma 有多透明？
How Transparent is DiffusionGemma?
论文速读
据论文全文整理（AI 生成），以原文为准
Google DeepMind 团队评估了文本扩散模型 DiffusionGemma 的推理透明度，将其分解为变量透明与算法透明。
- 文本扩散模型 DiffusionGemma 在连续隐空间中进行大量计算，其推理是否比自回归模型更不透明尚不清楚；这关系到能否用 CoT 监控来发现误用与失准。
- 把透明度拆成变量透明度与算法透明度，用 opaque serial depth 量化串行计算；用 Logit Lens 把去噪步间的 self-conditioning 向量压缩为少量 token，并做能力评测、token 身份统计、monitorability 评测和一系列可解释性案例研究。
- 若瓶颈不可解释，DiffusionGemma 的 opaque serial depth 约为 Gemma 4 的 28.6 倍，假设瓶颈可解释则降到 1.1 倍；仅保留每步概率>0.03 的 token 几乎不损性能，且这些 token 多为当前或邻近位置的猜测；monitorability 与 Gemma 4 相近；案例中发现非时序推理、提前预测长度、回溯自我纠正、token/sequence smearing 和中间上下文推理等现象。
- monitorability 评测跨多个 canvas，可能漏掉单 canvas 的退化；观察到的透明度可能只是当前训练与架构的产物；把映射后的隐向量视为可解释存在误判风险；未部署生产级 monitor，逐去噪步提取 logits 会使监控提示更长更贵。
Google DeepMind 团队评估了文本扩散模型 DiffusionGemma 的推理透明度，将其分解为变量透明与算法透明。在 256k 上下文序列上，若假设去噪步之间的信息瓶颈不可解释，DiffusionGemma 26B A4B 的不透明串行深度上界是对应自回归模型 Gemma 4 26B A4B 的 28.6 倍；用 Logit Lens 将步间信息限制为少量候选 token 后基准性能与完整模型持平，该深度降至 1.1 倍，中间 token 也大多是对最终或相邻位置 token 的猜测。在可监控性评测中，DiffusionGemma 与 Gemma 4 表现相当。案例研究还发现非时序推理、token 与序列涂抹（smearing）、中间上下文推理等扩散特有现象，部分中间 token 对后续计算因果必要却不出现在最终输出。
推荐理由研究提供了一套可迁移到未来潜在推理模型的透明度审计方法，DiffusionGemma 的可监控性与自回归 Gemma 4 相当。