大型音频语言模型中的时间绑定机制研究

三个开源 LALM 如何把声音事件与时间位置绑在一起，以及该绑定能否同时支持粗粒度先后判断和精确 onset 定位，作者认为仍不清楚。

• 场景：时间推理要识别事件、把每个事件连到粗粒度时间位置并比较这些表示；更细的定位还要找出边界并映到连续时间轴。作者称近期 LALM 在时间音频推理基准上粗粒度任务表现较好，但仍有不足。
• 缺口：作者称模型内部如何绑定时间位置、哪些隐藏激活主要参与时间推理，仍不清楚。作者认为弄清这些机制有助于定位失败来源，并指出可能需要改进的组件。
• 参照：Kang 等报告，视觉与视频语言模型里的位置信息会绑定到文本物体激活，并因果影响预测。作者据此问 LALM 是否出现类似的事件绑定时间表示，以及它是否同时支持粗粒度推理和精确事件定位。
• 做法：对 AF-Next、MOSS-Audio、Qwen3-Omni 做激活交换和表示分析。作者称三者都在中间模态整合层把事件特异位置集中到事件名表示；沿低维、弯曲的相对时间轨迹干预，会系统性改变 before/after 信念，但不稳定地改变预测的 onset 时间戳。作者认为两类任务依赖不同机制。

引言把讨论集中在三类已有工作，并用视觉模型中的位置绑定作为本文的参照。

时间推理评测

• 基准上的表现：作者将 CompA（Ghosh 等，2024）、Bhattacharya 等（2025）、MMAU（Sakshi 等，2025）和 Kulkarni 等（2026）放在一起，称近期 LALM 在时间音频推理基准上有进展，粗粒度任务表现较好，但仍有不足。

机制可解释性工具

• 编码与因果：作者列举 probing（Alain 与 Bengio，2017）、causal tracing（Meng 等，2022）、activation patching（Zhang 与 Nanda，2024）和 representation steering（Li 等，2023）。作者称这些方法能显示信息编在何处，以及它如何因果地影响行为。

多模态上的机制干预

• 音频模型：作者称已有研究用机制干预考察 LALM 的 audio–text fusion（Chen 等，2026），并识别加强音频落地的 audio-specialized attention heads（Glazer 等，2026）。
• 视觉时空表示：Kang 等（2026）报告视觉与视频语言模型中的低维时空表示，位置信息绑定到文本物体激活并因果影响预测。作者问 LALM 是否出现类似的、绑到事件上的时间表示，以及该表示能否同时支持粗粒度推理和精确事件定位。

作者把本文放在这一对照上：在三个开源 LALM 中用激活交换和表示分析检验该表示是否出现，并分开检验粗粒度先后判断与精确时间戳。作者认为粗粒度推理有跨模型的共同机制，精确度量定位似乎依赖另一机制。

整体用激活交换定位时间信息进入文本残差的层和 token，再用 temporal ID 刻画相对时间轨迹，并沿轨迹干预事件名表示。

场景、录音与问法

• 合成：ESC-50 前景去掉首尾静音，混入 FreeSound 背景，SNR 约 −5 到 0 dB。背景里被 audio tagger 检出的 ESC-50 类不再插入。合成实验有不相交的 development 与 test。tagger 的名称论文未给出。
• 自然音频：RealDESED 子集。论文称录音长 15–30 s，15 个事件类有较强的时间标注。实验按需要选取两个顺序清楚的事件，或一个可辨认、与其他事件时间重叠有限的事件。
• 问法：先后任务询问查询事件在参考事件之前还是之后；存在性任务询问是否有查询事件。onset 提示词原文论文未给出。

激活交换与信念偏移

• 镜像对：10 s 合成录音，同一背景、两个 ESC-50 事件，顺序相反，问句相同。
• 操作：每一层把 x 的一组残差流激活换成配对录音 y 的对应激活，然后继续前向。
• SL：教师强制，条件前缀为查询事件加 occurs，读 before 与 after 的概率。a* 是 x 的真实关系。S_L=(p_x(a^⋆)−p_x̃L(a^⋆))/(p_x(a^⋆)−p_y(a^⋆))。作者把 0 定义为无效果，把 1 定义为复现镜像录音带来的全部信念变化。
• 比较对象：音频 token、全部文本 token、事件名 token、before/after 对照 token、最后 token。逐层数值不在正文表格中，模式写在 Section 3.1 与 Figure 1。

解码、时间 ID 与几何

• 解码：30 s 合成录音含两个随机位置的不同 ESC-50 事件，问是否存在查询事件。hL,q 是查询事件名末 token 在层 L 的残差，hL,1 是提示词首 token（Is）的激活。单隐层 MLP 回归查询事件中点 tq 和未提及事件中点 to。五折按查询类划分：40 类训练，其余 10 类评估。
• 时间 ID：30 s、单个 ESC-50 事件。按中点放入 2.5 s 的箱。类中心化后的箱内均值为 τ_L,k=𝔼[h_L,q(x)−μ_L,cq∣ t_q∈ B_k]。μL,c 是类 c 的训练集均值。支持不足的箱丢弃。作者称类中心化去掉事件身份带来的变化，使 ID 主要留下与时间位置相关的变化。
• 几何检验：在 Section 3.1 所说的代表性模态整合层对保留的 ID 矩阵做 PCA。正文未给出这些层的编号。再用时长可变的 RealDESED：类中心化事件名激活，投到合成 temporal ID 的前两个主成分，分别按绝对中点 tq 和相对位置 rq=tq/Tx 拟合。

沿轨迹的加性干预

• 方向：用固定时长的合成训练数据，在选定的模态整合层重建轨迹，并按相对时间 rq=tq/T 插值。方向从当前 ID 指向轨迹起点或终点，再除以两端 ID 之差的 L2 范数。前向指向录音末尾，后向指向开头。
• 施加：推理时加到查询事件的事件名 token 上。强度由系数 α 和所选 token 激活范数 ρL 决定。α 的取值论文未给出。Figure 4 与 Figure 5 的图注把该层标为 AF-Next L16、MOSS-Audio L18、Qwen3-Omni L24。
• 两种读出：先后任务仍看教师强制下的 before/after 概率。onset 任务使用查询类恰好出现一次的 RealDESED 子集，比较干预前后的预测起始时间。

实验在三个开源 LALM 上比较粗粒度先后判断和精确 onset，二者对同一时间表示的反应不同。

实验设置

• 模型：AF-Next、MOSS-Audio、Qwen3-Omni。
• 数据：合成场景用 ESC-50 前景和 FreeSound 背景，SNR 约 −5 到 0 dB，development 与 test 不相交。交换实验为 10 s 镜像对；解码和时间 ID 为 30 s 录音。自然音频是 RealDESED 子集，15–30 s、15 个事件类。各条件的录音条数论文未报告。
• 对照：无外部算法基线。交换实验比较音频、全部文本、事件名、before/after 对照 token 和最后 token。解码比较自身事件名到 tq、同一表示到未提及事件 to、首 token 到 tq。
• 指标与读出：SL、中点 MAE、主成分方差、端点余弦、多元 R²、概率偏移、翻转率、onset 位移和基线 MAE。before/after 用教师强制读 next-token 概率，前缀为查询事件加 occurs。无外部评审模型，论文未报告人工评估。
• 划分：解码为五折，40 个查询类训练、10 个类评估。干预层只在 Figure 4、Figure 5 图注中标出：L16、L18、L24。α 未报告。

主结果

下表合并 Section 4.2、5.2、5.3 的分模型数字。翻转率对应自然音频上、干预前与目标关系相反的预测；R² 是 RealDESED 上相对位置拟合相对绝对中点拟合；onset MAE 是干预前。约 3.5–4 s 的解码误差是三模型共用的正文描述，不拆进格子。

表格较宽，可左右滑动

模型	前两PC方差	R²绝对到相对	对立翻转率	onset基线MAE
AF-Next	83.9%	0.19到0.43	82%	6.48 s
MOSS-Audio	86.4%	0.31到0.53	84.2%	2.01 s
Qwen3-Omni	86.5%	0.30到0.52	70.7%	2.21 s

• 先后与几何：作者称 temporal ID 位于低维弯曲轨迹，相对位置比绝对时间拟合更好。沿轨迹干预后，概率质量转向目标关系；已与干预一致的预测有 99.5% 保留原判断（Section 5.2，未按模型拆分）。
• 解码粒度：正文称中间层从事件名激活解码查询事件中点，MAE 大约 3.5–4 s（Section 3.2 对 Figure 2 的描述）。作者认为这过粗，不足以承担精确定位。
• onset：同一端点干预没有带来一致的时间位移。作者认为粗粒度推理使用这些 temporal ID，精确事件定位依赖另外的机制。

层间信息流

• 设置：10 s 合成镜像对，按层替换 token 组并计算 SL（Figure 1）。横轴标到 AF-Next 27、MOSS-Audio 35、Qwen3-Omni 47。图例为 Audio、Text、Event names、Control、Last token。正文没有逐层数字。
• 模式：作者称早期换音频表示会强烈改变时间信念，换全部文本影响小；中间层音频影响下降，只换事件名 token 会带来大的信念偏移；更后层事件名效应消退，全文本干预转为主导，最后 token 在单个 token 里影响最大。对照 token 接近 0。
• 解读：作者称事件特异时间信息在中间层绑定到事件名的文本表示，交换后预测改变，并称它们因果参与时间推理。

可解码性

• 设置：30 s 双事件合成录音，单隐层 MLP，五折、40/10 类（Figure 2）。纵轴为 MAE（s），刻度标有 3 和 6。三条曲线是 hL,q 预测 tq、hL,q 预测 to、hL,1 预测 tq。
• 结果：正文称蓝色曲线（自身事件名预测 tq）在中间层大约 3.5–4 s，另外两条误差一直更高。论文未给出后两条的秒数。作者称可解码性峰值与激活交换标出的模态整合区重叠。
• 解读：作者称该表示是粗粒度、事件特异的，并且能跨声音类泛化。

onset 干预与例外

• 设置：RealDESED 子集，查询类恰好出现一次；干预方向与先后实验相同（Figure 5）。纵轴 Shift toward target (s)，刻度从 −10 到 40。Early / Late 是干预前被判在前半段或后半段的样本。
• 结果：作者称没有一致的时间步位移。AF-Next 与 MOSS-Audio 不对称：前向影响小，后向可以把偏晚预测移开；论文未给出移开的秒数。AF-Next 的后向干预大体把预测重置为 0 s。Qwen3-Omni 偏移更弱，但更双向、朝向目标。
• AF-Next 的预测分布：干预前 56.1% 的预测是 0 s，13.8% 是 1.5 s。作者认为这些不对称、随模型变化的效应意味着 temporal ID 只编码粗位置，只能偏置或覆盖另一套细粒度检测机制。

其他消融与分析

• 三模型端点余弦相似度介于 −0.71 与 −0.73，未按模型分开（Section 4.2）。
• 作者称 ID 幅度靠近录音中点变小、靠近两端变大；Figure 3 图注只写投影到前两主成分。
• 与干预方向已一致的 before/after 预测保留 99.5%（Section 5.2）。
• before/after 对照 token 的 SL 接近 0（Section 3.1）。
• 从事件名预测未提及事件、或从首 token 预测 tq 的 MAE 更高，具体秒数未报告（Figure 2）。
• 时间箱宽 2.5 s；支持不足的箱被丢弃，阈值未报告（Section 4.1）。

讨论中写明的局限与后续方向，和实验章节写明的范围，下面分开列出。

作者指出的局限与后续方向

• 三个模型：作者称分析限于三个模型（Section 6）。
• 问法：作者称使用的查询表述集合较小（Section 6）。
• 场景：作者称声学场景相对简单，查询事件是孤立的，且没有强重叠（Section 6）。
• 更难条件：作者提出后续工作应把分析扩展到更具挑战的声学条件（Section 6）。
• 细粒度机制：作者提出后续工作应研究细粒度时间定位背后的机制（Section 6）。

实验覆盖范围

• 模型：被测模型为 AF-Next、MOSS-Audio、Qwen3-Omni，共 3 个开源 LALM（摘要、Section 2）。
• 合成实验：前景为 ESC-50，背景为 FreeSound，SNR 约 −5 到 0 dB；有不相交的 development 与 test。激活交换用 10 s 镜像对，解码与 temporal ID 用 30 s 录音（Section 2–4）。
• 自然实验：RealDESED 子集，录音 15–30 s，15 个事件类。先后判断选取两个顺序清楚的事件；onset 选取查询类恰好出现一次的录音（Section 2、5.3）。相对位置与绝对中点的比较也用时长可变的 RealDESED（Section 4.2）。
• 读出设置：中点解码是单隐层 MLP，五折，40 个查询类对 10 个查询类。先后与 onset 的干预层在图注中为 AF-Next L16、MOSS-Audio L18、Qwen3-Omni L24（Section 3.2，Figure 4、Figure 5）。
• 论文未报告：各条件录音条数、系数 α、重复次数、onset 提示词原文，以及人工一致性（Section 5）。

这项工作用机制干预检查三个开源 LALM 如何把时间位置绑到声音事件。

• 问题：先后比较需要事件级的粗粒度时间；精确 onset 还要把边界映到连续时间轴。作者称外部基准上粗粒度任务已有进展，绑定发生在哪些激活仍不清楚。
• 做法：对 AF-Next、MOSS-Audio 和 Qwen3-Omni，用顺序相反的合成录音交换残差，看信念何时从音频 token 转到事件名 token；再构造类中心化的 temporal ID，沿相对时间轨迹加到事件名上。
• 表示：作者称三个模型的流向一致：早期音频激活主导，中间层事件名 token 接管，后层转为更广的文本表示，最后 token 的单项影响最大。中间层解码查询事件中点的 MAE 大约 3.5–4 s。前两主成分解释的 temporal ID 方差为 83.9%、86.4%、86.5%。RealDESED 上相对位置的多元 R² 为 0.43、0.53、0.52，高于绝对中点的 0.19、0.31、0.30。
• 因果分裂：自然音频上，与目标相反的 before/after 预测翻转率为 82%、84.2% 和 70.7%；已对齐的预测保留 99.5%。同一干预不能稳定移动 onset。干预前，RealDESED 子集上的 onset MAE 为 AF-Next 6.48 s、MOSS-Audio 2.01 s、Qwen3-Omni 2.21 s。作者认为 temporal ID 主要服务粗粒度推理，精确定位另有机制。
• 作者的边界：作者称分析限于三个模型、较小的问法集合，以及查询事件孤立、无强重叠的场景。作者提出后续应考察更难的声学条件，并研究细粒度定位机制。