VoxParity 评测：语音智能体在需要听声判断时仍按文字行事

当来电的词语固定、只有音频改变时，智能体执行的工具调用是否按行业书面规则改变。

• 场景与重要性：作者称语音智能体已在电话上转账、续方、预约或取消照护、派援和销户，较新的系统直接听音频而不是转写。紧急呼叫标准、欺诈指引、无线电用语、赌博年龄核验和脆弱客户规则都承认，说话方式或其他可听内容会改变正确动作。作者称只按词语行动的智能体可以处理好日常来电，却恰好在这些规则针对的来电上偏离规则。
• 现有测量的不足：作者称智能体是否按所听内容行动很少被测量。报告来电“sentiment”的语音识别厂商从转写计算该量；音频语言模型被报告能识别情感，随后回答时却像没有识别到（§8）。缺的是相对一个听不见的基线、对智能体实际执行的带类型工具调用的测量。
• 核心检验：若智能体忽略音频，它应在同一词语的每种渲染上采取与读转写时相同的动作，且其动作随音频的移动不应超过只读转写的级联。作者把这一比较称为 words-only null test。
• 本文提出的测量：作者提出 VoxParity：14 个行业的 183 个场景，每个场景固定一份转写，不同音频渲染对应不同的正确可执行工具调用，用确定性匹配器评分、不用评审模型（Figure 1a）。贡献包括该 null 检验、该基准，以及把失误拆到“听到”和“按规则决定”之间的失败地图。

作者在 §8 与 Table 1 把相关工作分成测量行动、感知而不行动、给语音智能体打分，以及人类参照。

测量行动

• Hears but Does Not Listen（Bartelds et al. [5]）——固定开场白、只改说话方式，报告四个实时智能体按词语而不是声音行动，3 个场景、每单元 5 次试验，无统计分析和人类决策参照。作者称 VoxParity 把这一观察放到 183 个场景、28 个系统上，对可执行调用做无评审评分，并设 words-only null 与志愿者参照。
• RW-Voice-EQ [2]——在不同说话方式下评响应质量，不评工具调用。Table 1 中其余近邻（Hear2Act、MSI-Bench、τ-Voice、EchoMind、VoxSafeBench、EmoSBench、ProVoice-Bench）按作者读法，四项属性（固定词语上金标翻转、可执行带类型调用、words-only null、人类做该动作）没有一项被完整同时具备超过一项。

感知而不行动

• Hear2Act [43]——作者引用其结论：音频语言模型能从语音恢复信息，但没有显式中间表示时不能可靠带入行动；把音频加到转写上，最优解率只从 14.6% 升到 15.3%。作者称写入文本的音频推断状态可把行动从 15.3% 提到 39.6%（附录 A.10）。
• 探测研究 [34]，以及 [59]、[83]——作者引用“模型编码的多于它们使用的”。Bartelds et al. [5] 还报告四个系统都按词语行动，其中三个能识别它们做决定时忽略的痛苦、恐惧或讽刺。

给行动打分与级联的角色

• τ-Voice [67]、VAmoS [46]、aiewf-eval [35]、PhoneBench [11]、Audio2Tool [53]、VoiceAgentBench [30]、Full-Duplex-Bench-v3 [40]——评智能体行动，但任务逻辑不随说话方式改变。MTVA-Bench [49] 只在转写上评工具调用。ProVoice-Bench [88] 按声学事件决定是否干预；作者称 VoxParity 在固定转写上翻转哪一个带类型动作正确。
• 基线与基准：words-only cascade 为 Whisper-large-v3-turbo 再接 gpt-oss-120b；评分沿 Berkeley Function Calling Leaderboard [58] 的句法树匹配。场景菜单形式参照 τ-bench [92]，对比集形式参照 CheckList [68]。人类行动参照方面，作者称据其了解，尚无基准让人在“正确动作取决于说话方式”的同一音频上做与模型相同的动作选择或工具调用；最近的 MSI-Bench [87] 是背景语音检索上的感知测量，金标不取决于怎么说。MMAU、MMSU、MMAU-Pro、EmoSBench、MultiVox 的人类数字是标注、回复评分或自由回复质量。

作者把本文定位为：在相同单元上单独和联合变化“声音描述、写明的规则、任务上下文”，以带类型调用相对 words-only null 评分，并把改变请求事实的线索与改变来电者状态的线索放在同一题库。

VoxParity 把一次来电收成决策时刻：角色、有则写明的策略、打乱后的工具菜单，加上一份固定来电转写的多种音频渲染；渲染之间正确的带类型工具调用必须翻转（一个不变对照除外）。

问题设定与题项

• 单元定义：scenario 是题项，call 是它的一种音频变体（表中的一个 cell）。每个变体有自己的金标工具调用、可给部分分的可接受替代，以及关于可听内容的迫选感知探针。常设动作包括 proceed、confirm、clarify、escalate 等。菜单按固定种子逐项打乱，避免“听起来不对就选第二项”靠菜单位置得分。
• 线索与行业：七类可听线索改变应做的事（Table 2）：情感表达（93 项 / 117 单元）、讽刺（8/8）、第二说话人（32/36）、环境声（11/13）、被掩盖的词（7/7）、说话人年龄（9/10）、不流畅或沉默（12/14）；另有 1 个信道对照。信道条件对同一题项的各变体相同，本身不决定金标。182 个反事实题项按“只按词语行动会冒什么风险”分成五类：生命与人身安全 68、对脆弱客户的义务 37、消费者权利 35、财务损失与欺诈 23、安全与授权 19。其中 163 项依据书面强制规定、许可或有记录的行业做法；19 项是早期由语言模型起草的遗留项，凡主张依赖依据时都排除。第 183 项是不变对照。没有题项以说话人性别为条件（附录 A.10）。
• 计分单元：主引擎上 206 个带线索单元（说话方式、场景或说话人偏离该项默认）和 103 个中性单元。保护性单元的金标保护来电者，而词语本身会选出常规动作；有保护性兄弟变体的中性单元称为干净。有 transcript path 指该系统也能在文本上运行。

words-only null test

• 差分：每个变体有文本孪生：同一系统读精确转写。音频得分减去孪生得分，是听见相对读到的增量。words-only cascade（Whisper-large-v3-turbo，再由 gpt-oss-120b 选工具）跑每一个单元；其语言模型听不到音频，因此它自己的音频减孪生只反映转写变动。null 检验是：系统的音频减孪生，再减去 cascade 的同一差分，在带线索的相同单元上做 difference-in-differences。经 Holm 校正后大于零则通过。
• 假设：听不见时，系统的音频减孪生变化会等于 cascade 的变化。作者称唯一稳定进入文本的线索是被掩盖的词；去掉那 7 个单元后，原有通过仍在，并多一个通过（Gemini 3.1 Flash Live；附录 A.5）。该检验不需要人类评审，也不需要感知探针。

刺激、评分与人类参照

• 合成与准入：主引擎为 Gemini-TTS；Kokoro-82M 与 Qwen3-TTS 做第二引擎副本；不克隆声音，场景按带种子的配方混合。作者录了 26 项上的 49 个变体，多为合成较差的说话方式。片段进入题库需独立识别器恢复其词语；有人听过的，须听出预定线索。309 个计分单元中 247 个无人评分，由 Gemini 线索评审准入，它与人在 61 个片段上只一致 0.33（附录 A.3）。冻结时排除 20 个变体。
• 确定性评分：沿 Berkeley Function Calling Leaderboard 的句法树匹配：工具名必须匹配，每个带类型参数须落在可接受值列表中，自由文本经归一化后匹配。金标且参数正确得 1，可接受替代得声明的部分分，否则 0。可接受替代只能奖励该变体自己的音频所支持的动作。与玩家比较时用 selection credit（只评工具选择）。只评智能体的第一轮（附录 A.1）。
• 玩家：约 20 名无偿志愿者在浏览器游戏里做同一选择：相同片段、场景、打乱菜单和常设动作，先锁定动作再答感知题。游戏不展示写明的策略，落地页告知是来电者的声音决定正确走法。34 个会话、27 个浏览器上有 638 个答案，覆盖 144 项的 381 个单元；409 个答案落在系统看到写明规则的题项上。一人贡献 23% 的答案。作者把玩家当作参照而不是要超越的基线，只在相同单元上比较 selection credit，不声称对等。

系统、统计与探测性分解

• 28 个系统：2026 年 9 月 15–25 日，11 家厂商的 28 个音频原生系统经同一流水线和评分器跑冻结题库。音频原生指音频到达选择工具的那个模型。三种服务方式：13 个整段接收片段的 file-mode API、9 个生产实时智能体（Google、OpenAI、xAI、Alibaba）、6 个在一台 Apple 芯片 Mac 上本地运行的开放权重模型。5 个系统没有 transcript path（含全双工 NemotronLabs VoiceChat 11B），与 cascade 比的是准确率。分析用三套：28 个看错误方向，23 个有转写路径的做 null，27 个探针可读的看听辨。选系统是为了覆盖，不是为了性能；Amazon Nova 2 Sonic 未跑。四个领先系统定义为探针可读且带线索得分最高的四个：MiMo-V2.6-Pro、gemini-3.7-flash、Qwen3.8-Omni、gemini-3.8-flash。
• 统计：比较在相同单元上配对，按题项聚类；系统检验用 4,000 次 95% 题项聚类百分位 bootstrap，玩家与部分探索区间为 500 至 2,000 次。对 null 的检验在每个族内做 Holm 校正（23 个差分检验，5 个无转写路径系统的准确率检验）。线索算作被听到，当系统自己在该片段上的探针答对；需要考虑猜测时报告用干净片段误报率校正的识别率 π。
• 错误类型与桥：保护性或干净单元上的第一次调用分为不安全执行（音频要求保护时仍取词语默认）、错过义务、过度触发（干净呼叫上采取保护动作）和推迟。作者把线索分成改变事实与改变来电者状态（feelings：情感表达与讽刺；facts：其余）。探索性分析还把已听出的感受分成急性警报与安静状态，并用“描述声音”和“写明规则”估计从听到到决定之间可补回多少。作者声明：只有 null 判定（§6.2）是确认性的，其余是看过数据之后选定的描述或探索分析（§11）。

实验设置

• 被测系统：28 个音频原生系统，11 家厂商，三种服务方式，2026 年 9 月 15–25 日各跑全部预期单元。Figure 3 列出：Qwen3.8-Omni、gemini-3.7-flash、MiMo-V2.6-Pro、Inkling、StepAudio 3、gemini-3.8-flash、MiMo-V2.6-Flash、Gemini 2.5 native Live、MiMo-V2.5、Voxtral Small、Qwen2.5-Omni-7B、Gemini 3.1 Flash Live、Gemini 3.8 Live、Muse Spark 1.2、Qwen3-Omni-30B、gpt-realtime-2.1、gpt-realtime-2.1-mini、Gemma-4-E4B、Phi-4-multimodal、Gemma-4-12B、Qwen-Audio-3.1 RT、Grok Voice、Nemotron-3-Nano-Omni，以及无转写孪生的 Qwen3.8-Omni-Flash RT、gpt-audio、gpt-audio-mini、Qwen3.5-Omni-Flash RT、NemotronLabs VoiceChat 11B。
• 题库：183 个场景、14 个行业；主引擎上 206 个带线索单元、103 个中性单元。第二引擎与作者录音用于复现。开发集 40 项、81 单元（47 个带线索），143 项留出。
• 基线：words-only cascade 为 Whisper-large-v3-turbo 加 gpt-oss-120b；另用两个文本模型重放同一转写检验 null。玩家约 20 人、638 个答案，只作参照。
• 指标：确定性工具匹配信用（1 / 部分分 / 0）；null 为音频减自身转写再减 cascade 的同一差分，Holm 后大于 0 为通过。保护性呼叫报不安全执行，干净呼叫报过度触发。听辨用自身探针；π 为猜测校正识别率。与玩家比较用 selection credit。
• 评审：无 LLM 评审打分。60 个抽样错误分类相对金标理由人工核对，57 个一致。探针错或对不上选项算错。
• 重复：论文未报告对每个单元的多次采样重复；区间来自题项聚类 bootstrap。

主结果

作者称全部 28 个系统都在“保护性呼叫上执行常规请求”多于“干净呼叫上过度触发”，每个点都在 Figure 1b 等率线之上。

表格较宽，可左右滑动

对象	保护性呼叫上不安全执行	干净呼叫上过度触发	带线索 credit / null
28 个系统汇总	41% [36, 46]	12% [9, 15]	中位 credit 0.34
四个领先系统	34%	18%	未在此表单列
words-only cascade	58%	15%	cue-bearing credit 0.34
有转写路径的 23 个系统，只读自身转写	54% [48, 60]	13% [9, 17]	—
志愿者（所答呼叫，无写明规则）	18%	21%	所答呼叫 selection credit 0.61

据 Figure 1b、§4.1、Figure 3。中位系统不安全执行为 38%，过度触发 11%。

• 方向：作者称去掉任一厂商、以及无论是否通过 null，不对称的方向都不变；听见改变的是不对称的大小。相对自身转写，23 个系统汇总后，音频把不安全执行降低 0.12 [0.09, 0.15]，过度触发变化为 +0.00 [−0.01, +0.01]。18/28 个系统的不安全执行经 Holm 后低于 cascade（汇总 −0.17 [−0.23, −0.12]）；Qwen3-Omni-30B 更高（+0.12 [+0.04, +0.19]）。
• 通过 null：11/23 个有转写路径的系统通过 Holm 校正的 null（Figure 3），其中 10 个也超过另外两个文本模型的地板。11 家厂商中 6 家有系统通过。两个有转写路径的 OpenAI 系统都不通过；7 个有转写路径的生产实时智能体中只有 Gemini 2.5 native-audio Live 通过（+0.15 [+0.09, +0.22]）。两个无转写路径的实时智能体都不比 cascade 更准。没有 transcript path 的系统没有一个在准确率上超过 cascade。28 个系统的中位带线索得分为 0.34，逐单元差为 −0.03 [−0.09, +0.02]。12 个未通过且有转写路径的系统中，8 个在 ±0.10 内等价于 null（3 个在 ±0.05 内）。
• 更严读法：130 个两种渲染正确动作不同的场景上，要求两种都做对；8 个系统经 Holm 后多于 cascade，最高为 gemini-3.7-flash 的 0.35 [0.27, 0.43]；这 8 个都通过 null，排序与 null 的 Spearman ρ 为 0.87 [0.79, 0.92]。cascade 本身为 0.05 [0.02, 0.08]。

规则是否写明，以及安静状态

• 测了什么 → 结果：四个领先系统在情绪单元上相对 null 的增益，规则写明时为 +0.33 [+0.19, +0.49]，未写明时为 +0.00 [−0.11, +0.11]。其他线索在两种情况下都超过 null（+0.47 [+0.34, +0.62] 与 +0.24 [+0.03, +0.46]）。23 个系统中，无写明规则的线索单元落在 null 上（+0.01 [−0.06, +0.07]），有写明规则的超过 null（+0.18 [+0.13, +0.24]）；未校正时 18/23 在写明规则的题项上优势大于零，未写明时为 1/23。感受类单元未写明规则的比例为 59%，事实类为 20%。
• 补上规则：由语言模型按各项依据写成的两支规则，在 gemini-3.7-flash 与名单外的 qwen3.5-omni-plus 上，把这些单元的正确动作提高 +0.17 [+0.07, +0.28]；情绪单元为 +0.16 [+0.05, +0.28] 与边界上的 +0.12 [+0.00, +0.24]。作者称规则不是对金标盲的。
• 急性与安静：四个领先系统在已听出的急性警报上采取词语动作的比例为 6% [1%, 12%]（102 个已听单元），安静状态为 52% [40%, 64%]（152）；已听出的事实为 20% [12%, 29%]，安静状态高出事实 32 个百分点 [17, 46]（Table 4；探索性分组）。27 个系统上该超出为 +0.17 [+0.04, +0.28]，22 个系统为正。玩家在所答呼叫上为 3/43 与 12/46（7% 与 26%，不以听见为条件）。

从听到到决定

• 听辨与决策的空间：四个领先系统上，完美听辨只把带线索信用提高 0.04 [+0.01, +0.08]，完美决策提高 0.28 [+0.23, +0.34]；全场为 +0.13 与 +0.22（§7.1，探索性）。在玩家作答的线索片段上，领先系统猜测校正识别率为 0.77 [0.72, 0.83]，玩家为 0.79 [0.66, 0.88]；在 39 个人类核验过、且多数被 Gemini 线索评审拒绝的线索上为 0.35 对 0.75。
• 描述与规则：gemini-3.7-flash 在规则未写明的情绪呼叫上，两者都没有时为 0.40，描述加写明规则后为 0.83 [0.75, 0.90]，仍比其他线索低 0.17 [0.10, 0.25]。只给描述时，从不听见的文本模型在精确转写上达到 0.76 [0.70, 0.81]，高于每个未辅助音频系统（至多 0.57）。一词标签下，gemini-3.7-flash 在自身音频上环境声为 1.00、第二说话人为 0.97，情感与讽刺为 0.59 [0.51, 0.67]（Figure 2）。假注记不改变结果。描述来自渲染规格，作者称为上界。
• 生命安全与听了却不按规则做：53 个生命安全保护性单元中，17 个上多数系统按词语做；5 个上 28 个系统都没有选择规定动作，包括 Table 3 前两通和一氧化碳报警声后的炉具技师预约。断连同意：四个领先系统都在探针中识别出医疗监护仪，3 个仍安排断连，0 个施加搁置（全部 28 个为 20 个取词语默认、0 个取规则动作）。27 个有探针的系统上，已识别的保护性线索被按规则执行的比例，生命安全与其他都是 40%（+0.00 [−0.11, +0.11]）。

其他消融与分析

• 准确率与识别和 null 不一致（Table 5，23 个系统）：信用高于 cascade 的有 13 个，与 null 不一致 4 个；识别率 ≥0.5 有 13 个，不一致 8 个；识别率 ≥0.72（事后最优阈值）有 7 个，不一致 4 个。排序相关高于判定一致（ρ = 0.86 与 0.79）。风险与准确率排序 ρ = 0.48。
• cascade 自身：带线索单元上音频减孪生为 +0.01 [−0.02, +0.05]；另两个文本模型为 +0.02 与 +0.03。保留填充词的转写器为 −0.02 [−0.06, +0.02]；加上情感与声音事件标签为 +0.06 [+0.00, +0.11]。Whisper 流水线在 150 通由说话方式、不流畅或说话人提示的来电上不放过任何添加的填充或重复，并丢掉 36 个第二说话人中的 35 个、13 个环境事件中的 11 个。
• 无人做对：206 个带线索单元中 29 个没有任何系统做对，14 个在有规程依据的题项里，24 个是情感表达。至少五个场景的行业中，医疗和电信最差，中位系统带线索得分为 0.24（Figure A2）。
• 已听见后的正确率：27 个探针可读系统汇总，情感表达相对其他线索为 −0.10 [−0.18, −0.01]；按规则是否写明分层后为 −0.04 [−0.13, +0.05]。gemini-3.7-flash 分层后仍为 −0.20 [−0.35, −0.04]。
• 自身描述：gemini-3.7-flash 先写一句再行动时，在采取词语动作的情绪呼叫上，严格编码中 30 条低估、否认或标错状态，其中 22 条的迫选探针是对的。先描述再行动只增加 +0.03 [−0.00, +0.07]。
• 稳健性：去掉任一族、领域或遗留项，通过仍在；gemini-3.7-flash 在作者录音和第二合成引擎上复现。实时与文件模式：七对里五对实时带线索信用更低，两对 OpenAI 更高。MiMo-V2.6-Flash 在 309 个探针答案中 146 个包住或截断选项，宽松读法下识别率从 0.40 到约 0.77。开发集与全库能力相关 ρ = 0.991；2PL 在 28 个系统上边际信度 0.985。

作者指出的局限与后续方向

• null 的含义（§11）：作者称 words-only null 只问动作是否随音频移动得超过词语所解释的，不保证移动后的动作是对的；Voxtral Small 主要通过听见后更常调用工具而通过，两种渲染都做对的读法不支持这次通过。
• 分析的确认地位（§11）：作者称只有 §6.2 的 null 判定是确认性的；错误方向、规则是否写明、急性与安静、听辨到决策的分解都是看过数据后选定的描述或探索分析。强制规定范围内，感受与事实的差距检测不到，区间很宽。
• 玩家不是对等线（§3.3、§7.3、§10）：玩家没看到写明的策略，并被告知声音决定走法；缺少规则可能不利于他们，声音指示和四名回访玩家先前看到的揭示可能有利于按声音行动。作者称因此不在任一方向声称对等。玩家比较的检验力大约只能分开 0.19（80% 功效），足以把人与 cascade 分开，不足以把领先系统相对人排序。
• 上界不可直接部署（§9、§5.4）：描述注记来自渲染规格并点名被操纵的维度；规则由各项自身依据改写，不是对金标盲的。作者称两者都不是可部署估计。用反事实对做训练是否有效，本文未测；作者称训练对应由工具链新建，不要取自留出题库（§9、§12）。
• 合成与评审不一致（§2.3、附录 A.3）：无人评分的 247/309 个单元由 Gemini 线索评审准入，该评审与人在 61 个片段上一致率只有 0.33。领先系统与玩家的识别率接近并不发生在人类核验过的线索上（§7.1）。
• 架构只是假设（§9）：作者称结果指向缺少一座桥，而不是缺少听辨：先把听到的内容落到可用的来电者状态描述，再配合写明状态到动作的规则，可能补上大部分缺口。作者把“探针标错线索时更少做对”写成关联，不是标签被使用的证据。

实验覆盖范围

• 系统与时间：28 个音频原生系统，11 家厂商，file API、生产实时与本地开放权重三种方式，2026 年 9 月 15–25 日运行；Amazon Nova 2 Sonic 未跑，未跑系统及原因在附录 A.4。5 个系统无 transcript path，null 只对 23 个系统。
• 题库规模：183 个场景、14 个行业、七类线索加 1 个信道对照；计分用主引擎 206 个带线索单元和 103 个中性单元。19 个遗留项在依赖依据的主张中被排除。开发集 40 项、81 单元，143 项留出。
• 服务与复现：实时相对同族文件模式在七对中五对降低带线索信用、两对 OpenAI 升高。gemini-3.7-flash 的效应在作者 49 个录音变体和第二合成引擎上复现；论文报告的是这一系统的复现，不是全名单。
• 人类参照的规模：约 20 名志愿者、34 个会话、638 个答案、144 项上的 381 个单元；一人占 23% 的答案。比较用 selection credit，玩家不填写参数。
• 评分与统计：第一轮、确定性匹配、无评审模型。系统区间为 4,000 次题项聚类 bootstrap；部分玩家与探索区间为 500 至 2,000 次。论文未报告每个单元的多次生成重复。错误分类审计为 60 个抽样中 57 个一致，速率不带严重性权重。

VoxParity 测量语音智能体在词语不变、只有声音改变时，是否按行业规则改它所执行的工具调用。

• 问题：紧急呼叫、欺诈、无线电、赌博年龄和脆弱客户等规则承认，说话方式或背景声会改变正确动作。只看转写的系统可以做好日常来电，却在这些来电上按字面执行。作者要一个不用人类评审、相对听不见的级联的检验。
• 做法：183 个场景、14 个行业、七类可听线索。同一转写的不同渲染有不同金标工具调用，用句法匹配评分。words-only null 把“音频减自身转写”再减去 Whisper-large-v3-turbo 加 gpt-oss-120b 的同一变化；Holm 后大于零才算因听见而改动作。约 20 名志愿者在相同音频和菜单上选择动作，作为参照。
• 错误方向：28 个系统在保护性呼叫上执行常规请求都多于在干净呼叫上过度触发，汇总 41% [36, 46] 对 12% [9, 15]；cascade 为 58% 对 15%。相对自身转写，听见把 23 个系统的不安全执行降低 0.12，过度触发不变。
• 谁通过：23 个有转写路径的系统中 11 个通过 null；7 个有转写路径的生产实时智能体中只有 Gemini 2.5 native-audio Live 通过。28 个系统的中位带线索信用是 0.34，与 cascade 相同。通过几乎都来自写明规则的题项。
• 听到与决定：四个领先系统上，完美听辨只增加 0.04 信用，完美决策增加 0.28。规则写明时，它们在情绪单元上相对 null 为 +0.33；未写明时为 +0.00。已听出的急性警报上采取词语动作的比例为 6%，安静状态为 52%。把声音描述和规则都写进提示后，gemini-3.7-flash 在规则原本未写明的情绪呼叫上从 0.40 到 0.83，情绪相对其他线索仍低 0.17。从不听见的文本模型加上该描述达到 0.76，高于未辅助音频系统的至多 0.57。作者称缺口在从听见到可用描述和写明规则的桥上，并称该描述是由渲染规格做成的上界。