VGBench 诊断语音 Agent 的声学上下文门控能力
Do Audio LLMs Listen Before They Act? Diagnosing Acoustic-Context Gating in Voice Agents
AI 导读
论文提出 VGBench，一个包含 1,018 条样本的诊断基准，用于评测语音 Agent 在旁谈、自语和说话人切换场景下是否该采取行动。每个样本共享静默、工具调用和自然语言回答三种动作空间；说话人切换对固定指定词句，仅改变声源、距离渲染和时间边界，形成受控的佩戴者到旁观者切换。六个原始 Audio LLM 和三种免训练适配方法往往能识别目标工具，却很少在该切换下抑制动作，原始模型最高切换静默率仅 14%。作者随后以 VoxGate 作为后训练案例：监督训练对 91.3% 的切换指令静默，同时对附近佩戴者指令和纯文本对照都能选对工具；探索性 GRPO 阶段切换表现相近，旁谈准确率从 68.4% 升至 70.9%，自语静默率从 52.0% 升至 60.0%。