摘要剪枝后的 Speech-LLM 不能只看总体 WER:Fair-Speech 上族群差扩大,作者建议看最差组。
全部论文
另有 444 篇论文还没打上分类标签,暂不在筛选结果里。
- 防御arXiv 2609.37568
SECRET:用源条件化中继引导缓解音视频大语言模型的幻觉
提出训练无关的 SECRET,对问题表征做源条件转向以缓解音视频模型幻觉
- arXiv
- 2609.37568
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要SECRET 在问题状态上做源条件转向,三个 AVLLM 上减轻了跨模态接地幻觉。
SECRET 是一种训练无关的问题状态转向方法,用来减轻 AVLLM 的 source-confused grounding hallucination。
- 可解释性arXiv 2610.01864
从孤立特征到轨道:通过多重 SAE 对齐发现音乐概念
提出多 SAE 对齐方法,从音乐模型表征中发现和弦与调性轨道
- arXiv
- 2610.01864
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 组件音频
摘要用移调对齐的多 SAE 恢复和弦、调与旋律轨道,并用少量锚点做下游音乐理解。
作者提出一套面向音乐基础模型的结构可解释性框架:不把 SAE 特征当作孤立概念,而用半音移调把它们连成有序轨道。
- 防御arXiv 2609.27399
GUARD:在 CosyVoice2 上做说话人身份遗忘以阻止重识别
提出 GUARD,在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别
- arXiv
- 2609.27399
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要GUARD 用门控激活转向把退出说话人推向冒充相似度,以抑制再识别并保住音质。
GUARD 用门控激活转向做说话人身份遗忘,使零样本 TTS 对退出说话人难以再识别。
- 可解释性arXiv 2609.34052
通过稀疏自编码器实现神经音频编解码器的可解释框架:面向年龄、性别与口音的探索
用 SAE 分析神经音频编解码器如何编码年龄、性别与口音
- arXiv
- 2609.34052
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 组件音频
摘要SAE steering 被用作探测 NAC 说话人属性编码的代理。
作者用 SAE steering 探测 NAC 表示如何编码说话人属性,目标是可解释性,不是属性转换。
摘要事件名表示在中间层编码相对时间,可改先后判断,但不能稳定改 onset。
这项工作用机制干预检查三个开源 LALM 如何把时间位置绑到声音事件。
摘要黑盒 TTS 成员推断以 recitation 加分层语音表示为分数,说话人级强于记录级,DP-SGD 可压到随机附近。
作者给出一个针对微调文本转语音模型的黑盒成员推断框架,分别审计说话人是否进入微调集,以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成,既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询,认为只有 recitation(用目标转写和干净目标语音要求模型复现)同时满足两条,并把它作为主查询。
- 评测与基准arXiv 2609.06991
AV-SafetyBench:面向文本到音视频生成的安全基准
提出 AV-SafetyBench 评测文生音视频模型的不安全生成
- arXiv
- 2609.06991
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要AV-SafetyBench 用三视角评五个 T2AV 模型,显示只看视频会漏掉音频与联合风险。
AV-SafetyBench 是面向文本生成音视频(T2AV)的安全基准:一条提示词同时规定画面和音频,评测同时看两轨以及它们的交互。作者要测的是,不安全含义不只出现在画面上:它可以主要由语音或声音承载,也可以只有两轨合起来才成立。T2VSafetyBench 不评音频,TTA-Bench 不评与画面的交互,作者认为二者都盖不住这些路径。
- 防御arXiv 2609.29287
AEGIS:用内部信号在中间层拦截大型音频语言模型越狱
提出 AEGIS,用中层内部信号选择性激活后层适配器拦截音频越狱
- arXiv
- 2609.29287
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒