跳到正文
10月9日 · 周五

全部论文

找到 16 篇
筛选4

攻击类型

越狱1提示注入1投毒与后门2提取与窃取2恶意使用1

攻击技术

跨模态载荷1针对防御1潜伏触发2

模型自身风险

奖励作弊1Agent 危险操作1拒答失当1幻觉与编造1偏见与歧视1

防御类型

模型加固4推理时干预3

影响

有害内容2越权操作2数据与隐私泄露3输出被操纵2可用性与可靠性2

系统形态

模型与 API14LLM 应用1AI Agent2网页与电脑操作0

攻击者权限

黑盒1白盒1

攻击面/入口

用户输入2文档与消息1图像与音视频5训练数据2权重与梯度1分发渠道1

层

模型层9应用层2训练与数据层5

系统组件

MCP 与技能54记忆40RAG6护栏与评审54监控器56推理链41权限与沙箱51微调与开源权重39视觉50音频16视频3图像生成21嵌入5多模态86

被测模型厂商

Qwen（阿里）7其他16
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 608 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：网页与电脑操作系统组件：音频清除全部

另有 608 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2610.09819

    FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

    提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

    arXiv
    2610.09819
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    HuBERT-base、WavLM-base

    摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。

    深度解读完整解读
  2. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测智能体框架的多模态提示注入

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  4. 防御arXiv 2609.37568

    SECRET：用源条件化中继引导缓解音视频大语言模型的幻觉

    提出训练无关的 SECRET，对问题表征做源条件转向以缓解音视频模型幻觉

    arXiv
    2609.37568
    发表
    层
    模型层
    场景
    模型与 API
    测试
    VideoLLaMA2-AV-7B、Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B
    摘要SECRET 在问题状态上做源条件转向，三个 AVLLM 上减轻了跨模态接地幻觉。

    SECRET 是一种训练无关的问题状态转向方法，用来减轻 AVLLM 的 source-confused grounding hallucination。

    深度解读完整解读
  5. 可解释性arXiv 2610.01864

    从孤立特征到轨道：通过多重 SAE 对齐发现音乐概念

    提出多 SAE 对齐方法，从音乐模型表征中发现和弦与调性轨道

    arXiv
    2610.01864
    发表
    层
    模型层
    场景
    模型与 API
    测试
    MuQ、MusicFM
    摘要用移调对齐的多 SAE 恢复和弦、调与旋律轨道，并用少量锚点做下游音乐理解。

    作者提出一套面向音乐基础模型的结构可解释性框架：不把 SAE 特征当作孤立概念，而用半音移调把它们连成有序轨道。

    深度解读完整解读
  6. 防御arXiv 2609.27399

    GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别

    提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别

    arXiv
    2609.27399
    发表
    层
    模型层
    场景
    模型与 API
    测试
    CosyVoice2-0.5B、F5-TTS、FireRedTTS
    摘要GUARD 用门控激活转向把退出说话人推向冒充相似度，以抑制再识别并保住音质。

    GUARD 用门控激活转向做说话人身份遗忘，使零样本 TTS 对退出说话人难以再识别。

    深度解读完整解读
  7. 可解释性arXiv 2609.34052

    通过稀疏自编码器实现神经音频编解码器的可解释框架：面向年龄、性别与口音的探索

    用 SAE 分析神经音频编解码器如何编码年龄、性别与口音

    arXiv
    2609.34052
    发表
    层
    模型层
    场景
    模型与 API
    测试
    EnCodec (24 kHz, 6 kbps)、DAC、SpeechTokenizer 等 5 个
    摘要SAE steering 被用作探测 NAC 说话人属性编码的代理。

    作者用 SAE steering 探测 NAC 表示如何编码说话人属性，目标是可解释性，不是属性转换。

    深度解读完整解读
  9. 防御arXiv 2609.12623

    SteerDuplex：可操控的全双工语音对话模型

    提出 SteerDuplex，用监督微调与两阶段强化学习提升全双工语音对话可控性

    arXiv
    2609.12623
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    SteerDuplex-SFT、SteerDuplex-RL、Moshi 等 4 个
    摘要SteerDuplex 用 SFT 提升语音可控，用两阶段 RL 改时序，并记录奖励黑客。

    SteerDuplex 是基于 Moshi 的全双工语音模型，目标是在保留轮替、打断和一般任务能力的同时，按用户指令改变内容与发声。

    深度解读完整解读
  10. 评测与基准arXiv 2609.35922

    VoxParity 评测：语音智能体在需要听声判断时仍按文字行事

    提出 VoxParity 基准，评测语音智能体是否按音频改变工具调用

    arXiv
    2609.35922
    发表
    层
    应用层
    场景
    AI Agent
    测试
    MiMo-V2.6-Pro、gemini-3.7-flash、Qwen3.8-Omni 等 15 个
    摘要VoxParity 用固定转写的音频对比和 words-only null，测量语音智能体是否按所听内容改变工具调用。

    VoxParity 测量语音智能体在词语不变、只有声音改变时，是否按行业规则改它所执行的工具调用。

    深度解读完整解读
  11. 防御arXiv 2608.18607

    VA-Judger：面向联合视频-音频生成的人类偏好反馈奖励建模

    提出 VA-Judger，用人类偏好训练联合音视频奖励模型

    arXiv
    2608.18607
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen3-Omni、VA-Judger、LTX-2 等 6 个
    摘要VA-Judger 用易到难的人类偏好学习做联合音视频奖励，并用于 LTX-2 后训练。

    VA-Judger 是面向联合音视频生成的思维链全模态奖励模型，用来替代由分维度专家指标拼成的强化学习奖励。

    深度解读完整解读
  12. 攻击arXiv 2609.01723

    研究者提出针对微调 TTS 模型的黑盒成员推断攻击

    提出针对微调 TTS 的黑盒成员推断攻击

    arXiv
    2609.01723
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    CosyVoice2、F5-TTS、XTTS-v2
    摘要黑盒 TTS 成员推断以 recitation 加分层语音表示为分数，说话人级强于记录级，DP-SGD 可压到随机附近。

    作者给出一个针对微调文本转语音模型的黑盒成员推断框架，分别审计说话人是否进入微调集，以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成，既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询，认为只有 recitation（用目标转写和干净目标语音要求模型复现）同时满足两条，并把它作为主查询。

    深度解读完整解读
  14. 评测与基准arXiv 2609.06991

    AV-SafetyBench：面向文本到音视频生成的安全基准

    提出 AV-SafetyBench 评测文生音视频模型的不安全生成

    arXiv
    2609.06991
    发表
    层
    模型层
    场景
    模型与 API
    测试
    LTX-2.3、Ovi-1.1、JavisDiT++ 等 7 个
    摘要AV-SafetyBench 用三视角评五个 T2AV 模型，显示只看视频会漏掉音频与联合风险。

    AV-SafetyBench 是面向文本生成音视频（T2AV）的安全基准：一条提示词同时规定画面和音频，评测同时看两轨以及它们的交互。作者要测的是，不安全含义不只出现在画面上：它可以主要由语音或声音承载，也可以只有两轨合起来才成立。T2VSafetyBench 不评音频，TTA-Bench 不评与画面的交互，作者认为二者都盖不住这些路径。

    深度解读完整解读
已经到底了