跳到正文
10月10日 · 周六

全部论文

找到 31 篇
筛选2

攻击类型

越狱4提取与窃取4检测规避3

攻击技术

跨模态载荷3

模型自身风险

幻觉与编造3

防御类型

模型加固5推理时干预4

影响

有害内容4数据与隐私泄露6输出被操纵9

系统形态

模型与 API24LLM 应用5

攻击者权限

白盒3

攻击面/入口

图像与音视频13

层

模型层17应用层6训练与数据层6

系统组件

MCP 与技能63记忆54RAG27护栏与评审107监控器74推理链50权限与沙箱75微调与开源权重48视觉74音频26视频8图像生成37嵌入5多模态135
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 391 篇还没打标签，不在筛选结果里。
系统组件：音频系统组件：嵌入清除全部

另有 391 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2610.09819

    FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

    提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

    arXiv
    2610.09819
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    HuBERT-base、WavLM-base

    摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。

    深度解读完整解读
  4. 评测与基准arXiv 2610.06339

    BabelFake：面向多语言音视频 DeepFake 检测的基准数据集

    构建多语言音视频 DeepFake 基准 BabelFake 并评测检测器

    arXiv
    2610.06339
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    SpeechForensics、AVH-Align、(B)RAVEn
    摘要BabelFake 为五语同意采集基准。

    BabelFake 是经同意与 IRB 批准采集的多语音视频 DeepFake 检测基准，用来把视觉操纵和语音合成拆开比较。

    深度解读完整解读
  6. 分析与理论arXiv 2610.07005

    研究审计 Qwen2-Audio 音频越狱 AdvWave-P 的频率与解码层归因

    遮挡审计 AdvWave-P 音频越狱的频带必要性与解码层关联

    arXiv
    2610.07005
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    Qwen2-Audio-7B-Instruct、LLaMA-Omni
    摘要AdvWave-P 的八频带排序与能量相关。

    这是对加性音频越狱 AdvWave-P 的频率与解码器深度审计，受害模型主要是 Qwen2-Audio-7B-Instruct，不提出新攻击。

    深度解读完整解读
  9. 可解释性arXiv 2610.01864

    从孤立特征到轨道：通过多重 SAE 对齐发现音乐概念

    提出多 SAE 对齐方法，从音乐模型表征中发现和弦与调性轨道

    arXiv
    2610.01864
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    MuQ、MusicFM
    摘要用移调对齐的多 SAE 恢复和弦、调与旋律轨道，并用少量锚点做下游音乐理解。

    作者提出一套面向音乐基础模型的结构可解释性框架：不把 SAE 特征当作孤立概念，而用半音移调把它们连成有序轨道。

    深度解读完整解读
  12. 防御arXiv 2609.37568

    SECRET：用源条件化中继引导缓解音视频大语言模型的幻觉

    提出训练无关的 SECRET，对问题表征做源条件转向以缓解音视频模型幻觉

    arXiv
    2609.37568
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    VideoLLaMA2-AV-7B、Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B
    摘要SECRET 在问题状态上做源条件转向，三个 AVLLM 上减轻了跨模态接地幻觉。

    SECRET 是一种训练无关的问题状态转向方法，用来减轻 AVLLM 的 source-confused grounding hallucination。

    深度解读完整解读
  13. 评测与基准arXiv 2609.35922

    VoxParity 评测：语音智能体在需要听声判断时仍按文字行事

    提出 VoxParity，固定转写只改音频，评测语音智能体是否按行业规则改工具调用

    arXiv
    2609.35922
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    MiMo-V2.6-Pro、gemini-3.7-flash、Qwen3.8-Omni 等 15 个
    摘要VoxParity 用固定转写的音频对比和 words-only null，测量语音智能体是否按所听内容改变工具调用。

    VoxParity 测量语音智能体在词语不变、只有声音改变时，是否按行业规则改它所执行的工具调用。

    深度解读完整解读
  16. 可解释性arXiv 2609.34052

    通过稀疏自编码器实现神经音频编解码器的可解释框架：面向年龄、性别与口音的探索

    用 SAE 分析神经音频编解码器如何编码年龄、性别与口音

    arXiv
    2609.34052
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    EnCodec (24 kHz, 6 kbps)、DAC、SpeechTokenizer 等 5 个
    摘要SAE steering 被用作探测 NAC 说话人属性编码的代理。

    作者用 SAE steering 探测 NAC 表示如何编码说话人属性，目标是可解释性，不是属性转换。

    深度解读完整解读
  18. 防御arXiv 2609.27399

    GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别

    提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别

    arXiv
    2609.27399
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    CosyVoice2-0.5B、F5-TTS、FireRedTTS
    摘要GUARD 用门控激活转向把退出说话人推向冒充相似度，以抑制再识别并保住音质。

    GUARD 用门控激活转向做说话人身份遗忘，使零样本 TTS 对退出说话人难以再识别。

    深度解读完整解读
  20. 防御arXiv 2609.12623

    SteerDuplex：可操控的全双工语音对话模型

    提出 SteerDuplex，用监督微调与两阶段强化学习提升全双工语音对话可控性

    arXiv
    2609.12623
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    SteerDuplex-SFT、SteerDuplex-RL
    摘要SteerDuplex 用 SFT 提升语音可控，用两阶段 RL 改时序，并记录奖励黑客。

    SteerDuplex 是基于 Moshi 的全双工语音模型，目标是在保留轮替、打断和一般任务能力的同时，按用户指令改变内容与发声。

    深度解读完整解读
加载更多