跳到正文
10月12日 · 周一

全部论文

找到 25篇
筛选4

攻击类型

越狱10提示注入4投毒与后门4提取与窃取4

攻击技术

梯度与表征优化7跨模态载荷8

影响

有害内容9数据与隐私泄露4输出被操纵9

系统形态

模型与 API11LLM 应用11AI Agent3

攻击者权限

黑盒8

攻击面/入口

用户输入8文档与消息3检索语料6图像与音视频14

层

提示层11模型层20应用层14训练与数据层6

系统组件

MCP 与技能82记忆77RAG48护栏与评审138监控器64推理链26权限与沙箱92微调与开源权重7视觉87音频17视频6图像生成20嵌入8多模态124
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 254篇还没打标签，不在筛选结果里。
层：提示层层：应用层系统组件：音频系统组件：嵌入清除全部

另有254篇论文还没打上分类标签，暂不在筛选结果里。

  3. 分析与理论arXiv 2610.07005

    研究审计 Qwen2-Audio 音频越狱 AdvWave-P 的频率与解码层归因

    遮挡审计 AdvWave-P 音频越狱的频带必要性与解码层关联

    arXiv
    2610.07005
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    Qwen2-Audio-7B-Instruct、LLaMA-Omni
    摘要AdvWave-P 的八频带排序与能量相关。

    这是对加性音频越狱 AdvWave-P 的频率与解码器深度审计，受害模型主要是 Qwen2-Audio-7B-Instruct，不提出新攻击。

    深度解读完整解读
  5. 评测与基准arXiv 2609.35922

    VoxParity 评测：语音智能体在需要听声判断时仍按文字行事

    提出 VoxParity，固定转写只改音频，评测语音智能体是否按行业规则改工具调用

    arXiv
    2609.35922
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    MiMo-V2.6-Pro、gemini-3.7-flash、Qwen3.8-Omni 等15个
    摘要VoxParity 用固定转写的音频对比和 words-only null，测量语音智能体是否按所听内容改变工具调用。

    VoxParity 测量语音智能体在词语不变、只有声音改变时，是否按行业规则改它所执行的工具调用。

    深度解读完整解读
  6. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测多模态提示注入对 Agent 框架的影响

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等6个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  10. 攻击arXiv 2607.01276

    研究者提出嵌入推断攻击 EIA，可在黑盒 IR 系统中识别所用嵌入模型

    提出嵌入推断攻击 EIA，在黑盒 IR 中识别所用嵌入模型

    arXiv
    2607.01276
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    被测模型
    e5-small、e5-small-v2、e5-base 等19个
    摘要EIA 用无序文档集的差异从候选中识别嵌入模型，并给出 reranker 与阈值下的计数。

    EIA 是在黑盒 IR 上识别所用嵌入模型的攻击。。

    深度解读完整解读
  11. 攻击arXiv 2606.12716

    PaperGuard：针对多模态 AI 同行评审的攻击与防御基准

    提出 PaperGuard，用图文注入与梯度扰动抬高自动审稿分数并检测恶意指令

    arXiv
    2606.12716
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Claude-sonnet-4.5、GPT-4o、GPT-4.1 等11个
    摘要PaperGuard 测到提示注入与白盒视觉抬分，并比较分块检索防御。

    PaperGuard同时评测并检测多模态 AI 审稿中的评分操纵。

    深度解读完整解读
  12. 评测与基准arXiv 2606.06037

    SpeechJBB：语码转换语音下大型音频语言模型的越狱基准

    提出 SpeechJBB，评测语码转换语音下音频语言模型的越狱稳健性

    arXiv
    2606.06037
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B-Instruct、Voxtral-Small-24B 等9个
    摘要SpeechJBB 用五语语码转换语音和伪词探针评测九个 LALM，作者将越狱归为对齐失败而非听不懂。

    SpeechJBB 用合成语音测量 LALM 在五语、语码转换和局部伪词混淆下的安全对齐，并另设口语理解对照。

    深度解读完整解读
  13. 攻击arXiv 2605.28074

    SilentRetrieval：以语义保持的对抗数据投毒劫持检索增强生成

    提出 SilentRetrieval，以语义保持对抗文档投毒劫持 RAG 检索与生成

    arXiv
    2605.28074
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama-2-7B-Chat、Mistral-7B-Instruct-v0.2、Qwen-7B-Chat 等10个
    摘要两阶段投毒在单文档协议下兼顾检索劫持、生成操纵与近良性困惑度。

    SilentRetrieval 是针对 RAG 的两阶段语料投毒，在每查询一篇、合成目标答案的统一协议下，同时处理检索劫持、生成操纵和流畅度。

    深度解读完整解读
  16. 攻击arXiv 2604.14604

    AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入

    提出 AudioHijack，用不可感知对抗音频对语音模型做上下文无关提示注入

    arXiv
    2604.14604
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    SpeechGPT、GLM-4-Voice、VITA-Audio 等15个

    摘要提出了 AudioHijack 框架，揭示了 LALM 对听觉提示注入的脆弱性与传统防御的局限。

    深度解读完整解读
  18. 攻击arXiv 2602.07379

    Aegis：面向 AI 语音 Agent 的治理、完整性与安全

    提出 Aegis 红队框架，多轮攻击高风险语音 Agent

    arXiv
    2602.07379
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-4o、GPT-4o-mini、Gemini-1.5 Pro 等7个
    摘要Aegis 红队评测三类语音智能体：查询式访问消掉认证与泄密成功，行为类攻击仍在。

    Aegis 用多轮红队评测已接入业务系统的 ALLM 语音智能体。作者称这是该设定下的 the first systematic red-teaming framework。

    深度解读完整解读
  19. 攻击arXiv 2602.00364

    「有人把它藏起来了」：针对 LLM 检索的查询无关黑盒攻击

    提出查询无关黑盒攻击 DQ-A，用可迁移文末后缀降低文档检索排名

    arXiv
    2602.00364
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Qwen-1.5-7B-Instruct、SFR-Embedding-Mistral、E5-Mistral-7B-Instruct 等10个
    摘要DQ-A 以无查询黑盒后缀压低 LLM 检索排名，并在 BRIGHT 上比较三种基线。

    DQ-A 是一种 query-agnostic、complete black-box 的文档隐藏攻击，对象是用最后隐层相似度匹配的 LLM 检索。

    深度解读完整解读
加载更多