跳到正文
10月10日 · 周六

全部论文

找到 24 篇
筛选8

攻击类型

越狱30提示注入20投毒与后门14提取与窃取4检测规避8恶意使用4

攻击技术

梯度与表征优化6跨模态载荷9潜伏触发3

影响

越权操作9数据与隐私泄露4输出被操纵11

系统形态

模型与 API9LLM 应用10AI Agent15coding agent1web agent6

攻击面/入口

用户输入4网页与界面7文档与消息3工具返回3检索语料4图像与音视频12

层

提示层4应用层15训练与数据层3

系统组件

MCP 与技能41记忆28RAG5护栏与评审18监控器18推理链10权限与沙箱38微调与开源权重3视觉16音频4图像生成5多模态24
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 196 篇还没打标签，不在筛选结果里。
攻击类型：提示注入攻击类型：提取与窃取系统形态：模型与 API系统形态：AI Agent系统形态：coding agent系统组件：RAG系统组件：视觉系统组件：音频清除全部

另有 196 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 防御arXiv 2610.09469

    Secure-CUA：约束计算机使用智能体中不可信内容的影响

    提出 Secure-CUA，用动作事务约束计算机使用智能体的不可信影响

    arXiv
    2610.09469
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Claude Opus 5、Gemini 3.8 Flash、GPT-5.6-Sol
    摘要Secure-CUA 用每步事务约束不可信影响，良性 TSR 接近 Vanilla-CUA。

    Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。

    深度解读完整解读
  3. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    web agent
    被测模型
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  4. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    被测模型
    Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  5. 评测与基准arXiv 2609.39146

    MADBench：多智能体辩论安全性评测基准发布

    提出 MADBench，评测多智能体辩论是吸收还是放大对抗影响

    arXiv
    2609.39146
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    gpt-4o、GPT-5、GPT-6 Astra
    摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。

    MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。

    深度解读完整解读
  6. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  8. 评测与基准arXiv 2609.35912

    MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    提出 MMSkillRisk 基准，评测多模态技能图像中的隐藏指令诱导 Agent 越权操作

    arXiv
    2609.35912
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    GPT-5.6-sol、Kimi-K2.6、Kimi-K3 等 6 个

    摘要论文提出 MMSkillRisk 基准与 NCVA 攻击，揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。

    深度解读完整解读
  10. 评测与基准arXiv 2609.33481

    IDUnlearn-Bench：面向视觉语言模型的个体级遗忘基准

    提出 IDUnlearn-Bench，评测 VLM 个体级遗忘后的身份残留

    arXiv
    2609.33481
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen3-VL-2B、Qwen3-VL-4B、Qwen3-VL-8B 等 6 个
    摘要IDUnlearn-Bench 用四族探针显示：压低直接属性访问后，身份仍常能被反向查出、绑定或重构。

    IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人，而不只是答不出某条监督事实。

    深度解读完整解读
  11. 防御arXiv 2609.15671

    QPriv-VL：面向视觉语言模型的问题引导 token 裁剪隐私防御

    提出 QPriv-VL，用问题引导剪枝降低分布式视觉问答的隐私泄露

    arXiv
    2609.15671
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    LLaVA-1.5-7B、Llama-2
    摘要QPriv-VL 在切层前按问题相关度与 DINOv2 敏感度剪视觉 token，作者称能在约四成 token 下兼顾准确率与四类攻击。

    QPriv-VL 把问题引导的视觉 token 剪枝做成分布式 VQA 的客户端隐私防御，而不是只做集中式推理加速。

    深度解读完整解读
  12. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测多模态提示注入对 Agent 框架的影响

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  13. 评测与基准arXiv 2609.04859

    MM-IFEval-Pro：面向视觉语言模型的多语言抗攻击指令遵循基准

    提出抗攻击多语言视觉指令遵循基准 MM-IFEval-Pro

    arXiv
    2609.04859
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    Qwen3-VL-8B-Instruct、InternVL3.5-8B、MiniCPM-V4.5 等 5 个
    摘要MM-IFEval-Pro 以规则验证评测中英指令遵循与视觉劫持，GRPO 提高两基座平均分。

    MM-IFEval-Pro 是面向 VLM 的中英多模态指令遵循基准，并配有可用规则计算奖励的 GRPO 训练集。

    深度解读完整解读
  14. 攻击arXiv 2609.04533

    Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击

    提出 Repeat-After-Me 自适应视觉提示注入，诱导 VLM 智能体执行指定任务

    arXiv
    2609.04533
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude-Opus-4.7、GPT-5.5、Gemini-3.1-Pro 等 6 个

    摘要论文提出了针对黑盒 VLM 的前缀诱导自适应视觉提示注入，在多款模型上诱发了工具调用与隐私泄露。

    深度解读完整解读
  15. 攻击arXiv 2609.01723

    研究者提出针对微调 TTS 模型的黑盒成员推断攻击

    提出针对微调 TTS 的黑盒成员推断攻击

    arXiv
    2609.01723
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    CosyVoice2、F5-TTS、XTTS-v2
    摘要黑盒 TTS 成员推断以 recitation 加分层语音表示为分数，说话人级强于记录级，DP-SGD 可压到随机附近。

    作者给出一个针对微调文本转语音模型的黑盒成员推断框架，分别审计说话人是否进入微调集，以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成，既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询，认为只有 recitation（用目标转写和干净目标语音要求模型复现）同时满足两条，并把它作为主查询。

    深度解读完整解读
  16. 攻击arXiv 2608.04565

    研究者提出 Breadcrumbing 长程攻击，可劫持 DeepResearch 类搜索 Agent 的证据链

    提出权威链劫持与轨迹引导策略演化，劫持搜索 Agent 的证据链

    arXiv
    2608.04565
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Qwen3.5-9B、Gemma4-31B、DeepResearch 等 7 个

    摘要论文揭示了多步搜索智能体在受限中间人操纵下的脆弱性，提出 ACH 策略与 TGSE 演化方法并完成系统验证。

    深度解读完整解读
  18. 攻击arXiv 2607.00422

    KidnapRAG：黑盒投毒攻击劫持 Agentic RAG 的推理链

    提出 KidnapRAG，用投毒文档黑盒劫持 Agentic RAG 的推理链

    arXiv
    2607.00422
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen2.5-32B-Instruct、Llama-3.3-70B-Instruct、QwQ-32B 等 5 个
    摘要顺序投毒可把多步推理拖向指定应答，作者称关键在持续引导而非单次注入。

    KidnapRAG 是针对 Agentic RAG 的 black-box 语料投毒：攻击者不能访问模型、提示词、检索器或私有轨迹，只能发布可能被检索的文档，并利用公开界面上的推理与搜索查询。

    深度解读完整解读
  19. 攻击arXiv 2604.14604

    AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入

    提出 AudioHijack，用不可感知对抗音频对语音模型做上下文无关提示注入

    arXiv
    2604.14604
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    SpeechGPT、GLM-4-Voice、VITA-Audio 等 15 个

    摘要提出了 AudioHijack 框架，揭示了 LALM 对听觉提示注入的脆弱性与传统防御的局限。

    深度解读完整解读
加载更多