跳到正文
10月9日 · 周五

全部论文

找到 34 篇
筛选5

攻击类型

提示注入11投毒与后门6提取与窃取5检测规避3恶意使用1

攻击技术

梯度与表征优化2自动化搜索2跨模态载荷7针对防御1潜伏触发2

模型自身风险

Agent 危险操作2拒答失当1

防御类型

推理时干预1检测与过滤5指令与数据隔离1

影响

有害内容2越权操作7数据与隐私泄露8输出被操纵11

系统形态

模型与 API1LLM 应用16AI Agent17编程 Agent1网页与电脑操作4多智能体1

攻击者权限

黑盒3灰盒1白盒1

攻击面/入口

用户输入8网页与界面5文档与消息4工具返回2工具与技能描述1代码仓库与依赖1检索语料6图像与音视频10权重与梯度1分发渠道2

层

提示层23模型层41应用层34训练与数据层19基础设施层1

系统组件

MCP 与技能57记忆44RAG18护栏与评审33监控器43推理链10权限与沙箱55微调与开源权重3视觉15音频4图像生成1嵌入2多模态18

被测模型厂商

Qwen（阿里）25OpenAI21Google20Meta12Anthropic10DeepSeek8智谱 GLM7Kimi（月之暗面）6Microsoft5其他26
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 532 篇还没打标签，不在筛选结果里。
层：应用层系统组件：RAG系统组件：视觉系统组件：嵌入系统组件：多模态清除全部

另有 532 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2609.37468

    论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法

    提出检索器后门攻击操纵智能体多轮搜索，并用 DOU 隐蔽后门

    arXiv
    2609.37468
    发表
    层
    应用层
    场景
    AI Agent
    测试
    E5、Contriever-MSMARCO、Qwen2.5-7B-Instruct

    摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。

    深度解读完整解读
  3. 防御arXiv 2605.19847

    论文揭示多租户 RAG 账号合谋使隐私泄露随账号数线性增长

    提出零知识审计协议，核验多租户 RAG 的合谋差分隐私

    arXiv
    2605.19847
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    MultiTenantRAGService、FAISS、HNSW (M=64, efcstr=200, efq=128) 等 4 个
    摘要揭示多租户 RAG 合谋泄露按根号 k 放大，提出带零知识证明的无泄露审计协议。

    论文针对多租户 RAG 服务在多账户协同攻击下隐私边界失效的问题展开研究。

    深度解读完整解读
  4. 攻击arXiv 2608.04565

    研究者提出 Breadcrumbing 长程攻击，可劫持 DeepResearch 类搜索 Agent 的证据链

    提出权威链劫持 ACH 与策略演化 TGSE，劫持搜索 Agent 的证据链

    arXiv
    2608.04565
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen3.5-9B、Gemma4-31B、DeepResearch 等 8 个

    摘要论文揭示了多步搜索智能体在受限中间人操纵下的脆弱性，提出 ACH 策略与 TGSE 演化方法并完成系统验证。

    深度解读完整解读
  5. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  7. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  8. 防御arXiv 2610.05870

    MBZUAI 提出可校准的真实图像认证方法

    提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动

    arXiv
    2610.05870
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    白盒
    测试
    SD2.1、SD3、SD3.5 等 10 个

    摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。

    深度解读完整解读
  9. 评测与基准arXiv 2610.03938

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测启用工具调用后多模态模型拒答有害图文请求的变化

    arXiv
    2610.03938
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Gemini-2.5-Pro、Gemini-3.1-Pro-Preview、Claude Opus 4.6 等 13 个
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    深度解读完整解读
  12. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测智能体框架的多模态提示注入

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  14. 分析与理论arXiv 2608.06270

    研究用因果审计揭示多模态模型视觉工具调用的假象

    用因果审计检验视觉工具观察是否真正改变答案

    arXiv
    2608.06270
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepEyes、Pixel Reasoner、Mini-o3 等 6 个
    摘要聚合增益集中在 Calibrated 少数轨迹，作者称之为视觉工具使用的错觉。

    对六个 thinking-with-images 模型做因果审计，检查 crop-and-zoom 返回的观察是否中介最终答案。

    深度解读完整解读
  15. 评测与基准arXiv 2609.05535

    Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测

    提出 Mind2Web-Injection，评测网页 Agent 截图护栏的证据对齐

    arXiv
    2609.05535
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5.6-luna、Qwen3-VL-32B、Qwen3-VL-8B 等 6 个
    摘要作者称检测、定位和反事实响应在六个 VLM 上可分开。

    Mind2Web-Injection 用来检查网页截图护栏的判决是否对齐到该用的画面证据。。

    深度解读完整解读
  16. 评测与基准arXiv 2609.31342

    研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案

    评测 RAG 中过期文档推翻模型原本正确回答的现象

    arXiv
    2609.31342
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    GPT-4o、GPT-4.1、Claude-Opus-4.5 等 13 个
    摘要论文评测了陈旧检索推翻正确知识的中毒现象，并分析了其内部机制与防御局限。

    这篇论文是对检索增强生成（RAG）中“陈旧文档中毒”现象的实证与机理评估研究。

    深度解读完整解读
  17. 其他arXiv 2609.16694

    面向安全 AI 渗透测试智能体：安全威胁、护栏与架构视角

    综述自主渗透智能体的继承攻击、架构攻击及护栏覆盖缺口

    arXiv
    2609.16694
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-4、GPT-4o、Llama-3 等 6 个
    摘要用双轴分类连接渗透智能体的架构、攻击与护栏，并认为现有防御仍按组件分开。

    这是一篇关于自主 AI 渗透测试智能体的安全综述：用架构和生命周期两轴整理威胁与护栏，不做新的攻击实验。

    深度解读完整解读
  18. 评测与基准arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 11 个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
  20. 攻击arXiv 2609.12448

    GraphProfiler 用个人知识图谱推断敏感属性并溯源到具体帖子

    提出 GraphProfiler，用个人知识图谱从帖子历史推断敏感属性并溯源

    arXiv
    2609.12448
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Azure OpenAI GPT-4o
    摘要GraphProfiler 用源链接个人知识图谱做属性推断，准确率接近文本基线，并把证据定位到少量源帖。

    GraphProfiler 是一个可审计的 LLM 敏感属性画像器：用源链接个人知识图谱，把推断落到具体帖子。

    深度解读完整解读
加载更多