跳到正文
10月9日 · 周五

全部论文

找到 90 篇
筛选6

攻击类型

越狱14提示注入40投毒与后门17模型篡改1提取与窃取3检测规避15拒绝服务1恶意使用5

攻击技术

梯度与表征优化8自动化搜索8编码与混淆3推理链操控1跨模态载荷16针对防御4潜伏触发6

模型自身风险

Agent 危险操作3拒答失当2

防御类型

模型加固9推理时干预6检测与过滤14指令与数据隔离13权限与审批12监控与审计4水印与溯源4

影响

有害内容14越权操作25数据与隐私泄露11输出被操纵33可用性与可靠性2

系统形态

模型与 API36LLM 应用9AI Agent45编程 Agent3网页与电脑操作13多智能体2具身与机器人2

攻击者权限

黑盒10灰盒1白盒8

攻击面/入口

用户输入174网页与界面40文档与消息56工具返回69工具与技能描述39代码仓库与依赖21检索语料15记忆写入29Agent 间消息16图像与音视频44训练数据11权重与梯度16分发渠道29推理服务与硬件4

层

提示层19模型层19应用层52训练与数据层46基础设施层1

系统组件

MCP 与技能5记忆7RAG4护栏与评审14监控器3推理链3权限与沙箱9微调与开源权重3视觉24音频7视频3图像生成10嵌入1多模态41
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 530 篇还没打标签，不在筛选结果里。
攻击面/入口：网页与界面攻击面/入口：图像与音视频攻击面/入口：训练数据层：提示层层：模型层层：应用层清除全部

另有 530 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2610.11932

    复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本

    测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答

    arXiv
    2610.11932
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Grok、Doubao、ChatGPT 等 10 个

    摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。

    深度解读完整解读
  4. 攻击arXiv 2607.21619

    ASO：用GRPO优化视觉风格放大MLLM越狱攻击

    提出 ASO，用 GRPO 优化视觉风格以放大越狱攻击

    arXiv
    2607.21619
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    灰盒
    被测模型
    GPT-4.1-mini、Gemini-2.5-Flash、Qwen3-VL 等 6 个

    摘要论文揭示了 MLLM 的风格敏感性脆弱面，提出 ASO 框架利用强化学习优化风格触发器，有效放大了现有视觉越狱效果。

    深度解读完整解读
  7. 攻击arXiv 2608.04565

    研究者提出 Breadcrumbing 长程攻击，可劫持 DeepResearch 类搜索 Agent 的证据链

    提出权威链劫持 ACH 与策略演化 TGSE，劫持搜索 Agent 的证据链

    arXiv
    2608.04565
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen3.5-9B、Gemma4-31B、DeepResearch 等 7 个

    摘要论文揭示了多步搜索智能体在受限中间人操纵下的脆弱性，提出 ACH 策略与 TGSE 演化方法并完成系统验证。

    深度解读完整解读
  8. 攻击arXiv 2606.04329

    研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准

    系统研究 LLM 智能体记忆投毒并构建基准 MPBench

    arXiv
    2606.04329
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Meta-Llama-3.1-70B-Instruct、Deberta-v3-base、Llama-3.1-8B-Instruct 等 5 个

    摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。

    深度解读完整解读
  9. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  10. 评测与基准arXiv 2610.07939

    CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出

    提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别

    arXiv
    2610.07939
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    C2P-CLIP、ForgeLens、D3-Im 等 10 个

    摘要提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。

    深度解读完整解读
  14. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  15. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  17. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  18. 防御arXiv 2610.04426

    UnAct：无需梯度的定向激活干预实现类别遗忘

    提出 UnAct，仅以前向激活干预从分类器中遗忘指定类别

    arXiv
    2610.04426
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    ResNet-18、ViT-B/16
    摘要UnAct 用前向激活做类别遗忘。

    UnAct 是一种事后类别遗忘：删除请求可以只有少量该类图像，且没有标签和保留数据。它不用梯度，只对遗忘图像做前向。编辑对象是分类器所读的后期单元。

    深度解读完整解读
  19. 防御arXiv 2603.01544

    RA-Det：利用鲁棒性不对称检测 AI 生成图像

    提出 RA-Det，利用鲁棒性不对称检测 AI 生成图像

    arXiv
    2603.01544
    发表
    层
    应用层
    场景
    LLM 应用
    摘要RA-Det 把扰动下特征漂移差变成检测信号，平均 ACC 高于表中通用检测器，但不是每行最高。

    RA-Det 是合成图像检测器，用扰动下的表示稳定性差异代替外观痕迹。

    深度解读完整解读
  20. 防御arXiv 2610.05640

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    提出 multi-CaMeL，在多智能体调用边界隔离可信指令与不可信数据

    arXiv
    2610.05640
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Claude Fable 5、GPT-5.5、GPT-4.1 等 6 个

    摘要论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。

    深度解读完整解读
加载更多