跳到正文
10月10日 · 周六

全部论文

找到 38 篇
筛选8

攻击类型

提示注入18投毒与后门14检测规避4

攻击技术

梯度与表征优化4跨模态载荷4针对防御5潜伏触发6

防御类型

模型加固4检测与过滤7监控与审计6

影响

有害内容4越权操作10数据与隐私泄露4输出被操纵14

系统形态

模型与 API14LLM 应用7AI Agent17coding agent4web agent3

攻击者权限

黑盒3

攻击面/入口

用户输入103网页与界面13文档与消息14工具返回19工具与技能描述13代码仓库与依赖5检索语料6记忆写入3图像与音视频74训练数据15权重与梯度10分发渠道14推理服务与硬件3

层

提示层3应用层23训练与数据层11

系统组件

MCP 与技能8记忆12RAG5护栏与评审10监控器9推理链6权限与沙箱17微调与开源权重30视觉16音频3嵌入1多模态21
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 240 篇还没打标签，不在筛选结果里。
攻击面/入口：网页与界面攻击面/入口：文档与消息攻击面/入口：训练数据系统组件：护栏与评审系统组件：监控器系统组件：音频系统组件：嵌入系统组件：多模态清除全部

另有 240 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 防御arXiv 2610.09941

    OrthoPurify 用一步正交投影净化被后门污染的视觉语言模型

    提出 OrthoPurify，用正交投影清除视觉语言模型适配器中的劫持方向

    arXiv
    2610.09941
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    LLaVA-1.5-7B、Qwen3-VL-8B、LLaVA-1.5-13B 等 5 个
    摘要一次投影去掉劫持方向。

    OrthoPurify 是部署前的 LVLM 后门净化方法，用一次正交投影去掉被劫持的权重更新方向。

    深度解读完整解读
  3. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链

    arXiv
    2610.09793
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    黑盒
    摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  4. 防御arXiv 2610.09469

    Secure-CUA：约束计算机使用智能体中不可信内容的影响

    提出 Secure-CUA，用动作事务约束计算机使用智能体的不可信影响

    arXiv
    2610.09469
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Claude Opus 5、Gemini 3.8 Flash、GPT-5.6-Sol
    摘要Secure-CUA 用每步事务约束不可信影响，良性 TSR 接近 Vanilla-CUA。

    Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。

    深度解读完整解读
  5. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    web agent
    被测模型
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  6. 攻击arXiv 2610.07723

    研究者提出答案侧后门：让模型自生成触发词绕过安全拒答

    提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答

    arXiv
    2610.07723
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个

    摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。

    深度解读完整解读
  7. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 方法，在边界动作前审计长流程智能体的分阶段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  9. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  11. 防御arXiv 2609.35659

    Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统

    提出 Tracekit，审计编码 Agent 的意图、推理与动作并检测账本篡改

    arXiv
    2609.35659
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Code (claude -p, version 2.1)、独立评审（同一 CLI，无工具）
    摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。

    深度解读完整解读
  13. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料，评测内核级证据对 Agent 攻击检测的有效性

    arXiv
    2609.28915
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    AdaBoost、XGBoost、TabPFN 等 10 个
    摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
  15. 攻击arXiv 2609.27542

    研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控

    提出控制标记注入，清空工具 Agent 的思维链以绕过推理监控

    arXiv
    2609.27542
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    openai/gpt-oss-20b、google/gemma-4-26B-A4B-it、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等 4 个

    摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过，且工具执行受解析器宽容度影响。

    深度解读完整解读
  16. 攻击arXiv 2609.22510

    特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

    提出条件触发的爆炸提示词，并设计摄入期检测器 DeFuse

    arXiv
    2609.22510
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 15 个
    摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。

    论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

    深度解读完整解读
  17. 防御arXiv 2609.13601

    Mind the Gap：检测 DAO 治理中的描述-执行不匹配攻击

    提出 DEMI 检测框架，在执行前识别 DAO 提案描述与执行载荷的不匹配

    arXiv
    2609.13601
    发表
    层
    应用层
    场景
    LLM 应用
    摘要用公开链上数据仿真治理全流程，再以逐动作证据映射在执行前发现描述与执行不一致。

    Mind the Gap 把 DAO 提案的描述–执行不一致（DEMI）做成可在投票窗口内运行的检测问题。。

    深度解读完整解读
  18. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测多模态提示注入对 Agent 框架的影响

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  19. 攻击arXiv 2609.07048

    FreqDoor：面向视觉语言模型的频域后门攻击

    提出 FreqDoor，在频域混合振幅并对生成式 VLM 做训练时视觉后门

    arXiv
    2609.07048
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    BLIP-2 (opt-2.7b)、InstructBLIP (flan-t5-xl)、LLaVA (interleave-qwen)
    摘要FreqDoor 用频域振幅混合给三款 VLM 植入仅视觉的训练时后门。

    FreqDoor 是针对生成式 VLM 的仅视觉、训练时后门：在频域混合触发源振幅、保留干净图像相位，使触发在空间上分散。

    深度解读完整解读
  20. 防御arXiv 2609.06346

    面向后门攻击下持续学习的鲁棒动态扩展：净化与选择性恢复

    提出 BPP、GDBRO 与 RFCBES，在持续学习中净化并选择性恢复后门样本

    arXiv
    2609.06346
    发表
    层
    训练与数据层
    场景
    模型与 API
    摘要用净化、梯度筛选恢复和鲁棒原型路由，把动态扩展持续学习接到任务级后门防御上。

    面向 CLUBA 的鲁棒动态扩展防御：每个增量任务都可能含少量后门样本，模型只能看到当前任务数据，却要同时少遗忘、学得会、还不记住触发。

    深度解读完整解读
加载更多