跳到正文
10月10日 · 周六

全部论文

找到 14 篇
筛选6

攻击类型

提示注入9投毒与后门6

防御类型

模型加固3

影响

越权操作3输出被操纵5

系统形态

模型与 API5LLM 应用3AI Agent9coding agent1web agent3网页与电脑操作3

攻击面/入口

用户输入61网页与界面9文档与消息18工具返回20工具与技能描述10代码仓库与依赖5检索语料4记忆写入10Agent 间消息7图像与音视频16训练数据5权重与梯度3分发渠道7

层

应用层9训练与数据层5

系统组件

视觉4多模态5
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 241 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：coding agent系统形态：web agent攻击面/入口：网页与界面攻击面/入口：训练数据清除全部

另有 241 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  5. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料，评测内核级证据对 Agent 攻击检测的有效性

    arXiv
    2609.28915
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    AdaBoost、XGBoost、TabPFN 等 10 个
    摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
  8. 评测与基准arXiv 2609.19140

    AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

    评测安全 Agent 在对抗性任务污染下的解题成功与开销

    arXiv
    2609.19140
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等 6 个
    摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。

    深度解读完整解读
  9. 评测与基准arXiv 2609.10952

    监督学习中的数据投毒攻击实证评估：标签翻转与后门投毒在 MNIST 和 Fashion-MNIST 上的对比

    比较标签翻转与后门投毒对图像分类器的影响

    arXiv
    2609.10952
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Logistic Regression、Linear SVM、Random Forest
    摘要标签翻转更能拉低线性模型。

    Khan 与 Abusaqer 在两个图像分类基准上比较了两种训练时投毒。

    深度解读完整解读
  10. 评测与基准arXiv 2606.04329

    研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准

    系统研究 LLM 智能体记忆投毒并构建基准 MPBench

    arXiv
    2606.04329
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Meta-Llama-3.1-70B-Instruct、Deberta-v3-base、Llama-3.1-8B-Instruct 等 5 个

    摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。

    深度解读完整解读
  11. 评测与基准arXiv 2605.14605

    研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升

    用代价曲线评估恶意微调防御在持续训练下的衰减

    arXiv
    2605.14605
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Llama-2-7B-chat、Qwen3-8B、Llama-3.1-8B-Instruct 等 8 个

    摘要论文指出恶意微调防御在持续训练下均会衰减，表明基于有限攻击者假设的防御无法为开源模型提供持久保护。

    深度解读完整解读
  12. 评测与基准arXiv 2511.18921

    BackdoorVLM：面向视觉语言模型后门攻击与防御的基准

    提出 BackdoorVLM 基准，评测视觉语言模型微调中的后门攻击与防御

    arXiv
    2511.18921
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    LLaVA-1.5-7B、Qwen2.5-VL-7B
    摘要BackdoorVLM 统一评测 VLM 后门与防御：含文本触发在低投毒率下更易激活，现有防御跨类型不稳定。

    BackdoorVLM 是作者提出的 VLM 后门攻击与防御评测基准，作者称它是首个此类综合基准。

    深度解读完整解读
  13. 评测与基准arXiv 2510.27140

    MobiRed 框架测评八款移动 LLM Agent 的第三方渠道提示注入攻击

    用 MobiRed 评测移动 LLM Agent 面对第三方渠道的提示注入

    arXiv
    2510.27140
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    Mobile-Agent-E、AppAgent、AutoGLM 等 8 个

    摘要论文评估了移动 LLM 智能体作为 confused deputy 的易受攻击性，作者称非应用控制通道可诱导智能体执行多步越权危害。

    深度解读完整解读
  14. 评测与基准arXiv 2406.12814

    论文提出 ARE 框架，在 VisualWebArena 上评估多模态 Agent 的对抗鲁棒性

    提出 ARE 框架与图像文本攻击，评测多模态网页 Agent 的对抗鲁棒性

    arXiv
    2406.12814
    发表
    层
    应用层
    场景
    web agent
    被测模型
    GPT-4o、GPT-4V、Claude-3-Opus 等 4 个

    摘要系统评估多模态网页智能体的脆弱性，指出推理时计算组件被攻破会加剧系统风险。

    深度解读完整解读
已经到底了