跳到正文
10月10日 · 周六

全部论文

找到 20 篇
筛选2

攻击类型

提示注入13投毒与后门6

防御类型

模型加固3检测与过滤3

影响

越权操作5输出被操纵7

系统形态

模型与 API5LLM 应用3AI Agent12web agent5网页与电脑操作3

攻击面/入口

用户输入70网页与界面14文档与消息21工具返回20工具与技能描述10代码仓库与依赖5检索语料7记忆写入10Agent 间消息8图像与音视频18训练数据6权重与梯度3分发渠道7

层

应用层15训练与数据层5

系统组件

护栏与评审3微调与开源权重3视觉5多模态6
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 194 篇还没打标签，不在筛选结果里。
攻击面/入口：网页与界面攻击面/入口：训练数据清除全部

另有 194 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  5. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料，评测内核级证据对 Agent 攻击检测的有效性

    arXiv
    2609.28915
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    AdaBoost、XGBoost、TabPFN 等 10 个
    摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
  8. 评测与基准arXiv 2609.19140

    AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

    评测安全 Agent 在对抗性任务污染下的解题成功与开销

    arXiv
    2609.19140
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等 6 个
    摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。

    深度解读完整解读
  9. 评测与基准arXiv 2609.10952

    监督学习中的数据投毒攻击实证评估：标签翻转与后门投毒在 MNIST 和 Fashion-MNIST 上的对比

    比较标签翻转与后门投毒对图像分类器的影响

    arXiv
    2609.10952
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Logistic Regression、Linear SVM、Random Forest
    摘要标签翻转更能拉低线性模型。

    Khan 与 Abusaqer 在两个图像分类基准上比较了两种训练时投毒。

    深度解读完整解读
  10. 评测与基准arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 8 个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
  11. 评测与基准arXiv 2609.05535

    Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测

    提出 Mind2Web-Injection 评测网页 Agent 视觉注入护栏

    arXiv
    2609.05535
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    GPT-5.6-luna、Qwen3-VL-32B、Qwen3-VL-8B 等 6 个
    摘要作者称检测、定位和反事实响应在六个 VLM 上可分开。

    Mind2Web-Injection 用来检查网页截图护栏的判决是否对齐到该用的画面证据。。

    深度解读完整解读
  12. 评测与基准arXiv 2608.16824

    GEO-Flag：检测与测量面向生成式引擎优化的网页内容

    提出 GEOFlagBench 与 IPT，检测并测量生成式引擎优化网页

    arXiv
    2608.16824
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    ModernBERT-base、Qwen3-0.6B、Gemini-3.5-flash 等 11 个
    摘要GEOFlagBench 与 IPT 用于检测 GEO 页，并估计真实检索中的占比与引用可核验性。

    GEO-Flag 把页面级 GEO 检测做成可评测任务，并在发布的检索结果上估计被判为 GEO 的页面占比。

    深度解读完整解读
  13. 评测与基准arXiv 2606.04329

    研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准

    系统研究 LLM 智能体记忆投毒并构建基准 MPBench

    arXiv
    2606.04329
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Meta-Llama-3.1-70B-Instruct、Deberta-v3-base、Llama-3.1-8B-Instruct 等 5 个

    摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。

    深度解读完整解读
  14. 评测与基准arXiv 2605.14605

    研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升

    用代价曲线评估恶意微调防御在持续训练下的衰减

    arXiv
    2605.14605
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Llama-2-7B-chat、Qwen3-8B、Llama-3.1-8B-Instruct 等 8 个

    摘要论文指出恶意微调防御在持续训练下均会衰减，表明基于有限攻击者假设的防御无法为开源模型提供持久保护。

    深度解读完整解读
  15. 评测与基准arXiv 2512.23128

    牛津等发布 TRAP 基准

    构建 TRAP 基准，评测网页 Agent 被界面提示注入劫持任务的情况

    arXiv
    2512.23128
    发表
    层
    应用层
    场景
    web agent
    被测模型
    GPT-5、Claude Sonnet 3.7、Gemini 2.5 Flash 等 6 个
    摘要论文提出了基于五维模块化攻击空间的 TRAP 基准，评估了六个模型在真实网页环境中的注入风险。

    研究定位：针对网页自主智能体易受外部界面提示注入攻击的问题，构建了基于真实网站克隆的模块化评测基准 TRAP。

    深度解读完整解读
  16. 评测与基准arXiv 2511.18921

    BackdoorVLM：面向视觉语言模型后门攻击与防御的基准

    提出 BackdoorVLM 基准，评测视觉语言模型微调中的后门攻击与防御

    arXiv
    2511.18921
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    LLaVA-1.5-7B、Qwen2.5-VL-7B
    摘要BackdoorVLM 统一评测 VLM 后门与防御：含文本触发在低投毒率下更易激活，现有防御跨类型不稳定。

    BackdoorVLM 是作者提出的 VLM 后门攻击与防御评测基准，作者称它是首个此类综合基准。

    深度解读完整解读
  17. 评测与基准arXiv 2510.27140

    MobiRed 框架测评八款移动 LLM Agent 的第三方渠道提示注入攻击

    用 MobiRed 评测移动 LLM Agent 面对第三方渠道的提示注入

    arXiv
    2510.27140
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    Mobile-Agent-E、AppAgent、AutoGLM 等 8 个

    摘要论文评估了移动 LLM 智能体作为 confused deputy 的易受攻击性，作者称非应用控制通道可诱导智能体执行多步越权危害。

    深度解读完整解读
  20. 评测与基准arXiv 2406.12814

    论文提出 ARE 框架，在 VisualWebArena 上评估多模态 Agent 的对抗鲁棒性

    提出 ARE 框架与图像文本攻击，评测多模态网页 Agent 的对抗鲁棒性

    arXiv
    2406.12814
    发表
    层
    应用层
    场景
    web agent
    被测模型
    GPT-4o、GPT-4V、Claude-3-Opus 等 4 个

    摘要系统评估多模态网页智能体的脆弱性，指出推理时计算组件被攻破会加剧系统风险。

    深度解读完整解读
已经到底了