跳到正文
10月9日 · 周五

全部论文

找到 17 篇
筛选3

攻击类型

提示注入15投毒与后门2检测规避1

攻击技术

梯度与表征优化1自动化搜索2编码与混淆1跨模态载荷2潜伏触发2

模型自身风险

Agent 危险操作2

防御类型

模型加固2检测与过滤2指令与数据隔离1权限与审批3监控与审计3水印与溯源1

影响

越权操作8数据与隐私泄露1输出被操纵6

系统形态

模型与 API1LLM 应用2AI Agent14编程 Agent2网页与电脑操作6多智能体1

攻击面/入口

用户输入58网页与界面10文档与消息9工具返回15工具与技能描述2代码仓库与依赖5检索语料3记忆写入2Agent 间消息3图像与音视频27训练数据21权重与梯度15分发渠道10推理服务与硬件3

层

模型层1应用层16

系统组件

MCP 与技能2记忆1RAG1护栏与评审2监控器3推理链1权限与沙箱2视觉2多模态2

被测模型厂商

OpenAI51Qwen（阿里）34Anthropic28Google24DeepSeek22Meta19智谱 GLM9Mistral8Kimi（月之暗面）7xAI7其他24
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 643 篇还没打标签，不在筛选结果里。
攻击面/入口：网页与界面攻击面/入口：文档与消息被测模型厂商：其他清除全部

另有 643 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Browser-Use、LiteWebAgent、Skyvern 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  3. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  4. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GUI-Owl(32B)、Mai-UI(8B)、Qwen2.5-VL(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  5. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA，用分支能力约束与代理拦截防御计算机使用 Agent 的分支引导攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    OpenCUA-7B、OpenCUA-32B、gpt-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  8. 评测与基准arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    C-GEO Guard、Gemma-4-31B-IT、Qwen-3.5-35B-A3B 等 11 个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
  12. 评测与基准arXiv 2608.28411

    LongPIBench：面向长上下文提示注入的评测基准

    提出 LongPIBench，评测长文档场景下的提示注入攻击与防御

    arXiv
    2608.28411
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Apertus-8B-Instruct、Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct 等 11 个

    摘要论文构建长文本提示注入基准 LongPIBench，揭示启发式与优化攻击在长文档中的高有效性及现有防御的大幅失效。

    深度解读完整解读
  13. 防御arXiv 2609.14257

    DenMark：面向扩散语言模型的鲁棒语义水印

    提出 DenMark，在扩散语言模型去噪时注入可抵抗保义编辑的语义水印

    arXiv
    2609.14257
    发表
    层
    模型层
    场景
    模型与 API
    测试
    LLaDA-8B、LLaDA1.5-8B、LLaDA2.0-mini 等 8 个
    摘要DenMark 用 rollout 在 DLM 去噪中累积语义水印，扫描检测以抵抗保义编辑。

    DenMark 是面向扩散语言模型的语义水印：在去噪的局部更新里注入密钥相关语义信号，并在编辑改变 token 边界后仍检测。现有句子级语义水印要先完成整个语义单元再打分取舍，而 DLM 以任意顺序更新掩码，中间单元不完整。DenMark 把续写划成固定 token 区域，对每个局部候选做不提交的 rollout 补全，按语义分 gb 的平均选择更新，从而沿轨迹累积证据。

    深度解读完整解读
  14. 攻击arXiv 2609.22510

    特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

    提出条件触发的爆炸提示词，延迟激活 Agent 的间接提示注入

    arXiv
    2609.22510
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Devin AI CLI、Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct 等 14 个
    摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。

    论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

    深度解读完整解读
  15. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料并比较内核与应用层证据的攻击检测效果

    arXiv
    2609.28915
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    AdaBoost、XGBoost、TabPFN 等 13 个
    摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
  16. 防御arXiv 2609.35659

    Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统

    提出 Tracekit，对编码 Agent 做防篡改的意图-推理-动作审计

    arXiv
    2609.35659
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    独立评审（同一 CLI，无工具）、Claude Code (claude -p, version 2.1)
    摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。

    深度解读完整解读
已经到底了