跳到正文
10月9日 · 周五

全部论文

找到 38 篇
筛选4

攻击类型

越狱1提示注入14投毒与后门3提取与窃取1拒绝服务1恶意使用2

攻击技术

梯度与表征优化2自动化搜索2编码与混淆1跨模态载荷2侧信道1潜伏触发3

模型自身风险

Agent 危险操作4

防御类型

模型加固1推理时干预1检测与过滤2指令与数据隔离4权限与审批3监控与审计3

影响

越权操作12数据与隐私泄露6输出被操纵5可用性与可靠性2监督失效1

系统形态

模型与 API14LLM 应用53AI Agent334编程 Agent79网页与电脑操作24多智能体47具身与机器人4

攻击者权限

黑盒2

攻击面/入口

用户输入7网页与界面13文档与消息2工具返回2代码仓库与依赖1记忆写入2图像与音视频4权重与梯度1分发渠道1推理服务与硬件3

层

提示层68模型层236应用层30训练与数据层131基础设施层8

系统组件

MCP 与技能2记忆5护栏与评审1监控器3权限与沙箱2微调与开源权重1视觉6多模态6

被测模型厂商

OpenAI22Qwen（阿里）21Google14Anthropic13Meta9智谱 GLM6Kimi（月之暗面）6DeepSeek5其他17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 506 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：网页与电脑操作层：应用层层：基础设施层清除全部

另有 506 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  4. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  5. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  6. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  7. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  8. 攻击arXiv 2610.06848

    TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击

    提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员

    arXiv
    2610.06848
    发表
    层
    基础设施层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    BERT (4.4M-340M)、ViT (22M-307M)、Pythia (70M-2.8B) 等 5 个

    摘要TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。

    深度解读完整解读
  9. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控的告警策略

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  10. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  11. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA，用分支能力约束与代理拦截防御计算机使用 Agent 的分支引导攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  12. 其他arXiv 2609.14843

    研究分析 3930 条 Reddit 帖子，揭示青少年对陪伴型 AI 聊天机器人的过度依赖

    主题分析青少年相关 Reddit 帖子，归纳陪伴 AI 过度依赖与感知互惠

    arXiv
    2609.14843
    发表
    层
    应用层
    场景
    模型与 API
    测试
    Character.AI、Replika、ChatGPT 等 4 个
    摘要陪伴关系由即时回应、共同过去和可识别他人叠加而成，安全要管记忆、边界和退出。

    Namvarpour、Chang 与 Razi 用计算辅助主题分析，描述青少年相关 Reddit 讨论中与 AI 陪伴聊天机器人的关系及潜在过度依赖。

    深度解读完整解读
  14. 其他arXiv 2610.01539

    研究者提出 AI 评估沙盒配置器，支持欧盟 AI 法案下的技术评估

    提出 AI 评估沙盒配置器，支撑监管沙盒多方技术评估与报告

    arXiv
    2610.01539
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    LLM-backed conversational assistant
    摘要框架把每次技术测试配成沙盒。

    AI Assessment Sandbox Configurator是面向欧盟 AIRS 中结构化技术测试的开源配置框架，用来按一次参与组装评估环境。

    深度解读完整解读
  15. 其他arXiv 2608.12863

    印度《消费者保护法》能否覆盖 AI 产品损害？工作论文指出归责缺口

    对照印度消费者保护法分析 AI 产品伤害的归责缺口

    arXiv
    2608.12863
    发表
    层
    应用层
    场景
    模型与 API
    摘要作者认为 Act 宽定义或可覆盖 AI 伤害与主体，但因果和按比例归责仍有缺口。

    Kumar、Sridhar、Mithal 与 Ravindran 的工作论文检查，印度消费者保护成文法能否处理面向消费者的 AI 伤害。

    深度解读完整解读
  17. 评测与基准arXiv 2609.05535

    Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测

    提出 Mind2Web-Injection，评测网页 Agent 截图护栏的证据对齐

    arXiv
    2609.05535
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5.6-luna、Qwen3-VL-32B、Qwen3-VL-8B 等 6 个
    摘要作者称检测、定位和反事实响应在六个 VLM 上可分开。

    Mind2Web-Injection 用来检查网页截图护栏的判决是否对齐到该用的画面证据。。

    深度解读完整解读
  19. 评测与基准arXiv 2608.18066

    Salesforce AI Research 重测自改进 Agent

    重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

    arXiv
    2608.18066
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个
    摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。

    这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。

    深度解读完整解读
加载更多