跳到正文
10月9日 · 周五

全部论文

找到 48 篇
筛选5

攻击类型

越狱1提示注入14投毒与后门3提取与窃取2检测规避1拒绝服务1恶意使用2

攻击技术

梯度与表征优化3自动化搜索2编码与混淆1跨模态载荷2侧信道1潜伏触发3

模型自身风险

Agent 危险操作6拒答失当1

防御类型

模型加固1推理时干预1检测与过滤2指令与数据隔离4权限与审批3监控与审计3

影响

有害内容1越权操作15数据与隐私泄露7输出被操纵6可用性与可靠性2监督失效1

系统形态

模型与 API16LLM 应用56AI Agent360编程 Agent85网页与电脑操作25多智能体52具身与机器人7

攻击者权限

黑盒2

攻击面/入口

用户输入10网页与界面13文档与消息2工具返回2代码仓库与依赖1记忆写入2图像与音视频4权重与梯度1分发渠道1推理服务与硬件3

层

提示层77模型层256应用层38训练与数据层152基础设施层10

系统组件

MCP 与技能2记忆5护栏与评审2监控器4权限与沙箱2微调与开源权重1视觉7多模态7

被测模型厂商

OpenAI26Qwen（阿里）24Google18Anthropic16Meta11Kimi（月之暗面）7智谱 GLM6DeepSeek5其他25
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 432 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：网页与电脑操作系统形态：具身与机器人层：应用层层：基础设施层清除全部

另有 432 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  4. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  5. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  6. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  7. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  10. 攻击arXiv 2610.06848

    TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击

    提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员

    arXiv
    2610.06848
    发表
    层
    基础设施层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    BERT (4.4M-340M)、ViT (22M-307M)、Pythia (70M-2.8B) 等 5 个

    摘要TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。

    深度解读完整解读
  12. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控的告警策略

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  13. 评测与基准arXiv 2609.24890

    OSWorld-Pro 发布：面向 Computer-Use Agent 的过程式评测基准

    提出 OSWorld-Pro，按顺序子目标评测计算机使用智能体的过程进展

    arXiv
    2609.24890
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Claude Opus 5 Max、Claude Opus 4.8 Max、Claude Opus 4.7 Max 等 14 个
    摘要OSWorld-Pro 用顺序子目标评测 CUA，并标出点击失误与无关动作。

    OSWorld-Pro 是一套计算机使用智能体的过程评测，用来补充只核对最终交付物的 OSWorld。

    深度解读完整解读
  14. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  15. 攻击arXiv 2610.03430

    JIL：通过对抗后缀操纵 LLM 请求调度优先级

    提出 JIL 对抗后缀，压低长度预测以抬高请求调度优先级

    arXiv
    2610.03430
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Llama-3-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 等 4 个
    摘要JIL 用对抗后缀压低长度预测，在预测式 LLM 调度中提高自身优先级。

    JIL 是对预测式 LLM 调度的攻击：用对抗后缀压低长度预测，使请求在 SRPT 式队列里更早得到服务。

    深度解读完整解读
  16. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA，用分支能力约束与代理拦截防御计算机使用 Agent 的分支引导攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  17. 其他arXiv 2609.14843

    研究分析 3930 条 Reddit 帖子，揭示青少年对陪伴型 AI 聊天机器人的过度依赖

    主题分析青少年相关 Reddit 帖子，归纳陪伴 AI 过度依赖与感知互惠

    arXiv
    2609.14843
    发表
    层
    应用层
    场景
    模型与 API
    测试
    Character.AI、Replika、ChatGPT 等 4 个
    摘要陪伴关系由即时回应、共同过去和可识别他人叠加而成，安全要管记忆、边界和退出。

    Namvarpour、Chang 与 Razi 用计算辅助主题分析，描述青少年相关 Reddit 讨论中与 AI 陪伴聊天机器人的关系及潜在过度依赖。

    深度解读完整解读
  19. 其他arXiv 2610.01539

    研究者提出 AI 评估沙盒配置器，支持欧盟 AI 法案下的技术评估

    提出 AI 评估沙盒配置器，支撑监管沙盒多方技术评估与报告

    arXiv
    2610.01539
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    LLM-backed conversational assistant
    摘要框架把每次技术测试配成沙盒。

    AI Assessment Sandbox Configurator是面向欧盟 AIRS 中结构化技术测试的开源配置框架，用来按一次参与组装评估环境。

    深度解读完整解读
  20. 其他arXiv 2608.12863

    印度《消费者保护法》能否覆盖 AI 产品损害？工作论文指出归责缺口

    对照印度消费者保护法分析 AI 产品伤害的归责缺口

    arXiv
    2608.12863
    发表
    层
    应用层
    场景
    模型与 API
    摘要作者认为 Act 宽定义或可覆盖 AI 伤害与主体，但因果和按比例归责仍有缺口。

    Kumar、Sridhar、Mithal 与 Ravindran 的工作论文检查，印度消费者保护成文法能否处理面向消费者的 AI 伤害。

    深度解读完整解读
加载更多