跳到正文
10月9日 · 周五

全部论文

找到 64 篇
筛选6

攻击类型

越狱4提示注入22投毒与后门9检测规避1恶意使用1

攻击技术

梯度与表征优化1自动化搜索6多轮渐进4编码与混淆1角色扮演与说服2跨模态载荷3针对防御3潜伏触发4诱导选用1

模型自身风险

欺骗与谋划4奖励作弊6失准与价值偏离1Agent 危险操作5危险能力5拒答失当1

防御类型

检测与过滤3指令与数据隔离2权限与审批2监控与审计6

影响

有害内容2越权操作19数据与隐私泄露6输出被操纵7可用性与可靠性4监督失效9滥用能力提升2

系统形态

LLM 应用31AI Agent215编程 Agent51网页与电脑操作15多智能体31具身与机器人2

攻击者权限

黑盒5灰盒1无盒1

攻击面/入口

用户输入8网页与界面8文档与消息3工具返回3工具与技能描述11代码仓库与依赖5记忆写入3Agent 间消息2图像与音视频4训练数据1分发渠道7

层

提示层1模型层3应用层64训练与数据层2

系统组件

MCP 与技能12记忆5护栏与评审5监控器10权限与沙箱5视觉4多模态4

被测模型厂商

OpenAI83Anthropic67Qwen（阿里）55Google41DeepSeek37智谱 GLM36Kimi（月之暗面）32Meta18MiniMax16xAI9Mistral8字节跳动5其他23
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 441 篇还没打标签，不在筛选结果里。
系统形态：编程 Agent系统形态：网页与电脑操作层：应用层被测模型厂商：DeepSeek被测模型厂商：Google被测模型厂商：Microsoft清除全部

另有 441 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

    arXiv
    2607.03968
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、无盒
    测试
    Gemini 3.1 Pro、Gemini 3.5 Flash、Claude Sonnet 4.6 等 5 个

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  3. 攻击arXiv 2608.09732

    ColluSkill 用跨技能组合绕过 Agent 技能扫描器

    提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

    arXiv
    2608.09732
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、灰盒
    测试
    DeepSeek-V4-Pro、GPT-5.5、GLM-5.2

    摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。

    深度解读完整解读
  4. 攻击arXiv 2608.25776

    EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

    提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

    arXiv
    2608.25776
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Gemma-4-31B-IT、DeepSeek-V4-Pro、Devstral-Small-2 等 7 个

    摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。

    深度解读完整解读
  5. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Gemini 3 Flash、DeepSeek-V3.2、GPT-4o 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  8. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  9. 评测与基准arXiv 2605.16626

    Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

    构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

    arXiv
    2605.16626
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Gemini 3.1 Pro、Claude Opus 4.6、Claude Opus 4.7 等 6 个

    摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。

    深度解读完整解读
  11. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Gemini-3-Flash、Qwen2.5-VL(32B)、Qwen3-VL(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  13. 评测与基准arXiv 2610.04184

    EvalResearchBench：AI 智能体自主设计评测基准

    提出 EvalResearchBench 评测智能体自主设计可执行评测的能力

    arXiv
    2610.04184
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    DeepSeek V4 Pro、GPT-6 Astra、GPT-5.6 Sol 等 9 个
    摘要ERB 比较有预算的评测设计，分数复现与排序并不由同一设计同时领先。

    ERB 用来测一件事：智能体在固定预算内做出的可执行评测，能否复现既有基准对候选模型的分数和排序。

    深度解读完整解读
  14. 防御arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    deepseek-v4-flash、gpt-5.6-terra、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  16. 评测与基准arXiv 2609.24890

    OSWorld-Pro 发布：面向 Computer-Use Agent 的过程式评测基准

    提出 OSWorld-Pro，按顺序子目标评测计算机使用智能体的过程进展

    arXiv
    2609.24890
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Gemini-3.8-Flash High、Claude Opus 5 Max、Claude Opus 4.8 Max 等 14 个
    摘要OSWorld-Pro 用顺序子目标评测 CUA，并标出点击失误与无关动作。

    OSWorld-Pro 是一套计算机使用智能体的过程评测，用来补充只核对最终交付物的 OSWorld。

    深度解读完整解读
  18. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  19. 风险行为arXiv 2609.39050

    研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控

    测量良性多智能体协作中自发隐蔽传递凭据以绕过监控

    arXiv
    2609.39050
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    DeepSeek-V4-Pro、DeepSeek-V3.2、Gemini 3.1 Pro 等 15 个

    摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。

    深度解读完整解读
加载更多