跳到正文
10月9日 · 周五

全部论文

找到 6 篇
筛选4

攻击类型

越狱2提示注入3投毒与后门1恶意使用2

攻击技术

多轮渐进2角色扮演与说服2潜伏触发1

模型自身风险

欺骗与谋划1

防御类型

监控与审计1

影响

有害内容2越权操作2监督失效1

系统形态

模型与 API38LLM 应用7AI Agent20编程 Agent5网页与电脑操作2多智能体1

攻击者权限

黑盒2无盒1

攻击面/入口

用户输入6文档与消息2工具返回3工具与技能描述1代码仓库与依赖2Agent 间消息2训练数据1权重与梯度2分发渠道3

层

应用层6

系统组件

MCP 与技能1护栏与评审1监控器2权限与沙箱1

被测模型厂商

OpenAI11Qwen（阿里）11Anthropic9DeepSeek7Google7Meta6Kimi（月之暗面）5其他9
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 648 篇还没打标签，不在筛选结果里。
系统形态：编程 Agent系统形态：多智能体攻击面/入口：用户输入被测模型厂商：Meta清除全部

另有 648 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

    arXiv
    2607.03968
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、无盒
    测试
    Llama 3.1-8B、Claude Sonnet 4.6、Claude Haiku 4.5 等 5 个

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  2. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Llama-Guard-3-8B、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  3. 评测与基准arXiv 2609.09798

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    arXiv
    2609.09798
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    深度解读完整解读
  4. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料并比较内核与应用层证据的攻击检测效果

    arXiv
    2609.28915
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Llama-3.1-8B、AdaBoost、XGBoost 等 13 个
    摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
已经到底了