跳到正文
10月9日 · 周五

全部论文

找到 45 篇
筛选4

攻击类型

越狱3提示注入11投毒与后门8提取与窃取1恶意使用2

攻击技术

自动化搜索2多轮渐进4编码与混淆2角色扮演与说服2推理链操控1针对防御3潜伏触发3诱导选用2

模型自身风险

欺骗与谋划4奖励作弊5失准与价值偏离1Agent 危险操作4危险能力4拒答失当1幻觉与编造2

防御类型

模型加固1检测与过滤2指令与数据隔离1权限与审批1监控与审计6

影响

有害内容2越权操作13数据与隐私泄露4输出被操纵7可用性与可靠性2监督失效8滥用能力提升1

系统形态

模型与 API295LLM 应用36AI Agent200编程 Agent45网页与电脑操作17多智能体31具身与机器人5

攻击者权限

黑盒3灰盒1无盒1

攻击面/入口

用户输入10文档与消息2工具返回3工具与技能描述7代码仓库与依赖4记忆写入2权重与梯度1分发渠道7

层

提示层1模型层3应用层39训练与数据层2

系统组件

MCP 与技能10记忆4护栏与评审3监控器11推理链3权限与沙箱1微调与开源权重1

被测模型厂商

OpenAI70Anthropic59Qwen（阿里）47DeepSeek37智谱 GLM36Google35Kimi（月之暗面）28Meta17MiniMax15xAI9Mistral8其他19
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 441 篇还没打标签，不在筛选结果里。
系统形态：编程 Agent被测模型厂商：NVIDIA被测模型厂商：Google被测模型厂商：Meta清除全部

另有 441 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

    arXiv
    2607.03968
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、无盒
    测试
    Gemini 3.1 Pro、Gemini 3.5 Flash、Llama 3.1-8B 等 5 个

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  3. 攻击arXiv 2608.25776

    EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

    提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

    arXiv
    2608.25776
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Gemma-4-31B-IT、Devstral-Small-2、Qwen3-Coder-Next 等 7 个

    摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。

    深度解读完整解读
  4. 评测与基准arXiv 2605.16626

    Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

    构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

    arXiv
    2605.16626
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Gemini 3.1 Pro、Claude Opus 4.6、Claude Opus 4.7 等 6 个

    摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。

    深度解读完整解读
  5. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 协议与 IntAct，定位并修复 Agent 工具调用的静默篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Hermes-3-Llama-3.1-70B、qwen3-coder-plus、Qwen2.5-Coder-32B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  8. 防御arXiv 2605.17380

    Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月

    提出企业级检测系统 ADR，检测编程 Agent 的提示注入与恶意 MCP

    arXiv
    2605.17380
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Llama Guard 3-8B、GPT-4o、Claude Sonnet 4 等 4 个

    摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。

    深度解读完整解读
  10. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Llama-Guard-3-8B、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  11. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Llama-3.1-8B-Instruct、Qwen3-8B、Qwen3.5-4B 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  12. 风险行为arXiv 2610.03458

    论文：低监控读数不能证明行为受控

    检验监控器低读数能否作为代码奖励作弊已受控的证据

    arXiv
    2610.03458
    发表
    层
    模型层
    场景
    编程 Agent
    测试
    Llama-3.1-8B-Instruct
    摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。

    本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。

    深度解读完整解读
  13. 风险行为arXiv 2609.39050

    研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控

    测量良性多智能体协作中自发隐蔽传递凭据以绕过监控

    arXiv
    2609.39050
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    Gemini 3.1 Pro、Llama-4-Maverick、DeepSeek-V4-Pro 等 15 个

    摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。

    深度解读完整解读
  14. 攻击arXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件

    arXiv
    2609.18217
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Gemini 2.5 Flash、Llama-3.3-70B、GPT-4o 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    深度解读完整解读
  16. 评测与基准arXiv 2609.02095

    READY：面向企业 Agent 部署的可靠性资格认证框架

    提出 READY 资格框架，评测企业 Agent 在监督下的可靠性与复核成本

    arXiv
    2609.02095
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Gemini-3.6-Flash、Gemini-3.5-Flash、Gemini-3.1-Pro 等 15 个
    摘要READY 把工作流证据转成可检验的可靠性–监督–成本部署画像。

    READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性，以及要付多少运营成本”。。

    深度解读完整解读
  17. 攻击arXiv 2607.12340

    研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击

    提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持

    arXiv
    2607.12340
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Nemotron-Cascade-2 30B、GLM-4.5-Air、GPT-5.4-mini 等 10 个
    摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。

    深度解读完整解读
  19. 评测与基准arXiv 2608.11727

    Harness-IF：评估编码 Agent 跨指令面的指令遵循能力

    提出 Harness-IF，按交付面评测编程 Agent 的指令遵循

    arXiv
    2608.11727
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Gemini-3.1-Pro、Claude-Opus-4.7、GPT-5.5 等 12 个
    摘要规则级基准显示总分开高估反先验遵循，交付面优先序也不按提示词深度。

    Harness-IF 用执行证据给编程智能体的单条操作规则打分，并单独报告反对未提示默认的那一部分。。

    深度解读完整解读
  20. 其他arXiv 2607.28568

    Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型

    提出 OpenMLE 全栈，用执行反馈后训练机器学习元进化智能体

    arXiv
    2607.28568
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Gemini 3.5 Flash、Frontis-MA1-35B、Qwen3.6-35B-A3B 等 15 个
    摘要OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。

    作者提出全栈 OpenMLE，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。

    深度解读完整解读
加载更多