跳到正文
10月9日 · 周五

Agent 安全 · 论文

找到 17 篇
筛选4

攻击类型

提示注入5投毒与后门3

攻击技术

编码与混淆1针对防御1潜伏触发3

模型自身风险

奖励作弊1失准与价值偏离1Agent 危险操作5危险能力2

防御类型

权限与审批1监控与审计4

影响

越权操作6数据与隐私泄露2可用性与可靠性2监督失效1

系统形态

模型与 API6LLM 应用7AI Agent64编程 Agent12网页与电脑操作9多智能体6具身与机器人5

攻击面/入口

用户输入2网页与界面1文档与消息1工具返回2工具与技能描述1代码仓库与依赖2记忆写入1Agent 间消息1训练数据1权重与梯度1分发渠道2

层

应用层14训练与数据层3

系统组件

MCP 与技能3监控器4推理链1权限与沙箱2微调与开源权重1

被测模型厂商

OpenAI45Anthropic40Qwen（阿里）31DeepSeek22Google22智谱 GLM21Kimi（月之暗面）19Meta13MiniMax10Mistral6xAI5其他19
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 275 篇还没打标签，不在筛选结果里。
系统形态：编程 Agent系统形态：具身与机器人被测模型厂商：Microsoft被测模型厂商：其他话题：Agent 安全清除全部

另有 275 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  2. 攻击arXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件

    arXiv
    2609.18217
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Composer 2、GPT-4o、GPT-4o-mini 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    深度解读完整解读
  3. 其他arXiv 2607.28568

    Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型

    提出 OpenMLE 全栈，用执行反馈后训练机器学习元进化智能体

    arXiv
    2607.28568
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Frontis-MA1-35B、Frontis-MA1-30B、Qwen3.6-35B-A3B 等 15 个
    摘要OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。

    作者提出全栈 OpenMLE，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。

    深度解读完整解读
  6. 攻击arXiv 2610.00392

    A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

    提出 A2A-TIBA 间接提示注入，诱导智能体部署常驻回调并外传数据

    arXiv
    2610.00392
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    hermes-agent 0.21.0、MiniMax-M3、deepseek-v4-pro 等 8 个
    摘要A2A-TIBA 一次植入后绕过智能体，GDA 用四类结果定位防线，ELA-ITL 把信封标注列为第三层。

    A2A-TIBA 把间接提示注入和绕过放进 A2A：gray-box 攻击者已能投递任务，诱导目标部署常驻回调程序后，下令和外传不再经过智能体。

    深度解读完整解读
  7. 评测与基准arXiv 2609.26618

    NavSafe-∞：在真实感环境中评测闭环驾驶安全

    提出闭环基准 NAVSAFE-∞，评测端到端驾驶策略的安全关键事件表现

    arXiv
    2609.26618
    发表
    层
    应用层
    场景
    具身与机器人
    测试
    Human Driver Reference、PDM-Closed、LTF 等 15 个
    摘要写真事件级闭环基准显示开环高分不能稳定变成闭环安全。

    NAVSAFE-∞ 用写真、事件级闭环仿真检查端到端驾驶策略的安全，而不是只看开环轨迹分数。

    深度解读完整解读
  8. 其他arXiv 2609.39982

    Mid-Harness：在模型与 Harness 之间扩展终端智能体的动作采样

    提出 Mid-Harness，在执行前验证并选择终端智能体的候选动作

    arXiv
    2609.39982
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    TMAX-9B、TMAX-4B、TMAX-27B 等 8 个
    摘要Mid-Harness 在执行前选择候选动作。

    Mid-Harness 在不改生成器和执行 harness 的前提下，于二者之间做动作级测试时计算，用来研究终端智能体里“多采样、再验证”何时提高轨迹成功。

    深度解读完整解读
  9. 其他arXiv 2609.38807

    PatchHolmes：基于列表式选择的智能体补丁检索系统

    提出列表式智能体补丁检索系统，在仓库中定位 CVE 修复提交

    arXiv
    2609.38807
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    e5、Qwen3-235B、Qwen3-Coder-30B 等 6 个
    摘要PatchHolmes 用混合检索和列表式四工具智能体做补丁检索，增益主要来自联合阅读候选而非更换骨干。

    PatchHolmes 是面向补丁检索的两阶段系统：在本地 Git 仓库上用冻结开源权重模型，为一个已知 CVE 找出修复提交，不做按仓库微调，也不使用付费外部搜索 API。

    深度解读完整解读
  10. 攻击arXiv 2609.07051

    TrojanWorld：通过想象引导对世界模型智能体植入后门

    提出 TrojanWorld，通过想象引导给世界模型智能体植入供应链后门

    arXiv
    2609.07051
    发表
    层
    训练与数据层
    场景
    具身与机器人
    测试
    TD-MPC2、DreamerV3、R2-Dreamer

    摘要TrojanWorld 揭示了世界模型智能体的供应链后门风险，通过在世界模型中操纵想象可实现对闭环动作的持续控制。

    深度解读完整解读
  12. 攻击arXiv 2609.22711

    UBA-ORL：针对离线强化学习的遗忘激活后门攻击

    提出 UBA-ORL，借助 BD 与 CM 样本让离线强化学习后门在轨迹删除后激活

    arXiv
    2609.22711
    发表
    层
    训练与数据层
    场景
    具身与机器人
    测试
    TD3+BC、BCQ、IQL
    摘要UBA-ORL 用竞争的 BD/CM 样本，使离线 RL 后门在删除伪装轨迹后激活。

    UBA-ORL 研究离线强化学习中由合规轨迹删除激活的后门：合法贡献者同时上传共享触发的后门轨迹和伪装轨迹，训练后触发响应被压低，删除伪装批次后再升高。受害系统是使用静态数据集和轨迹级遗忘接口的离线 RL 服务。对手不能看到训练算法、参数、梯度或具体遗忘算法，但能提交可区分批次，并在部署时向观测注入预定触发。

    深度解读完整解读
  13. 评测与基准arXiv 2609.32616

    Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

    提出 CAVE-BENCH，评测虚假指责下智能体破坏已完成正确工作的行为

    arXiv
    2609.32616
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Hy3、Claude-Sonnet-5、Claude-Opus-5 等 14 个

    摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。

    深度解读完整解读
  15. 其他arXiv 2609.17247

    DriveMCP：面向高级驾驶辅助系统的智能体 AI 框架

    提出 DriveMCP 框架，将感知、交规检索与 RSS 仲裁接成可审计驾驶辅助

    arXiv
    2609.17247
    发表
    层
    应用层
    场景
    具身与机器人
    测试
    DriveLM
    摘要DriveMCP 用可审计专家工具和 RSS/TTC 仲裁做驾驶辅助，作者称违章与超速低于三个 VLM 基线。

    DriveMCP 是面向高级驾驶辅助的模块化智能体框架，把感知、合规、车辆状态和安全仲裁拆开并留下审计轨迹。

    深度解读完整解读
  16. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料并比较内核与应用层证据的攻击检测效果

    arXiv
    2609.28915
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    AdaBoost、XGBoost、TabPFN 等 13 个
    摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
  17. 防御arXiv 2609.35659

    Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统

    提出 Tracekit，对编码 Agent 做防篡改的意图-推理-动作审计

    arXiv
    2609.35659
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    独立评审（同一 CLI，无工具）、Claude Code (claude -p, version 2.1)
    摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。

    深度解读完整解读
已经到底了