跳到正文
10月9日 · 周五

全部论文

找到 82 篇
筛选7

攻击类型

越狱8提示注入47投毒与后门13提取与窃取1检测规避2拒绝服务1恶意使用3

模型自身风险

欺骗与谋划3奖励作弊6失准与价值偏离1Agent 危险操作18

防御类型

模型加固7推理时干预2检测与过滤18指令与数据隔离29权限与审批48监控与审计27水印与溯源3

影响

越权操作51数据与隐私泄露9输出被操纵7可用性与可靠性1监督失效11

系统形态

LLM 应用6AI Agent82编程 Agent17网页与电脑操作7多智能体8具身与机器人0

攻击者权限

黑盒2

攻击面/入口

用户输入19网页与界面17文档与消息15工具返回31工具与技能描述10代码仓库与依赖2检索语料2记忆写入7Agent 间消息3分发渠道6

层

应用层82

系统组件

MCP 与技能17记忆8护栏与评审4监控器27推理链2权限与沙箱40视觉1多模态1
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 455 篇还没打标签，不在筛选结果里。
防御类型：指令与数据隔离防御类型：权限与审批防御类型：监控与审计系统形态：AI Agent系统形态：编程 Agent系统形态：具身与机器人层：应用层清除全部

另有 455 篇论文还没打上分类标签，暂不在筛选结果里。

  6. 防御arXiv 2610.04699

    CoVer：用干预检验为 Agent 构造可判定规则边界

    提出 COVER，以不咨询模型的干预门准入 Agent 规则自动执行

    arXiv
    2610.04699
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Sonnet、Claude Opus、GPT-4o 等 5 个
    摘要自可判定不能向模型索取。

    这篇工作测的是智能体验证器在检查之前的分流：外部规则里的哪条谓词能用固定过程解决，哪条必须交给评审。

    深度解读完整解读
  7. 防御arXiv 2610.04975

    论文提出长程智能体自生子目标的运行时授权机制

    提出运行时授权机制，检查长程智能体自生子目标是否精化根契约

    arXiv
    2610.04975
    发表
    层
    应用层
    场景
    AI Agent
    摘要用版本化目标图授权保住重规划，并挡住自生成子目标变成新权威。

    长时程工具使用把目标演化变成授权状态的一部分。本文在单 principal、单根、有限结构化域中，把自生成子目标的创建、替换、同根委托和同根 join 做成可检查转移，并在提交边界重查受保护效应。

    深度解读完整解读
  8. 防御arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  9. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控的告警策略

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  11. 防御arXiv 2610.05640

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    提出 multi-CaMeL，在多智能体调用边界隔离可信指令与不可信数据

    arXiv
    2610.05640
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Claude Fable 5、GPT-5.5、GPT-4.1 等 6 个

    摘要论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。

    深度解读完整解读
  13. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  18. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  19. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA，用分支能力约束与代理拦截防御计算机使用 Agent 的分支引导攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  20. 评测与基准arXiv 2610.01508

    OverAct：衡量并缓解 LLM 工具调用智能体的主动越权取数

    发布 OVERACT 衡量工具调用智能体的主动越权取数，并用 SELFAUDIT 缓解

    arXiv
    2610.01508
    发表
    层
    应用层
    场景
    AI Agent
    摘要七模型普遍超额调用。

    七个来自四个家族的工具调用模型，在保守的字面授权准则下会检索超出请求的私人数据。作者把该行为称为 proactive over-authorization，用 OVERACT 做无 LLM 评审的测量，并用 SELFAUDIT 做不依赖 oracle 的执行前过滤。

    深度解读完整解读
加载更多