跳到正文
10月9日 · 周五

全部论文

找到 85 篇
筛选7

攻击类型

越狱8提示注入48投毒与后门15提取与窃取1检测规避3恶意使用3

攻击技术

自动化搜索1针对防御1潜伏触发1

模型自身风险

欺骗与谋划3奖励作弊6失准与价值偏离1Agent 危险操作20幻觉与编造1

防御类型

模型加固12推理时干预2检测与过滤17指令与数据隔离29权限与审批48监控与审计27水印与溯源3

影响

越权操作52数据与隐私泄露8输出被操纵7可用性与可靠性1监督失效12

系统形态

模型与 API39LLM 应用17AI Agent85编程 Agent18网页与电脑操作7多智能体7具身与机器人0

攻击者权限

黑盒3灰盒1

攻击面/入口

用户输入20网页与界面17文档与消息16工具返回29工具与技能描述13代码仓库与依赖2检索语料2记忆写入7Agent 间消息3图像与音视频1分发渠道10

层

应用层85

系统组件

MCP 与技能21记忆9护栏与评审11监控器27推理链2权限与沙箱40视觉1多模态1
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 429 篇还没打标签，不在筛选结果里。
防御类型：检测与过滤防御类型：权限与审批防御类型：监控与审计系统形态：AI Agent系统形态：编程 Agent系统形态：网页与电脑操作系统形态：具身与机器人清除全部

另有 429 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.09732

    ColluSkill 用跨技能组合绕过 Agent 技能扫描器

    提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

    arXiv
    2608.09732
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、灰盒

    摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。

    深度解读完整解读
  7. 防御arXiv 2610.04699

    CoVer：用干预检验为 Agent 构造可判定规则边界

    提出 COVER，以不咨询模型的干预门准入 Agent 规则自动执行

    arXiv
    2610.04699
    发表
    层
    应用层
    场景
    AI Agent
    摘要自可判定不能向模型索取。

    这篇工作测的是智能体验证器在检查之前的分流：外部规则里的哪条谓词能用固定过程解决，哪条必须交给评审。

    深度解读完整解读
  8. 防御arXiv 2610.04975

    论文提出长程智能体自生子目标的运行时授权机制

    提出运行时授权机制，检查长程智能体自生子目标是否精化根契约

    arXiv
    2610.04975
    发表
    层
    应用层
    场景
    AI Agent
    摘要用版本化目标图授权保住重规划，并挡住自生成子目标变成新权威。

    长时程工具使用把目标演化变成授权状态的一部分。本文在单 principal、单根、有限结构化域中，把自生成子目标的创建、替换、同根委托和同根 join 做成可检查转移，并在提交边界重查受保护效应。

    深度解读完整解读
  9. 防御arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    编程 Agent
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  10. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控的告警策略

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  13. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  19. 评测与基准arXiv 2610.03448

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评 Agent 提示注入检测器，检验基准分数能否预测部署表现

    arXiv
    2610.03448
    发表
    层
    应用层
    场景
    AI Agent

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    深度解读完整解读
加载更多