跳到正文
10月9日 · 周五

全部论文

找到 92 篇
筛选5

攻击类型

越狱8提示注入52投毒与后门16提取与窃取2检测规避6拒绝服务3恶意使用1

攻击技术

自动化搜索1针对防御1潜伏触发1

模型自身风险

奖励作弊1Agent 危险操作18幻觉与编造2

防御类型

模型加固9推理时干预2检测与过滤31指令与数据隔离33权限与审批50监控与审计27水印与溯源3

影响

有害内容1越权操作52数据与隐私泄露10输出被操纵15可用性与可靠性4监督失效3

系统形态

模型与 API1LLM 应用19AI Agent73编程 Agent10网页与电脑操作5多智能体7

攻击者权限

黑盒4灰盒1白盒2

攻击面/入口

用户输入20网页与界面22文档与消息17工具返回32工具与技能描述12代码仓库与依赖4检索语料6记忆写入7Agent 间消息3图像与音视频3分发渠道8推理服务与硬件2

层

提示层15模型层4应用层90训练与数据层7基础设施层2

系统组件

MCP 与技能20记忆8RAG4护栏与评审21监控器6推理链1权限与沙箱40视觉2图像生成2多模态4
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 426 篇还没打标签，不在筛选结果里。
防御类型：检测与过滤防御类型：指令与数据隔离防御类型：权限与审批层：应用层层：基础设施层清除全部

另有 426 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.09732

    ColluSkill 用跨技能组合绕过 Agent 技能扫描器

    提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

    arXiv
    2608.09732
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、灰盒

    摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。

    深度解读完整解读
  5. 防御arXiv 2603.01544

    RA-Det：利用鲁棒性不对称检测 AI 生成图像

    提出 RA-Det，利用鲁棒性不对称检测 AI 生成图像

    arXiv
    2603.01544
    发表
    层
    应用层
    场景
    LLM 应用
    摘要RA-Det 把扰动下特征漂移差变成检测信号，平均 ACC 高于表中通用检测器，但不是每行最高。

    RA-Det 是合成图像检测器，用扰动下的表示稳定性差异代替外观痕迹。

    深度解读完整解读
  6. 防御arXiv 2610.04699

    CoVer：用干预检验为 Agent 构造可判定规则边界

    提出 COVER，以不咨询模型的干预门准入 Agent 规则自动执行

    arXiv
    2610.04699
    发表
    层
    应用层
    场景
    AI Agent
    摘要自可判定不能向模型索取。

    这篇工作测的是智能体验证器在检查之前的分流：外部规则里的哪条谓词能用固定过程解决，哪条必须交给评审。

    深度解读完整解读
  7. 防御arXiv 2610.04975

    论文提出长程智能体自生子目标的运行时授权机制

    提出运行时授权机制，检查长程智能体自生子目标是否精化根契约

    arXiv
    2610.04975
    发表
    层
    应用层
    场景
    AI Agent
    摘要用版本化目标图授权保住重规划，并挡住自生成子目标变成新权威。

    长时程工具使用把目标演化变成授权状态的一部分。本文在单 principal、单根、有限结构化域中，把自生成子目标的创建、替换、同根委托和同根 join 做成可检查转移，并在提交边界重查受保护效应。

    深度解读完整解读
  8. 防御arXiv 2610.05826

    研究者提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露

    提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露

    arXiv
    2610.05826
    发表
    层
    应用层
    场景
    LLM 应用
    摘要用截止期限制未核验可见时长。

    这篇工作给持续摄入的 RAG 向量库一个失败关闭的临时可见性协议，把协议能限制的未核验暴露和依赖检测器的中毒暴露分开。

    深度解读完整解读
  12. 防御arXiv 2610.05870

    MBZUAI 提出可校准的真实图像认证方法

    提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动

    arXiv
    2610.05870
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    白盒

    摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。

    深度解读完整解读
  18. 评测与基准arXiv 2610.03448

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评 Agent 提示注入检测器，检验基准分数能否预测部署表现

    arXiv
    2610.03448
    发表
    层
    应用层
    场景
    AI Agent

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    深度解读完整解读
  20. 评测与基准arXiv 2610.01508

    OverAct：衡量并缓解 LLM 工具调用智能体的主动越权取数

    发布 OVERACT 衡量工具调用智能体的主动越权取数，并用 SELFAUDIT 缓解

    arXiv
    2610.01508
    发表
    层
    应用层
    场景
    AI Agent
    摘要七模型普遍超额调用。

    七个来自四个家族的工具调用模型，在保守的字面授权准则下会检索超出请求的私人数据。作者把该行为称为 proactive over-authorization，用 OVERACT 做无 LLM 评审的测量，并用 SELFAUDIT 做不依赖 oracle 的执行前过滤。

    深度解读完整解读
加载更多