跳到正文
10月9日 · 周五

全部论文

找到 92 篇
筛选6

攻击类型

越狱17提示注入44投毒与后门16提取与窃取1检测规避9拒绝服务1恶意使用2

攻击技术

梯度与表征优化1自动化搜索1多轮渐进1编码与混淆1针对防御2潜伏触发1

模型自身风险

欺骗与谋划1奖励作弊2失准与价值偏离1Agent 危险操作17拒答失当2幻觉与编造1偏见与歧视1

防御类型

模型加固101推理时干预28检测与过滤45指令与数据隔离33权限与审批49监控与审计42水印与溯源11

影响

有害内容12越权操作43数据与隐私泄露7输出被操纵17可用性与可靠性2监督失效3

系统形态

模型与 API27LLM 应用16AI Agent65编程 Agent9网页与电脑操作4多智能体7

攻击者权限

黑盒3灰盒2白盒2

攻击面/入口

用户输入28网页与界面16文档与消息13工具返回27工具与技能描述10代码仓库与依赖2检索语料2记忆写入7Agent 间消息4图像与音视频7训练数据4权重与梯度2分发渠道7推理服务与硬件1

层

提示层15模型层4应用层65训练与数据层7基础设施层1

系统组件

MCP 与技能18记忆8RAG1护栏与评审28监控器7推理链2权限与沙箱40微调与开源权重1视觉6视频1图像生成2嵌入1多模态8
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 444 篇还没打标签，不在筛选结果里。
防御类型：检测与过滤防御类型：权限与审批系统形态：模型与 API系统形态：AI Agent系统形态：编程 Agent系统形态：多智能体清除全部

另有 444 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2608.09732

    ColluSkill 用跨技能组合绕过 Agent 技能扫描器

    提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

    arXiv
    2608.09732
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、灰盒

    摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。

    深度解读完整解读
  3. 评测与基准arXiv 2610.07939

    CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出

    提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别

    arXiv
    2610.07939
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    C2P-CLIP、ForgeLens、D3-Im 等 10 个

    摘要提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。

    深度解读完整解读
  7. 防御arXiv 2610.04699

    CoVer：用干预检验为 Agent 构造可判定规则边界

    提出 COVER，以不咨询模型的干预门准入 Agent 规则自动执行

    arXiv
    2610.04699
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Sonnet、Claude Opus、GPT-4o 等 5 个
    摘要自可判定不能向模型索取。

    这篇工作测的是智能体验证器在检查之前的分流：外部规则里的哪条谓词能用固定过程解决，哪条必须交给评审。

    深度解读完整解读
  8. 防御arXiv 2610.04975

    论文提出长程智能体自生子目标的运行时授权机制

    提出运行时授权机制，检查长程智能体自生子目标是否精化根契约

    arXiv
    2610.04975
    发表
    层
    应用层
    场景
    AI Agent
    摘要用版本化目标图授权保住重规划，并挡住自生成子目标变成新权威。

    长时程工具使用把目标演化变成授权状态的一部分。本文在单 principal、单根、有限结构化域中，把自生成子目标的创建、替换、同根委托和同根 join 做成可检查转移，并在提交边界重查受保护效应。

    深度解读完整解读
  13. 防御arXiv 2610.03073

    SecJev：为 System One 决策模型引入安全专业知识

    提出 SecJev，用场景加权训练把决策模型适配为安全类型化判断

    arXiv
    2610.03073
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    SecJev-0.8B、SecJev-2B、SecJev-4B 等 4 个
    摘要SecJev 用共享打分器做安全决策，0.8B 的 task-macro 超过 Kev-9B。

    SecJev 是 0.8B 到 9B 的安全决策模型族，作者称据其所知是首个面向安全的 Jev-like 家族。

    深度解读完整解读
  14. 防御arXiv 2610.02853

    研究提出基于收缩约束状态空间模型的有界可达性与越狱检测方法

    提出收缩约束 SSM 安全头，认证嵌入扰动并检测越狱

    arXiv
    2610.02853
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    被测模型
    ToySSMClassifier、S4 safety head
    摘要收缩给出玩具 LTI 的有界认证。

    给 SSM 安全头一个收缩条件，并在越狱检测上使用收缩正则的 S4 头。。

    深度解读完整解读
  17. 防御arXiv 2610.02664

    论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束

    提出 STAR-Guard 双层防御，缓解长程智能体跨轮遗忘安全约束

    arXiv
    2610.02664
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.5、DeepSeek-V4-Pro、GLM-5.2 等 7 个

    摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。

    深度解读完整解读
  18. 评测与基准arXiv 2610.03448

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评 Agent 提示注入检测器，检验基准分数能否预测部署表现

    arXiv
    2610.03448
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    深度解读完整解读
  19. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA，用分支能力约束与代理拦截防御计算机使用 Agent 的分支引导攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  20. 评测与基准arXiv 2610.01508

    OverAct：衡量并缓解 LLM 工具调用智能体的主动越权取数

    发布 OVERACT 衡量工具调用智能体的主动越权取数，并用 SELFAUDIT 缓解

    arXiv
    2610.01508
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen3.6-Flash、Qwen3.6-Plus、Qwen3.7-Max 等 7 个
    摘要七模型普遍超额调用。

    七个来自四个家族的工具调用模型，在保守的字面授权准则下会检索超出请求的私人数据。作者把该行为称为 proactive over-authorization，用 OVERACT 做无 LLM 评审的测量，并用 SELFAUDIT 做不依赖 oracle 的执行前过滤。

    深度解读完整解读
加载更多