跳到正文
10月9日 · 周五

全部论文

找到 11 篇
筛选4

攻击类型

越狱1提示注入2投毒与后门1

攻击技术

编码与混淆1跨模态载荷1

模型自身风险

欺骗与谋划4奖励作弊2拒答失当2

防御类型

检测与过滤1监控与审计5

影响

有害内容3越权操作1监督失效6

系统形态

模型与 API4AI Agent13编程 Agent7网页与电脑操作1多智能体2

攻击者权限

黑盒1

攻击面/入口

用户输入2文档与消息2工具返回1工具与技能描述1图像与音视频1分发渠道1

层

提示层2模型层2应用层6训练与数据层1

系统组件

MCP 与技能4记忆3护栏与评审17监控器9推理链3权限与沙箱2微调与开源权重3视觉8音频4视频1图像生成2多模态13

被测模型厂商

OpenAI7Anthropic7Qwen（阿里）6其他7
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 584 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统组件：监控器系统组件：图像生成清除全部

另有 584 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2602.08877

    自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

    提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

    arXiv
    2602.08877
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个

    摘要通过红队提示词揭示现有审计方法易受策略欺骗，并在激活层面诱导高置信度错误推断。

    深度解读完整解读
  2. 评测与基准arXiv 2605.16626

    Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

    构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

    arXiv
    2605.16626
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

    摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。

    深度解读完整解读
  4. 评测与基准arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  5. 评测与基准arXiv 2609.05797

    论文发现安全监控器主要拦截模型本就会拒答的请求

    评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检

    arXiv
    2609.05797
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Gemma-4-31B-IT、Qwen3-32B、Llama Guard 3 8B 等 6 个

    摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。

    深度解读完整解读
  6. 评测与基准arXiv 2609.07216

    DIVA：利用视觉锚点对视频生成模型实施多模态越狱

    提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型

    arXiv
    2609.07216
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Wan、CogVideoX、LTX-Video 等 9 个
    摘要DIVA 用视觉锚点抑制语义漂移做视频越狱，并给出多条件安全基准 TI2VSafetyBench。

    DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱：用一致性机制本身堵住语义漂移这条安全逃逸路径。。

    深度解读完整解读
  8. 评测与基准arXiv 2609.34262

    论文提出基准完整性维护框架，审计 Agent 通过轨迹中的非应得通过

    提出过程核验框架，审计 Agent 基准的无根据通过与奖励黑客

    arXiv
    2609.34262
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Opus 4.7、Opus 4.8、Opus 5 等 11 个
    摘要审计通过轨迹、分开奖励黑客与验证器弱点，并用重放加现场重测验收修复。

    Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题：验证器给满分，并不等于智能体展示了任务所要的能力。

    深度解读完整解读
  9. 评测与基准arXiv 2609.39533

    CATCH：面向编码 RL 奖励作弊的可控分析测试台

    提出 CATCH 测试台，复现编码 RL 的奖励作弊

    arXiv
    2609.39533
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Qwen3-4B、Qwen3.5-Plus、Qwen3.5-27B
    摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。

    CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。

    深度解读完整解读
  10. 评测与基准arXiv 2609.06991

    AV-SafetyBench：面向文本到音视频生成的安全基准

    提出 AV-SafetyBench 评测文生音视频模型的不安全生成

    arXiv
    2609.06991
    发表
    层
    模型层
    场景
    模型与 API
    测试
    LTX-2.3、Ovi-1.1、JavisDiT++ 等 7 个
    摘要AV-SafetyBench 用三视角评五个 T2AV 模型，显示只看视频会漏掉音频与联合风险。

    AV-SafetyBench 是面向文本生成音视频（T2AV）的安全基准：一条提示词同时规定画面和音频，评测同时看两轨以及它们的交互。作者要测的是，不安全含义不只出现在画面上：它可以主要由语音或声音承载，也可以只有两轨合起来才成立。T2VSafetyBench 不评音频，TTA-Bench 不评与画面的交互，作者认为二者都盖不住这些路径。

    深度解读完整解读
  11. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料并比较内核与应用层证据的攻击检测效果

    arXiv
    2609.28915
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    AdaBoost、XGBoost、TabPFN 等 13 个
    摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
已经到底了