跳到正文
10月8日 · 周四

红队 · 论文

找到 29 篇
筛选4

攻击类型

越狱4提示注入13投毒与后门7恶意使用1

攻击技术

自动化搜索3多轮渐进1编码与混淆2角色扮演与说服1跨模态载荷2针对防御1潜伏触发1诱导选用2

模型自身风险

欺骗与谋划3失准与价值偏离1Agent 危险操作4危险能力2

防御类型

检测与过滤1权限与审批1监控与审计2

影响

有害内容2越权操作18数据与隐私泄露3输出被操纵1可用性与可靠性1监督失效2滥用能力提升2

系统形态

模型与 API4AI Agent29编程 Agent14网页与电脑操作2多智能体2

攻击者权限

黑盒2

攻击面/入口

用户输入8网页与界面2文档与消息3工具返回6工具与技能描述6代码仓库与依赖5检索语料1记忆写入4Agent 间消息2图像与音视频2分发渠道2

层

应用层29

系统组件

MCP 与技能6记忆3RAG1护栏与评审2监控器3权限与沙箱4视觉2音频1多模态2

被测模型厂商

OpenAI24Anthropic22Qwen（阿里）16DeepSeek14智谱 GLM13Kimi（月之暗面）11Google9Meta8MiniMax5其他10
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 84 篇还没打标签，不在筛选结果里。
系统形态：AI Agent系统形态：编程 Agent系统形态：网页与电脑操作系统形态：多智能体话题：红队清除全部

另有 84 篇论文还没打上分类标签，暂不在筛选结果里。

  5. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  7. 评测与基准arXiv 2610.03448

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    arXiv
    2610.03448
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    深度解读完整解读
  8. 评测与基准arXiv 2610.03153

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    提出 EvoRiskBench，评测工作区智能体的运行时安全风险

    arXiv
    2610.03153
    发表
    层
    应用层
    场景
    编程 Agent、多智能体
    测试
    GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    深度解读完整解读
  9. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测智能体框架的多模态提示注入

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  10. 评测与基准arXiv 2608.09476

    ActBench：面向协作智能体行为安全的自演化基准

    构建 ActBench 评测协作智能体多步执行中的操作级行为安全

    arXiv
    2608.09476
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个

    摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。

    深度解读完整解读
  11. 评测与基准arXiv 2609.35799

    研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

    在模拟环境中复现级联失准行为并降低审计诱导开销

    arXiv
    2609.35799
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GLM 5.2、GLM 5.3、Kimi K3 等 9 个

    摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。

    深度解读完整解读
  14. 评测与基准arXiv 2609.19892

    ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

    提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务

    arXiv
    2609.19892
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude-Sonnet-5、DeepSeek-V4-Flash-0731、GLM-4.7 等 15 个

    摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。

    深度解读完整解读
  17. 评测与基准arXiv 2609.09798

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    arXiv
    2609.09798
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    深度解读完整解读
  18. 评测与基准arXiv 2609.19587

    红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器

    红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固

    arXiv
    2609.19587
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Opus 5、Opus 4.8、Opus 4.7 等 8 个

    摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。

    深度解读完整解读
  19. 评测与基准arXiv 2609.27336

    CART：面向大语言模型的闭环自适应红队框架

    提出闭环自适应红队框架 CART，评测模型与工具 Agent 的风险面

    arXiv
    2609.27336
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Opus 4.8、GPT-5.5、Grok 4.3 等 7 个
    摘要CART 把红队做成可审计的闭环搜索，在三类评测上比静态回放发现更多失败与更高平均风险。

    CART 把自动红队从一次清单式打分，改成带预算、可追溯的闭环搜索。

    深度解读完整解读
加载更多