跳到正文
10月8日 · 周四

红队 · 论文

找到 21 篇
筛选2

攻击类型

越狱4提示注入7投毒与后门5恶意使用1

攻击技术

自动化搜索2多轮渐进1编码与混淆2角色扮演与说服1跨模态载荷1针对防御1潜伏触发1诱导选用2

模型自身风险

欺骗与谋划1失准与价值偏离1Agent 危险操作2危险能力1拒答失当1

防御类型

检测与过滤1权限与审批1

影响

有害内容3越权操作12数据与隐私泄露2输出被操纵1可用性与可靠性1监督失效1滥用能力提升1

系统形态

模型与 API2AI Agent19编程 Agent11网页与电脑操作2多智能体1

攻击者权限

黑盒2无盒1

攻击面/入口

用户输入6网页与界面1文档与消息1工具返回3工具与技能描述4代码仓库与依赖4检索语料1记忆写入3Agent 间消息1图像与音视频1分发渠道2

层

提示层1模型层1应用层19

系统组件

MCP 与技能4记忆2RAG1护栏与评审2监控器1权限与沙箱3视觉1多模态1

被测模型厂商

OpenAI24Anthropic21Qwen（阿里）18DeepSeek13智谱 GLM12Google11Kimi（月之暗面）11Meta8MiniMax6其他11
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 95 篇还没打标签，不在筛选结果里。
被测模型厂商：Qwen（阿里）被测模型厂商：MiniMax话题：红队清除全部

另有 95 篇论文还没打上分类标签，暂不在筛选结果里。

  5. 评测与基准arXiv:2604.02947 ·

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    网页与电脑操作编程 Agent测试Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个应用层
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    完整解读
  6. 评测与基准arXiv:2610.03448 ·

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    AI Agent测试Qwen2.5-7B-Instruct、Horizon-Labs、Wolf Defender 等 15 个应用层

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    完整解读
  14. 评测与基准arXiv:2609.32547 ·

    研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败

    提出预算化发现框架，优先深评更可能隐藏失败的安全提示词

    模型与 API测试Qwen 2.5 7B、Qwen/Qwen2.5-7B-Instruct-Turbo、Gemma 3n E4B 等 6 个模型层
    摘要浅层零失败的提示词仍可按潜在失败倾向排序，从而把有限深评预算投向更可能暴露隐藏失败之处。

    作者把 LLM 可靠性评测写成预算约束下的隐藏失败发现：每条提示词有未知的逐次失败概率，浅层少量采样中的零失败并不等于该概率为零。

    完整解读
加载更多