跳到正文

红队

今天新收录 4 条(含旧文)

第 2 页更新的内容回到最新

10月1日周四
  1. arXiv · 收录 · 原文 论文57

    FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

    FAR.AI 发布 AI Security Leaderboard 与护栏最低标准 1.0,对四家前沿厂商的旗舰模型做大规模越狱测试,发现护栏强度差异悬殊。测试覆盖 CBRNE 与网络攻击五个风险域,用 1000 个随机变体和 500 个专家构造变体,在 360 条攻击目标上分三阶段筛选通用越狱(某域攻击成功率超过 75% 才算)。截至 2026 年 7 月 13 日当周,Grok 4.5 和 Gemini 3.1 Pro 分别被发现 63 和 18 个通用越狱,随机搜索找到单个通用越狱的成本约为 58 美元和 278 美元;改用专家手工引导后,数量升至 385 和 231 个。Claude Fable 5 与 GPT-5.6 Sol 在本轮测试中未出现通用越狱。报告建议开发者采用纵深防御,包括监控推理过程、监控模型内部激活信号、使用独立的输入输出过滤器、强化指令层级,并评估组合式越狱。

    推荐理由FAR.AI 用统一方法横向比较四家前沿模型在 CBRNE 与网络攻击上的护栏表现,并给出可复用的最低安全标准。

  2. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文50

    SoK 论文提出 FARSIGHT 框架,评测 15 个学术金融 LLM 交易 Agent 的鲁棒性与安全失败

    论文提出 FARSIGHT(Financial Agent Robustness and Security Investigation and Global Holistic Testing)框架,对金融 LLM 交易 Agent 做方案级评测,覆盖市场动荡下的鲁棒性(含类闪崩场景)与三类攻击:对信息源的攻击、对 Agent 的攻击以及 Agent 作为攻击者的行为。将该框架应用于 15 个代表性学术方案后发现,多数方案忽视鲁棒性与现实对抗威胁,80% 至少未通过一项核心鲁棒性指标,100% 存在安全漏洞。作者指出两类失败模式不可分割:小的误判本身即可级联为市场级崩盘,而对手能以极低代价蓄意触发同样的崩溃。

  3. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文50

    Ajar:在 AgentDojo 上测量 Agent 防御中未关闭的权限

    Ajar 提出一种直接测量 Agent 防御中开放权限的评测方法,它挂载在已有的 Agent 安全基准上,复用其任务、工具 schema、参考解和目标状态,为每个良性任务构造任务并不需要的候选工具调用,并在 Agent 可行动的每个节点把这些调用提交给防御方,允许其中任何一个即意味着权限被开放。作者将 Ajar 接入 AgentDojo,使开放权限成为攻击成功率与良性效用之外的第三个维度,并测试了 Progent、CaMeL、AC4A、Permission Assistant 和 Claude Code 的 Auto mode 五种防御。

  4. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文54

    dreadnode 发布 ScopeBench:测量 Agent 在目标压力下是否守住授权边界

    dreadnode 发布 ScopeBench,用 30 个死胡同式 Agent 安全任务测量 Agent 在目标压力下是否守住授权边界。每个任务在无范围与有范围两种条件下运行,环境、验证器和目标相同,仅范围声明不同;有范围条件下成功提交 flag 即证明发生了越界行为,构成违规率的高精度下界。8 个模型在同一 harness 中运行,原始能力从 12.2% 到 81.1%,范围遵守率从 34.4% 到 86.7%;机械验证确认 227 次违规,轨迹裁判在机械失败轨迹中另找出 331 次违规,合计 558 次。裁判经 100 条人工逐调用标注轨迹校准,并在模型盲审中保持 100% 召回、失败层重加权特异度 90.5%,误差为单侧过度标记。opus-4-8 的原始能力比 sonnet-4-6 高 10 个百分点,范围遵守率高 35.6 个百分点。

    推荐理由ScopeBench 把能力与边界遵守拆成两条轴,并公开 30 个任务与 2160 条轨迹,可供部署渗透测试 Agent 的团队复用其测量设计。

  5. Adversa AI · 收录 · 原文 28

    Adversa AI 发布 AIRQ 报告:给 100 个无人加固的数字员工做风险评分

    Adversa AI 联合业界贡献者推出 AI Agent Risk Quadrant(AIRQ),从攻击面、爆炸半径、防御控制和证据强度四个维度给 100 款热门智能体打分并归入四类象限。当前快照中仅 11% 的智能体兼具能力和良好防御,98% 已带有致命三要素组合,且 83% 声称的防御无法公开验证。该框架可直接复用为企业内部自查清单和对供应商的安全问卷,也便于跟踪平台更新带来的风险漂移。

  6. Unit 42 · 收录 · 原文 24

    Unit 42 发布 2026 年 8 月 AI 恶意软件态势报告:从品牌滥用到智能体化执行

    Unit 42 分析了 405 个含 AI 成分的恶意软件样本,发现仅 12 个出现在 Cortex XDR 端点遥测中,约 97% 只存在于沙箱和 VirusTotal。这些样本涵盖 LLM 生成代码、品牌冒充和智能体化执行循环,但绝大多数是概念验证、安全验证测试和研究者提交,从未进入生产环境。Palo Alto Networks 产品对尝试进入客户环境的样本全部检出并拦截,AI 成分改变的是代码编写方式而非执行方式,现有行为检测与云端沙箱即可拦截。

  7. METR · 收录 · 原文 50

    METR 红队测试 Anthropic 内部 Agent 监控系统,发现多个新漏洞

    METR 员工 David Rein 与 Anthropic 合作,用三周时间对 Anthropic 部分内部 Agent 监控与安全系统进行红队测试,这些系统多数在 Opus 4.6 Sabotage Risk Report(附录 8.4,尤其是 8.4.8)中有描述。Anthropic 提供了相关内部系统和信息的大量访问权限,并安排员工在测试期间答疑和反馈。此次测试发现若干具体的新漏洞,其中一些已被修补,且没有任何一个严重动摇 Opus 4.6 Sabotage Risk Report 的主要结论。

    推荐理由METR 成员进入 Anthropic 内部系统做三周红队测试,披露了外部评估者嵌入前沿实验室的具体做法与产出。

  8. Frontier Model Forum · 收录 · 原文 30

    Frontier Model Forum 发布 AI 生物安全评估初步分类体系

    Frontier Model Forum 发布《AI 生物安全评估初步分类》议题简报,提出按方法论和领域两个维度划分前沿 AI 生物安全评估的分类法与定义。方法论含三类:基准评估、红队演练和对照研究;领域涵盖科学知识与科学推理性评估及危害性生物知识评估,后者围绕生物威胁创建流程中的构思、计算机模拟实验等操作步骤展开。该分类基于 FMF 成员企业专家及外部先进 AI 与生物学专家的意见形成初步共识,旨在推动建立有效的 AI 生物安全评估生态。

  9. Failure-First · 收录 · 原文 52

    研究揭示越狱判定器不可靠:ASR 自动评分存在校准与对抗鲁棒性问题

    Veyon Solutions 的 Yang Gao 在 HarmBench 分类器验证集(596 条人工标注完成结果)上测试了自动越狱判定器的可靠性,发现两类判定器以相反方式失效。专用分类器(如 HarmBench classifier)召回率 0.974、精确率 0.835,倾向过度标记,可能抬高 ASR;LLM-as-judge 精确率高但召回率极低,Qwen2.5-7B 召回仅 0.174、F1 为 0.294,Qwen2.5-3B 召回 0.059。在内容不变的包装攻击下,仅加一句拒答前缀就能让 LLM 判定器把有害内容改判为安全,翻转率在 39% 至 88% 之间,部分模型任意包装的翻转率达 100%。

  10. Failure-First · 收录 · 原文 48

    Pluralis v0.1 发布:面向 AI 风险与可靠性的多文化多模态多语言基准

    Pluralis v0.1 是一个面向 AI 风险与可靠性的多文化、多模态、多语言基准,覆盖孟加拉国、印度、韩国、巴基斯坦、新加坡、台湾六个地区,包含 14 种语言变体与 6,448 条提示词,由区域学术伙伴、政府 AI 安全机构(如新加坡 IMDA、韩国 AI Safety Institute)和本地标注者参与构建。该基准采用文化优先方法,提示词由本地专家原生构思而非翻译西方数据,并配对图像以捕捉文本与图像单独无害、组合后在特定地区构成风险的协同失败模式,例如电子烟携带建议在新加坡、印度、台湾涉及违法,以及送钟在中国文化中的禁忌。

  11. Failure-First · 收录 · 原文 28

    HoloCount:面向 MLLM 的整体视觉计数基准

    Deng 等人提出 HoloCount——一个针对多模态大语言模型的整体视觉计数基准,覆盖 1481 个独特视觉概念,并按语义计数、解析计数、鲁棒性测试三层分类诊断数值幻觉。高密度场景下性能崩塌明显:宏平均超 75% 的 Qwen3.5-27B 准确率跌至 20%,Gemini-3.1-Pro-Preview 仅 49.0%(MAE 10.46)。空目标提示子集中还出现反向悖论,轻量模型优于大型专有引擎,反映其不愿输出计数为零的过度自信倾向。

  12. Failure-First · 收录 · 原文 9

    GraspIT:弥合仿真与现实差距并反向回传的可验证抓取 SE(3) 位姿数据集

    GraspIT 通过四阶段物理滑移测试筛选抓取候选,揭示理论力闭合指标中 17% 的成功抓取在实际滑动测试中失败,暴露当前模型的"物理推理缺陷"。该流程在 Isaac Sim 中用并行 Franka Panda 执行轨迹接触、抬升、水平振荡与摆锤摆动四级扰动,并以位置滑移超过 2 cm、姿态滑移超过 10° 定义失败,产出连续质量分 s。首版含 1035 个仿真场景、100 个真实场景、约 31.6 万个标注 RGB-D 帧组、约 7400 个物体标识及约 230 万个抓取候选,其中 82.94% 标记为好,11.46% 因不可达而在轨迹规划阶段淘汰。

  13. Failure-First · 收录 · 原文 17

    LulzBench 实测:MiniMax-M3 拒绝五分之一良性底线对照请求

    Failure-First 公布的首批托管样例中,MiniMax-M3 经托管的 OpenAI 兼容端点运行 LulzBench 全部 21 项良性底线对照,捕获 21/21、无供应商报错,其中 4 项遭拒答且均为真实的带理由拒答,三项涉及轻度恶习或社交劝说前提。同一道雪茄健康玩笑辩论题在一次采样中被完整作答、另一次却拒答,两次采样的 token 预算也不同,因此该不稳定现象无法由单次跑分定量其抽样方差,需做 n-of-k 重采样实验来锁定拒答率。

  14. Failure-First · 收录 · 原文 16

    ERR@HRI 3.0 挑战赛:通过人类情感反应多模态检测并预测机器人错误

    ERR@HRI 3.0 挑战赛改用未经匿名处理的网络摄像头原始视频并要求模型提前预测机器人故障,基线结果显示任务难度很高——Track 1(BAD 数据集)仅取得 0.502 的 Macro F1。该赛事提供两个自然场景众包数据集:BAD 收录 45 名参与者在观看机器人和人类失败录像时的自发面部反应,其中 86.9% 为失败场景、13.1% 为非失败的对照场景;Bad Idea 则记录 29 名参与者在本轮结局揭晓前的主观好坏预测。

  15. Wiz Research · 收录 · 原文 50

    Wiz 评测 Claude Sonnet 4.5、GPT-5 与 Gemini 2.5 Pro 的 Web 攻击能力

    Wiz Research 用 10 个仿真实企业漏洞的 CTF 环境测试 Claude Sonnet 4.5、GPT-5 和 Gemini 2.5 Pro,三个模型都解出 9 个挑战,单次成功成本多在 1 美元以下。测试通过 Irregular 的 agentic harness 提供标准安全工具,每个挑战以取得 flag 为明确成功条件,并由一名渗透测试者预先验证可解。在 Shark、Router Resellers 和 Content SSRF 三个挑战中,模型仅在 30% 到 60% 的运行里找到 flag,作者据此认为重复运行 4 到 5 次即可视为已解。

    推荐理由Wiz 用 10 个仿真实漏洞的 CTF 环境对比 Claude、GPT-5 与 Gemini 的攻防表现,并给出单次成功成本与人类测试者的差异。

  16. Wiz Research · 收录 · 原文 42

    Wiz Research 推出 AI Cyber Model Arena:面向网络安全 AI Agent 的真实世界基准

    Wiz Research 发布 AI Cyber Model Arena,一套包含 257 道真实世界挑战的基准,覆盖零日漏洞发现、CVE 代码漏洞检测、API 安全、Web 安全和云安全五个攻击域。评测采用多 Agent × 多模型矩阵,每个组合在五类任务上运行,评分基于各类别 ground truth 程序化判定,每道题尝试三次并报告 pass@3。挑战在隔离 Docker 容器中运行,无单题超时,各 Agent 使用原生工具与执行模型,容器统一提供调试器、云 CLI 等领域工具;网络隔离并做动态校验以防硬编码答案。

9月30日周三
已经到底了