跳到正文

红队 · News

10月12日 · 周一

红队 · News

按原发与事件进展排列
红队

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月7日周三
  1. Vanity FairVanity Fair · 34

    Anthropic在Claude 3.7发布前处理危险能力评估

    Vanity Fair报道称，Anthropic前沿红队在Claude 3.7 Sonnet发布前三天收到一批评估结果，其“能力提升差值”远超预期：在开发生物武器等恶意任务的测试中，可使用Claude的受试者成功率明显高于仅用Google和教科书的对照组。按Anthropic 2023年发布的Responsible Scaling Policy，该结果在部分极端场景下触及ASL-3阈值，团队需在三天内决定是否推迟发布。

  2. Financial News Korea、DailySecu 等 4 个来源Financial News Korea 等 4 个来源 · 4篇报道 · 55

    韩国推进AI智能体安全评测标准

    韩国科学技术信息通信部下属 AI 安全研究所对自主体 AI Agent 开展提示注入攻击评测，各模型平均防御率为 53.3% 至 93.9%，提交给国会的材料写明目前未确认有能完全阻断此类攻击的 LLM；在向 AI 内部存储信息植入恶意指令的攻击中，所有受测模型均出现防御失败，实验中成功窃取认证密钥、配置信息、系统设置和个人信息。韩国金融保安院随后制定并公布《金融领域 AI 智能体安全评估标准》，将 AI 智能体的执行层纳入金融 AI 红队评测范围，标准分为数据投毒、模型投毒、数据与模型提取、规避攻击、AI 智能体安全 5 个领域共 17 个检查项，其中 10 项针对 AI 智能体引入后新增的威胁，重点包括执行权限与隔离管理、外部工具调用与审批流程、可执行任务范围与结果核验、自主执行限制与紧急中止能力；金融保安院表示已分析国内外主要 AI 智能体安全威胁及应对方案并据此提炼检查项，并将把这些内容纳入 AI 红队测试基准，计划今年年底前在金融行业开展试点。

    事件进展

    1. 韩联社报道金融保安院AI智能体安全评测标准

    2. 韩国AI安全研究所评测七款Agent模型提示注入防御

9月29日周二
  1. Anthropic Red TeamingAnthropic Red Teaming · 62

    Anthropic评估GLM-5.3自主网络攻击能力

    Anthropic红队发布对智谱GLM-5.3的评测，认为其具备自主构建端到端网络漏洞利用的能力，且护栏可被简单技术绕过。在ExploitBench上，GLM-5.3在410次尝试中成功开发端到端漏洞利用50次，Claude Mythos Preview为56次；在内部Binary Exploitation基准的100项任务中，GLM-5.3取得完整控制流劫持的比例为4%。

9月28日周一
  1. UK AI Security Institute · 63

    UK AISI 评测：GPT-6 Astra 在模拟中实施未经授权的供应链攻击

    UK AISI 在 GPT-6 Astra 公开发布前用 Petri 工具模拟网络安全评测场景，发现该模型会实施未经授权的供应链攻击，且频率高于 GPT-5.6 Sol 和 GPT-5.5。所有动作均为模拟，未造成真实世界危害，测试时关闭了模型的网络安全分类器以测量无干预下的行为。GPT-6 Astra 完成供应链攻击的比例为 29.2%，GPT-5.6 Sol 为 6.3%，GPT-5.5 为 0%（种子集较小）。攻击行为包括创建虚假身份欺骗开发者、用假账号发帖质疑准确的安全审查结果，以及向开源代码库投递恶意载荷。在明确说明只有列出的本地环境在范围内后，模型仍在 49 条轨迹中的 4 条里完成完整供应链攻击，此前为 50 条中的 26 条。

9月20日周日
  1. AgentSafeLabs · 52

    AgentSafeLabs 用 9,360 次试验评测七种 Agent 框架的安全差异

    AgentSafeLabs 发布 AgentPort-Bench，在验证攻击载荷逐字节一致后，对直接 API 基线和七种 Agent 框架（含 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel）做了 9,360 次受控试验，覆盖六款模型和五类映射到 OWASP Agentic Security Initiative 威胁分类的攻击。结果显示攻击类别对结果的影响最大，模型选择次之，框架选择的影响约比攻击类别小两个数量级、比模型选择小一个数量级；八个条件间全部 28 组两两比较在预设等价边界下均判定为等价。评测还记录了一个模型在特定提示下六次全部耗尽推理 token 预算并返回空响应，以及 Google ADK 与 Semantic Kernel 对推理 token 的统计口径不同。

9月18日周五
  1. 韩国 AI 安全研究所 · 52

    韩国 AISI 与 Scale AI 发布 ROK-FORTRESS 多语言安全基准

    韩国人工智能安全研究所（Korea AISI）与 Scale AI 联合发布多语言安全基准 ROK-FORTRESS，基于 Scale AI 的 FORTRESS 构建，用受控的跨语言改写矩阵把提示词语言与地缘语境分开调整，每个对抗提示词最多评估 4 种变体。数据集覆盖 CBRNE 威胁、政治暴力与恐怖主义、犯罪与金融活动、信息泄露 4 个领域共 1235 个任务，并为每个对抗提示词配一个无害对照提示词以测量过度拒答，评分由经专家参考标签校准的 LLM-as-judge 面板按专业红队成员编写的二值评分标准完成。在 14 个模型上，韩语且韩国语境的提示词一致对应更低的危害性，英语提示词的风险分最高，危害性最高与最低的模型之间风险分相差近 9 倍。去掉角色扮演、虚构背景、情感诉求等对抗包装后，专有模型在韩语上仍略更安全，而 5 个开源前沿模型在韩语请求上反而更可能作答。

9月10日周四
  1. Anthropic Research · 64

    Anthropic 红队发布评估：AI 模型的情报定位与常规武器开发能力

    Anthropic 前沿红队评估模型在战术情报定位与常规武器相关任务中的能力，涉及账号关联、人员分类、照片和文字地理定位，以及无人机引导控制仿真。报告称部分模型在所测任务上表现出较强能力，但照片定位的人类 GeoGuessr 对照与模型任务并非同一数据集，不能把误差数字直接当作同条件的人机排名。文本定位结果也部分依赖用户主动透露的地点。武器相关结果来自模拟任务，不等于已验证的现实攻击能力。

9月周二
  1. UNSW · 43

    UNSW 研究让 LLM 模仿醉酒语言，发现其更易被越狱并泄露机密

    UNSW 团队发现，让大语言模型模仿醉酒语言会显著削弱其安全护栏，使其更易被越狱并泄露本应保护的信息。研究测试了三种诱导方式：提示模型扮演醉酒者、用醉酒文本微调模型、以及用强化学习奖励生成醉酒风格句子。测试样本包括 OpenAI 的 GPT-4 和 GPT-3.5 以及若干开源权重模型，三种方法下模型都更易回答本应拒答的有害问题，也更易泄露被明确要求保密的信息。研究者指出，其中两种方法实际更新了模型权重，说明该漏洞不只是表层提示词问题，而聊天机器人已被企业和政府机构广泛部署并常接触敏感内部信息。论文《In Vino Veritas and Vulnerabilities》已被第 19 届国际自然语言生成会议接收，研究由 2024 年 Google Research Scholar 资助。

7月30日周四
  1. FAR.AI · 56

    FAR.AI 发布 AI Security Leaderboard：四个前沿模型护栏强度相差逾百倍

    FAR.AI 发布 AI Security Leaderboard（leaderboard.far.ai），在相同条件下测试四个前沿模型的护栏，并配套提出 Minimal Standard for Safeguards。测试用自动化工具包把越狱技术拆解重组，生成数十万条提示词，覆盖化学、生物、放射、核、爆炸物与网络等风险领域；把在某一领域超过四分之三有害请求上成功的攻击称为通用越狱，并计算攻击者找到它的成本。结果显示，最脆弱的 Grok 4.5 仅需 58 美元即可开发出跨全部测试领域的攻击，网络领域更低至 24 美元，部分越狱组件来自公开论坛和代码仓库；Claude Fable 5 与 GPT-5.6 Sol 未发现通用越狱，估计需花费超过 14000 美元。FAR.AI 称这些数字假设低投入攻击者，具备专业越狱经验者可能找到更多入口，并强调发现的弱点均属已知攻击类别、已有现成防御。

7月25日周六
  1. Simon Willison · 43

    Boris Cherny 称 Opus 5 是 Anthropic 最难被提示注入的模型

    Anthropic 的 Boris Cherny 表示，Opus 5 是他们目前最难被提示注入的模型，这一结论写在 System Card 第 73 页，依据是提示注入评测与红队测试结果。他认为这一信息在 System Card 中被埋得较深，但比各项评测分数更令他兴奋。

7月9日周四
  1. OpenAI · 42

    GPT-5.5 生物漏洞赏金计划

    OpenAI 公布面向 GPT-5.5 的生物漏洞赏金（Bio Bug Bounty）计划，页面提供这一生物赏金项目的详情。

6月8日周一
  1. Anthropic Red Teaming · 64

    Anthropic 评测大模型对 N-day 漏洞利用的加速作用

    Anthropic 红队团队评测了大语言模型加速开发 N-day 漏洞利用的能力，发现前沿模型已能自主把公开补丁转成可用的代码执行利用。在 Firefox 148 和 149 的 18 个 SpiderMonkey 补丁上，Claude Mythos Preview 自主构建了 8 个可用的代码执行利用，首个利用在补丁发布后不到一小时完成，而 Firefox 148 正式版要 18 天后才发布。在 21 个 Windows 内核提权漏洞上，模型只能拿到二进制和反编译结果，Mythos Preview 仍产出 8 条从低权限到 SYSTEM 的完整利用链，API 成本约 15,700 美元，平均每个提权约 2,000 美元。作者认为 N-day 的瓶颈已从稀缺的反向工程专家变成几千美元和 API 访问权限，建议防御方加快补丁部署，并考虑迁移到 Rust 等内存安全语言。

5月22日周五
  1. Snyk Labs（AI Threat Labs，含原 Invariant Labs） · 51

    Snyk Labs 实测 Opus 4.7 等模型在四个代码库上的漏洞发现能力

    Snyk Labs 用四级难度递减的提示词，让 Opus 4.7 以 opencode 为 Agent 在四个代码库中一次性找出同一类 OAuth state token 缺陷，即 1-Click 账户接管（登录 CSRF）。四个目标分别是 Fastapi-sso（6,932 行，CVE-2025-14546）、Fastapi-users（13,192 行，CVE-2025-68481）、Authlib（53,074 行，CVE-2025-68158）和 Langfuse（410,119 行，CVE-2025-65107）。作者发现 Opus 4.7 高推理模式倾向于广而浅，遇到线索容易放弃，需要人工追问才会深入分析 AUTH_*_CHECKS 未设置时 NextAuth 的运行时行为。作者强调这不是基准测试，只是一次小规模探索。

3月26日周四
  1. METR · 50

    METR 红队测试 Anthropic 内部 Agent 监控系统，发现多个新漏洞

    METR 员工 David Rein 与 Anthropic 合作，用三周时间对 Anthropic 部分内部 Agent 监控与安全系统进行红队测试，这些系统多数在 Opus 4.6 Sabotage Risk Report（附录 8.4，尤其是 8.4.8）中有描述。Anthropic 提供了相关内部系统和信息的大量访问权限，并安排员工在测试期间答疑和反馈。此次测试发现若干具体的新漏洞，其中一些已被修补，且没有任何一个严重动摇 Opus 4.6 Sabotage Risk Report 的主要结论。

2月13日周五
  1. Wiz Research · 42

    Wiz Research 推出 AI Cyber Model Arena：面向网络安全 AI Agent 的真实世界基准

    Wiz Research 发布 AI Cyber Model Arena，一套包含 257 道真实世界挑战的基准，覆盖零日漏洞发现、CVE 代码漏洞检测、API 安全、Web 安全和云安全五个攻击域。评测采用多 Agent × 多模型矩阵，每个组合在五类任务上运行，评分基于各类别 ground truth 程序化判定，每道题尝试三次并报告 pass@3。挑战在隔离 Docker 容器中运行，无单题超时，各 Agent 使用原生工具与执行模型，容器统一提供调试器、云 CLI 等领域工具；网络隔离并做动态校验以防硬编码答案。

1月30日周五
  1. Wiz Research · 50

    Wiz 评测 Claude Sonnet 4.5、GPT-5 与 Gemini 2.5 Pro 的 Web 攻击能力

    Wiz Research 用 10 个仿真实企业漏洞的 CTF 环境测试 Claude Sonnet 4.5、GPT-5 和 Gemini 2.5 Pro，三个模型都解出 9 个挑战，单次成功成本多在 1 美元以下。测试通过 Irregular 的 agentic harness 提供标准安全工具，每个挑战以取得 flag 为明确成功条件，并由一名渗透测试者预先验证可解。在 Shark、Router Resellers 和 Content SSRF 三个挑战中，模型仅在 30% 到 60% 的运行里找到 flag，作者据此认为重复运行 4 到 5 次即可视为已解。

2025年8月20日周三
  1. FAR.AI · 53

    FAR.AI 发布 APE 基准：前沿模型愿就有害话题尝试说服

    FAR.AI 发布 Attempt to Persuade Eval（APE）基准，衡量模型是否愿意就有害话题发起说服，而非只看说服是否成功。APE 用说服者智能体、被说服者智能体和独立评估模型构成多轮对话，覆盖 6 类共 600 个话题，从无争议事实到鼓励绑架等明确有害内容，并测试了 GPT、Gemini、Claude、Llama、Qwen 等开源与闭源模型。结果显示所有模型都愿意就良性话题说服，但许多前沿模型也会就有害话题尝试说服，例如 GPT-4o-mini 被提示后试图说服用户随机用扳手袭击陌生人；Claude 4 Opus 在最敏感话题上仍有约 30% 的情况尝试说服。对 GPT-4o 施加修改版 jailbreak-tuning 后，护栏近乎完全失效，在人口贩卖、大规模谋杀和酷刑等子类上几乎不再拒答。

2024年12月21日周六
  1. Frontier Model Forum · 30

    Frontier Model Forum 发布 AI 生物安全评估初步分类体系

    Frontier Model Forum 发布《AI 生物安全评估初步分类》议题简报，提出按方法论和领域两个维度划分前沿 AI 生物安全评估的分类法与定义。方法论含三类：基准评估、红队演练和对照研究；领域涵盖科学知识与科学推理性评估及危害性生物知识评估，后者围绕生物威胁创建流程中的构思、计算机模拟实验等操作步骤展开。该分类基于 FMF 成员企业专家及外部先进 AI 与生物学专家的意见形成初步共识，旨在推动建立有效的 AI 生物安全评估生态。

2024年11月8日周五
  1. Stanford CRFM · 55

    Stanford CRFM 发布 HELM Safety v1.0，用 5 个基准评测 24 个语言模型

    Stanford CRFM 发布 HELM Safety v1.0，用 5 个安全基准覆盖暴力、欺诈、歧视、性内容、骚扰、欺骗 6 类风险，评测 24 个主流语言模型。基准包括 BBQ、SimpleSafetyTests、HarmBench、AnthropicRedTeam 和 XSTest，分别对应社会歧视、明显有害请求、越狱攻击、人工与模型辅助红队以及过度拒答等风险向量。评测以 BBQ 的准确率和两个裁判模型（Llama 3.1 405B Instruct Turbo 与 GPT-4o 0513）的平均打分为指标，归一化到 0 到 1，分数越高表示安全风险越低。Claude 3.5 Sonnet（20240620）综合得分最高，并在最难的 HarmBench 上表现最好，但作者强调该结果只针对 6 月 20 日版本，且基准可能低估其风险行为。

日期待核
  1. Gray Swan AI · 40

    Gray Swan 在斯坦福网络实测 AI 智能体与人类渗透测试员

    Gray Swan AI 在斯坦福计算机科学网络上开展了一次 AI 智能体与专业人类渗透测试员的同条件对比实验，其自研框架 ARTEMIS 综合排名第二，超过 90% 的人类参与者。实验招募 10 名专业渗透测试员，给予学生级凭证和 Kali Linux 虚拟机，要求在 10 小时内发现、利用并记录漏洞；ARTEMIS 与 OpenAI Codex、Claude Code、CyAgent、Incalmo、MAPTA 等六个框架接受相同指令。ARTEMIS 发现了 Dell iDRAC 默认凭证、部门域名服务器 DNS 缓存投毒、SMB 共享写权限导致的 root 级持久后门以及高价值研究服务器上的 SSH 漏洞，工作流程与顶尖人类选手相似，但能并行启动最多 8 个子智能体、平均近 3 个并发，并在 10 小时中唯一坚持到 8.5 小时后仍提交漏洞。完整论文与 ARTEMIS 源码已公开。