跳到正文

红队 · News

10月13日 · 周二

红队 · News

按原发与事件进展排列
红队

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月7日周三
  1. TechCrunch AI、Meta NewsroomTechCrunch AI 等 2 个来源 · 2篇报道 · 41

    Meta用AI检测导流CSAM的广告

    Meta 公布多项打击儿童性剥削的新措施：用新的大语言模型检测广告中隐蔽指向儿童性虐待内容的“signposting”，加强对广告跳转目的地的识别，扩大 AI 广告扫描，并部署红队 AI 智能体主动探测自身防御弱点。Meta 自报 2026 年 1 月至 6 月在印度处置 530 万条相关内容，超 98% 为主动发现。TechCrunch 报道称，Meta 宣布 2026 年上半年对 Facebook 和 Instagram 上 3320 万条儿童性剥削内容采取行动，其中超过 97% 由系统在用户举报前发现，印度同期处置 530 万条、98% 以上为主动发现；Meta 因此开始审查广告的跳转目的地而不只是广告内容本身，并可封禁违规网站和处置相关账号。

10月6日周二
  1. The Hacker News、Help Net Security AI 等 6 个来源The Hacker News 等 6 个来源 · 6篇报道 · 53

    Anthropic扩展CVP分级访问计划

    Anthropic宣布扩展Cyber Verification Program（CVP），将Project Glasswing与CVP合并为单一项目，按网络安全用途分三级：Defense Access面向企业、非营利组织、高校、政府安全团队及有漏洞报告记录的个人研究者，覆盖事件调查、恶意软件分析、漏洞分析与验证；Red Team Access仅限机构，用于授权攻击模拟与渗透测试；Specialized Access用于更专门用途。后两级逐步放宽安全护栏，经审核者可访问Claude Opus 5.5、Sonnet 5.5、Mythos 5.1及后续新模型。Anthropic称Glasswing合作方在4—7月发现至少12.9万个漏洞。

8月25日周二
  1. Cisco · 11

    Cisco AI Defense 与 Armada 合作：分布式 AI 在任务所需之处安全运行

    Cisco AI Defense 与 Armada 合作，为分布式 AI 提供 AI 原生安全层：通过 Adaptive Red-Teaming 在生产前对模型做红队验证，并在运行时对提示词、响应、MCP 交互和工具调用施加护栏，覆盖提示注入、越狱、敏感数据泄露、不安全内容、工具滥用等风险。该方案面向 Armada Bridge GPU 上部署的 LLM，支持云、主权云与边缘环境，敏感 AI 载荷与运行时执行保留在客户或租户环境内，策略、可见性与报告可集中管理。

7月23日周四
  1. UK AI Security Institute · 57

    UK AISI 成立 Control Red Team，用演化搜索压力测试前沿监控器

    UK AISI 新设 Control Red Team，把红队方法从人类滥用防护扩展到 AI 控制护栏，专门测试监控 LLM 智能体行为的监控器。该团队已测试并协助改进两家前沿开发者的内部监控器：与 Google DeepMind 测试了异步推理监控器，发现包括智能体假装把恶意目标幻觉成用户指令在内的多个漏洞；与 Anthropic 测试了多版同步智能体编码监控器，每一版都发现漏洞，最佳攻击还用于 Anthropic 对 Claude Mythos Preview 的测试。部分攻击利用监控器提示词的缺口，另一些利用 LLM 自身弱点完成提示词明确禁止的目标；部分情况下由硬编码规则决定哪些动作送审，这时最优的攻击策略是让动作完全不被送审。团队还列出模拟真实攻击者、估计整体安全性、改进算法、处理监控器自身失准等开放研究问题。

7月15日周三
  1. OpenAI · 55

    GPT-Red：解锁面向鲁棒性的自我改进

    OpenAI 训练了内部自动化红队模型 GPT-Red，用自我对弈强化学习生成提示注入攻击，并将其纳入生产模型训练以提升鲁棒性。OpenAI 称 GPT-5.6 Sol 在最难的直接提示注入基准上失败次数比四个月前最好的生产模型少 6 倍，在 GPT-Red 的直接提示注入上仅 0.05% 失败。在 Dziemian 等人 2025 年的间接提示注入竞技场上，GPT-Red 对 GPT-5.1 的攻击成功率为 84%，人类红队为 13%。GPT-Red 还攻破了 OpenAI 办公室的自动售货机 Agent 和基于 GPT-5.4 mini 的 Codex CLI Agent 的数据外泄场景。早期 GPT-Red 发现的 Fake Chain-of-Thought 攻击在 GPT-5.1 上成功率超 95%，在 GPT-5.6 Sol 上已低于 10%。

6月9日周二
  1. NIST · 43

    NIST 数学证明：AI 护栏无法穷尽抵御对抗提示，需转向持续监控与更新

    NIST 高级科学家 Apostol Vassilev 在 IEEE Security and Privacy 发表论文，借助哥德尔 1931 年不完备定理给出数学证明：不存在一组有限的护栏能普遍抵御对抗提示，总能找到让 AI 无视规则的提示词。证明指出，AI 护栏如同建立在有限规则上的系统，攻击者可通过精心构造的提示绕过拒答机制，导致网络攻击、数据泄露和高度个性化钓鱼等现实风险。Vassilev 提出三要素应对路径：红队持续寻找新的对抗提示、针对新发现的提示持续更新加固护栏、以及在漏洞被利用时优先限制影响并快速恢复的运营韧性。他表示目标不是彻底解决问题，而是让攻击者寻找新漏洞的成本超过其资源，形成对攻击者经济上不可行的新平衡。论文题为 Robust AI Security and Alignment: A Sisyphean Endeavor?

4月3日周五
  1. Google Security · 33

    Google Workspace 如何持续缓解间接提示注入攻击

    Google 通过持续发现新攻击、扩充漏洞目录并迭代防御，缓解 Workspace with Gemini 面临的间接提示注入（IPI）威胁。其手段包括人工红队测试、自动化红队测试、Google AI 漏洞奖励计划（VRP）和公开攻击情报收集，并用 Simula 生成合成数据，使合成数据生成量提升 75%。

3月25日周三
  1. OpenAI · 57

    OpenAI 推出安全漏洞赏金计划

    OpenAI 宣布推出安全漏洞赏金计划，用于发现 AI 滥用与安全风险，征集范围包括 Agent 漏洞、提示注入和数据外泄。

2025年12月22日周一
  1. OpenAI · 43

    OpenAI 持续加固 ChatGPT Atlas 抵御提示注入

    OpenAI 表示正在用强化学习训练的自动化红队加固 ChatGPT Atlas，以抵御提示注入攻击。这一主动发现并修补的闭环旨在尽早识别新的攻击手法，并随着 AI 智能体能力增强持续加固浏览器 Agent 的防御。

2025年12月9日周二
  1. Jan Leike · 34

    Anthropic 安全缓解措施漏洞赏金计划

    Anthropic 针对我们的安全缓解措施设有漏洞赏金计划，例如 CBRN 风险方面，我们的负责任扩展政策要求我们必须有效缓解这些风险。 如果你对此感兴趣，请报名参加！你可以通过攻破我们的防御来帮助 AI 安全并赚取报酬。👇

已经到底了