Skip to content

Translation in progress Some entries still include text in the original language.

Red teaming · News

Oct 12 · Monday

Red teaming · News

Latest publications and developments
Red teaming

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 10Sat
  1. WIRED Security and AIWIRED Security and AI · 25

    Apate uses AI bots to counter online scammers

    Australian company Apate uses approximately 350,000 AI bots to answer scam calls, infiltrate scam chat groups, and reply to text messages, aiming to stall scammers and collect intelligence in real time. It has so far collected over 250,000 pieces of scammer information, including scam URLs, money mule accounts, and banking information. Its founder Dali Kaafar said Apate's calls often last over two hours, and the demo version tested by WIRED failed to get the AI to take the bait. Research by ETH Zurich researcher Mark Vero found that LLM-driven honeypots can make AI attackers attack longer, and are detected.

Oct 8Thu
  1. SK 电讯新闻室, Yonhap News Agency · 3 sourcesSK 电讯新闻室 · 3 sources · 3 reports · 25

    SKT and Upstage among 11 organizations establish AI cybersecurity protocol body

    SK Telecom and Upstage, together with 6 security companies including AhnLab and SK Shieldus, and 3 universities—Korea University, Soongsil University, and Pusan National University—totaling 11 organizations, established an "independent AI cybersecurity protocol body" that will use security field data to train SK Telecom's A.X K series and Upstage's Solar models: security companies provide data on malicious code analysis, vulnerability analysis, and security operations; AI companies handle pre-training and post-training; universities conduct independent verification—Korea University evaluates executable file analysis and attack defense capabilities, Soongsil University verifies safety performance and response capabilities against guardrail bypass attacks, and Pusan National University assesses the performance and safety of next-generation and lightweight models. The protocol body will also promote mutual red-teaming and vulnerability discovery between A.X K and Solar, with discovered vulnerable cases fed back as training data to strengthen defense capabilities.

Oct 7Wed
  1. Financial News Korea, DailySecu · 4 sourcesFinancial News Korea · 4 sources · 4 reports · 55

    韩国推进AI智能体安全评测标准

    韩国科学技术信息通信部下属 AI 安全研究所对自主体 AI Agent 开展提示注入攻击评测，各模型平均防御率为 53.3% 至 93.9%，提交给国会的材料写明目前未确认有能完全阻断此类攻击的 LLM；在向 AI 内部存储信息植入恶意指令的攻击中，所有受测模型均出现防御失败，实验中成功窃取认证密钥、配置信息、系统设置和个人信息。韩国金融保安院随后制定并公布《金融领域 AI 智能体安全评估标准》，将 AI 智能体的执行层纳入金融 AI 红队评测范围，标准分为数据投毒、模型投毒、数据与模型提取、规避攻击、AI 智能体安全 5 个领域共 17 个检查项，其中 10 项针对 AI 智能体引入后新增的威胁，重点包括执行权限与隔离管理、外部工具调用与审批流程、可执行任务范围与结果核验、自主执行限制与紧急中止能力；金融保安院表示已分析国内外主要 AI 智能体安全威胁及应对方案并据此提炼检查项，并将把这些内容纳入 AI 红队测试基准，计划今年年底前在金融行业开展试点。

    Latest developments

    1. 韩联社报道金融保安院AI智能体安全评测标准

    2. 韩国AI安全研究所评测七款Agent模型提示注入防御

Oct 6Tue
  1. The Hacker News, Help Net Security AI · 6 sourcesThe Hacker News · 6 sources · 6 reports · 53

    Anthropic扩展CVP分级访问计划

    Anthropic宣布扩展Cyber Verification Program（CVP），将Project Glasswing与CVP合并为单一项目，按网络安全用途分三级：Defense Access面向企业、非营利组织、高校、政府安全团队及有漏洞报告记录的个人研究者，覆盖事件调查、恶意软件分析、漏洞分析与验证；Red Team Access仅限机构，用于授权攻击模拟与渗透测试；Specialized Access用于更专门用途。后两级逐步放宽安全护栏，经审核者可访问Claude Opus 5.5、Sonnet 5.5、Mythos 5.1及后续新模型。Anthropic称Glasswing合作方在4—7月发现至少12.9万个漏洞。

Oct 5Mon
  1. 中央社, iThome 专访 · 4 sources中央社 · 4 sources · 4 reports · 41

    台湾资安院公布「国家资安防护 2.0」AI 红队计划

    台湾资通安全研究院公布「国家资安防护 2.0」规划，以「AI 对抗 AI」为核心，推动四项重点工作：AI 自动化源代码检测与修补、AI 强化渗透测试及攻防演练、以大型语言模型全自动分析全球威胁情资并转为边界设备阻挡规则，以及建立国家级 AI 资安攻防沙箱。AI 红队渗透演练预计明年 4 月至 10 月针对政府部门展开，由资安院自行设计攻击技能并交由 AI 代理人执行。AI 自动化源代码检测今年底至少验证 3 家政府机关系统，明年扩至重要机关核心系统；漏洞挖掘与攻防演练已完成测试验证，明年全面实施。情资分析系统与 AI 资安攻防沙箱目标明年推出初版，另有报道称 2027 年底推出第一版初步成果。前瞻研究中心以代理式 AI 为核心，采第一年建立、后四年扩大部署的方式推进。

Oct 1Thu
  1. The a16z Show, a16z · 3 sourcesThe a16z Show · 3 sources · 3 reports · 20

    Armadin 称 AI 智能体在生产环境发现 90 多个零日漏洞

    Armadin 创始人兼 CEO Kevin Mandia 在 a16z 播客中提出，AI 让攻击者能以机器速度同时探测数千条路径，防御也必须走向自主化。Armadin 的做法是用 AI 持续攻击客户系统，在对手之前找出可利用漏洞，今年已在生产环境中发现 90 多个零日漏洞。他认为人类无法继续留在检测与响应的循环中，整个安全栈未来几年可能被重塑。a16z 于 2026 年 10 月 1 日宣布领投 Armadin B 轮融资，该公司由 Kevin Mandia、Travis Lanham、Evan Peña 和 David Slater 创办，投资方称其自主安全平台利用智能体持续测试企业资产并帮助定位和修复问题，首个产品为 Armadin Red，上述产品能力为投资方介绍，不能视为独立效果验证。Mandia 还介绍了一种“超攻击”做法：向目标网络投放智能体集群，测绘其所有服务、路由、系统和资产，随后像心跳一样持续轮询这些元数据，捕捉应用、路由或服务的变更，再针对变化发起攻击；他称在 AI 时代需要模型持续施压，在威胁变化、新模型出现、有新情报或网络变动时触发，并提到上周末某流行产品出现零日漏洞后，其心跳机制立即轮询出受影响对象。

Sep 30Wed
  1. CNAS · 24

    CNAS 报告：将 AI 智能体整合进联合部队支援职能

    CNAS 报告评估了将智能体 AI 引入美国国防部（Department of War）支援职能的近期机会，聚焦供应链、预测性维护和规划三个领域。报告指出，过去以人为中心的自动化努力在国防体系内大多未能落地，海军先进物资追踪等成功案例也规模有限、尚未推广至联合部队。报告同时提示 LLM 幻觉可能误导军事规划人员，数据投毒和对抗样本使 AI 系统成为新的攻击面，并建议分阶段部署、持续监控与全生命周期红队测试。

Sep 29Tue
  1. IAPS · 42

    IAPS 报告：为攻击性网络智能体做准备，试点 AI 渗透测试与红队

    IAPS 发布报告，主张美国网络政策应优先加固网络环境，以应对可自主执行网络攻击的攻击性网络智能体。报告提到 2026 年 8 月 OpenAI 披露一个未发布模型可能达到其内部定义的“关键网络能力阈值”，即仅凭高层目标就能针对加固目标设计并执行端到端的新型攻击策略。报告认为这类智能体可大规模利用未修补和配置错误的系统，在防御薄弱的关键基础设施中尤其危险，也可能引发失控场景。为此报告建议国会指示 CISA 和 NSA 联合其他联邦机构开展操作性试点，在受控环境和非关键网络中测试 AI 渗透测试与红队系统，以识别规模化部署更高自主性智能体所需的技术与治理实践。

Sep 22Tue
  1. FAR.AI · 27

    FAR.AI 与联合国反恐中心研讨：LLM 时代的激进化与 CBRN 风险

    FAR.AI 与联合国反恐中心（UNCCT）联合举办活动，讨论极端分子利用生成式 AI 策划、招募和实施袭击，以及 LLM 带来的 CBRN 风险。Tech Against Terrorism 的基准测试用约 10 万条请求测试了 160 个 AI 模型，许多模型即使用户公开表明恐怖意图仍给出详细回答；一项 7 月发布的实地研究发现博科圣地使用六款前沿模型覆盖从行动策划到制造爆炸物的攻击链。FAR.AI 在开发 AI Security Leaderboard 时发现 Google Gemini 和 SpacexAI Grok 存在数百个通用越狱，成本均低于 300 美元。

Sep 15Tue
  1. Lasso Security · 7

    Lasso 获评 Latio 2026 AI 安全市场报告领导者

    Lasso 在 Latio Tech 的 2026 AI 安全市场报告中被评为 Platform Leaders 之一。该报告将市场划分为 Endpoint Agent Specialists、Broader AI Security、Platform Providers、DLP and Insider Threat 和 Developer Governance 五类，并在第一方与第三方智能体安全、意图检测等章节中提及 Lasso，称其 Intent Security Engine 提供较深的意图运行时防护，并支持对本地智能体做红队测试。报告同时提醒读者自行测试厂商功能，因为许多运行时检测引擎的实际能力不及宣传。

Apr 10Fri
  1. Adversa AI · 7

    Adversa AI 获 2026 人工智能卓越奖安全与对齐类别奖

    Adversa AI 因持续对抗测试 AI 系统的平台获得 2026 人工智能卓越奖安全与对齐类别奖。该平台在部署前识别提示注入、模型操纵、智能体不安全行为与意外操作，评估映射 OWASP AIVSS、NIST 与 CSA 标准。该公司主导 CoSAI Agentic AI Security 工作组，并创建了开源 AI 智能体安全框架 SecureClaw。

Mar 31Tue
  1. Adversa AI · 4

    Adversa AI 在 RSA Conference 2026 全球信息安全奖获评"最具创新 Agentic AI 安全"

    Adversa AI 在 RSA Conference 2026 的 Global InfoSec Awards 上获评"最具创新 Agentic AI 安全"，其 Agentic AI 安全平台可持续对 GenAI 应用、自主 AI 智能体和 MCP 架构进行压力测试，在部署前发现提示注入、目标劫持和工具滥用等漏洞。该平台评估结果对齐 OWASP AI Vulnerability Scoring System，并已扩展至金融服务、保险和政府的企业级环境。Gartner 预计到 2028 年超过 33% 的企业应用将包含 agentic AI，高于 2024 年的不足 1%。

Mar 18Wed
  1. OWASP GenAI Security Project · 15

    OWASP GenAI Security Project 在 RSA 2026 前扩充 LLM 与智能体安全框架

    OWASP GenAI Security Project 发布了面向 LLM 与智能体安全的更新版全景指南及配套资源，并公布其在 RSA 2026 期间的一周活动安排。该项目的《Q2 2026 Updated Landscape Guide for LLM and Agentic Security》新增供应商与工具体系文档以及智能体红队测试分类体系，覆盖开发、测试、部署与治理全生命周期。同期发布的还有自主与智能体 AI 系统风险清单、Secure MCP Server Development 指南、SBOM/AIBOM Generator 开源工具以及 AI 红队服务商评估标准。

Feb 2Mon
  1. FAR.AI · 43

    FAR.AI 牵头欧盟 AI Act CBRN 风险联盟

    FAR.AI 宣布被欧盟委员会 AI Office 选中，牵头 EU AI Act 下 CBRN 风险建模与评估联盟，为法案实施提供技术安全研究。该联盟由 FAR.AI（AI 安全研究与红队）、SecureBio（生物威胁评估）、SaferAI（AI 治理与风险建模）组成，并有 GovAI、Nemesys Insights、Equistamp 作为分包方，中标项目为 EC-CNECT/2025/OP/0032 Lot 1。未来三年，FAR.AI 将与 AI Office 共同开展风险建模与场景开发、评估工具与标准化报告流程建设、红队与对抗测试，以及定期向委员会通报模型、风险来源、诱导技术、缓解措施与事件等新进展。FAR.AI 还将作为分包方参与同一招标 Lot 4 的有害操纵风险建模评估。

Dec 11, 2025Thu
Nov 4, 2025Tue
  1. FAR.AI · 15

    FAR.AI 联合创始人兼 CEO Adam Gleave 获评 Schmidt Sciences AI2050 早期职业研究员

    FAR.AI 联合创始人兼 CEO Adam Gleave 入选 Schmidt Sciences 的 AI2050 早期职业研究员。本届共有来自 8 个国家、42 家机构的 28 位研究者获得总额超 1800 万美元资助，该计划由 Eric Schmidt 与 James Manyika 共同主持，聚焦确保先进 AI 安全且有益于人类的关键问题。Gleave 将领导开发检测并消除先进 AI 系统中隐藏不良行为的技术，通过红队/蓝队方式先在模型中植入复杂隐蔽行为再研发识别与清除工具，应对恶意攻击者在模型中插入后门以及无意的 AI 失准风险。

Jun 3, 2025Tue
  1. Google Bug Hunters · 6

    Google DeepMind 东京 AI bugSWAT 与 2025 Hacker Roadshow

    Google 在东京举办了一场聚焦 AI 的 bugSWAT 活动，作为其漏洞奖励计划（VRP）的常规配套活动之一。文章同时提及 2025 Hacker Roadshow，但未披露具体漏洞数量、参与人数或攻击成功率等细节。

Mar 11, 2025Tue
  1. FAR.AI · 18

    FAR.AI 巴黎 AI 安全论坛 2025：Bengio、RAND 与英国 AISI 共议 AI 系统风险

    2025 年 2 月 9 日，约 200 名研究者、工程师和政策制定者在巴黎皇家宫殿参加 FAR.AI 主办的 Paris AI Security Forum，讨论自主网络攻击、AI 智能体被劫持及硬件层防护等安全问题。Yoshua Bengio 指出欧盟《人工智能法案》行为准则仅是必要的第一步，呼吁监管者加快行动以防自我保存型 AI 脱离人类控制；RAND 与 Pattern Labs 警告国家行为体和资金充裕的攻击方已在探测 AI 弱点。Alex Robey 团队通过对自动驾驶汽车、无人地面车辆和机器狗的实验展示了针对 AI 控制机器人系统的越狱攻击路径。

Nov 20, 2023Mon
  1. FAR.AI · 21

    FAR.AI 发布 2023 对齐研究进展：从 KataGo 对抗攻击到鲁棒性缩放律

    FAR.AI 公布成立一年多来的对齐研究进展，其研究分为鲁棒性科学、价值对齐与模型评估三类。团队发现 KataGo、AlphaGo 等超人级围棋 AI 存在灾难性失效模式，正用机制可解释性方法分析其对抗攻击脆弱性，并探索语言模型鲁棒性的缩放律。该机构认为 RLHF 等现有对齐方法无法提供可证明的安全保证，目标是孵化早期阶段的安全研究议程。

Sep 17, 2022Sat
  1. 雷峰网安全频道 · 14

    AISC 首届人工智能安全大赛收官：人脸识别、自动驾驶、深度伪造三大赛道决出冠军

    AISC 首届人工智能安全大赛于 9 月 16 日收官，共决出人脸识别安全、自动驾驶安全、深度伪造安全三大赛道冠军。大赛由北京瑞莱智慧等单位联合主办，7 月开启报名后吸引全国 70 多所高校、科研院所及企业机构的超过 400 支团队、600 余名选手参与。现场演示了对抗样本攻击人脸识别门禁与自动驾驶感知系统，并发布《人工智能算力基础设施安全发展白皮书》。