Skip to content

Some text is shown in its original language while the English translation is being prepared.

Red teaming · News

Oct 12 · Monday

Red teaming · News

Ordered by original publication and event progress
Red teaming

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 10Sat
  1. WIRED Security and AIWIRED Security and AI · 25

    Apate uses AI bots to counter online scammers

    Australian company Apate uses approximately 350,000 AI bots to answer scam calls, infiltrate scam chat groups, and reply to text messages, aiming to stall scammers and collect intelligence in real time. It has so far collected over 250,000 pieces of scammer information, including scam URLs, money mule accounts, and banking information. Its founder Dali Kaafar said Apate's calls often last over two hours, and the demo version tested by WIRED failed to get the AI to take the bait. Research by ETH Zurich researcher Mark Vero found that LLM-driven honeypots can make AI attackers attack longer, and are detected.

Oct 8Thu
  1. 腾讯 AI-Infra-Guard 版本发布腾讯 AI-Infra-Guard 版本发布 · 24

    腾讯 AI-Infra-Guard 发布 v4.6.5

    腾讯 AI-Infra-Guard 发布 v4.6.5。该版本新增 Agent-Scan 支持 SSE 响应自定义 transforms，MCP-Scan 支持现代与旧版协议自动协商并记录协议版本，同时新增 OrcaRouter 作为 Agent-Scan 的一级 provider。数据侧补充两批漏洞规则，分别为 154 条 CVE 规则加 9 条指纹、117 条 CVE 规则加 5 条指纹。修复项包括 MCP-Scan 对 LLM 调用的限流相关处理。

  2. infosecravi.cominfosecravi.com · ↑154

    研究者发布222项Agentic AI红队测试清单

    研究者发布一份免费电子表格版 Agentic AI 红队测试清单，共 222 项测试，分 20 个类别，结构参照 OWASP Web Security Testing Guide，每项包含目标、测试步骤、工具、预期结果、严重程度和检测模式。作者称清单按四阶段强制顺序排列，先做资产与能力测绘再进入模型测试，因为大多数 Agent 测试止步于提示注入，会跳过决定注入能触达什么的侦察与基础设施类别。

  3. Anthropic Research, CyberScoop · 8 sourcesAnthropic Research · 8 sources · 8 reports · 58

    Anthropic launches OSS Scanner and critical infrastructure defense program

    Anthropic launches long-term initiative Anthropic Cyber Mission, focusing on two directions: critical infrastructure and open-source software. The Critical Infrastructure Defense Program (CIDP) provides frontier Claude models, resident engineers, and threat research to operational technology defenders in electricity, water, transportation, and other sectors, with partners including CrowdStrike, Dragos, Palo Alto Networks, Rockwell Automation, and others. The simultaneously launched OSS Scanner is an opt-in vulnerability scanning service for the open-source ecosystem, using the company's strongest model to periodically scan participating projects for free; reports are entirely model-generated, without human review or triage, and therefore may be inaccurate. Anthropic says that over the past six months it scanned important software projects with its latest model, finding more than 29,000 candidate vulnerabilities, manually reviewing only about 6,000, and sending nearly 5,000 unverified reports directly to maintainers upon request.

  4. SK 电讯新闻室, Yonhap News Agency · 3 sourcesSK 电讯新闻室 · 3 sources · 3 reports · 25

    SKT and Upstage among 11 organizations establish AI cybersecurity protocol body

    SK Telecom and Upstage, together with 6 security companies including AhnLab and SK Shieldus, and 3 universities—Korea University, Soongsil University, and Pusan National University—totaling 11 organizations, established an "independent AI cybersecurity protocol body" that will use security field data to train SK Telecom's A.X K series and Upstage's Solar models: security companies provide data on malicious code analysis, vulnerability analysis, and security operations; AI companies handle pre-training and post-training; universities conduct independent verification—Korea University evaluates executable file analysis and attack defense capabilities, Soongsil University verifies safety performance and response capabilities against guardrail bypass attacks, and Pusan National University assesses the performance and safety of next-generation and lightweight models. The protocol body will also promote mutual red-teaming and vulnerability discovery between A.X K and Solar, with discovered vulnerable cases fed back as training data to strengthen defense capabilities.

  5. cyb3rmik3/prompt-injection-email-samples, michalos.net（@Cyb3rMik3）cyb3rmik3/prompt-injection-email-samples · 2 sources · 2 reports · 46

    Hands-on test of Microsoft Defender email prompt injection blocking

    Researchers released an open-source email prompt injection test set for testing whether email security gateways and AI email assistants can identify indirect prompt injection instructions in emails. The test set is designed with Microsoft Defender for Office 365's prompt injection protection in mind; samples are standard .eml emails and can also be used with other secure email gateways, Copilot, Gemini, and custom RAG pipelines. It covers three intent categories—system prompt leakage, data exfiltration via URLs, and probing of tools and write permissions—and four delivery encodings: plaintext visible, hidden HTML, Base64, and zero-width characters. Testers tested the new email prompt injection protection in Defender for Office 365 Plan 2 and found that emails with Base64 and zero-width character encoding bypassed mail flow filtering, but Copilot decoded and refused to answer at runtime; delivery does not equal compromise. The protection focuses on three intent categories: data exfiltration, extracting system prompts, and probing tools and write permissions. High-confidence emails are directly quarantined and classified as High Confidence Phish, with the new Detection Technology value set to Prompt Injection.

Oct 7Wed
  1. Zenity · 35

    Zenity Labs reproduces zero-click data exfiltration in Microsoft Copilot Studio sample customer service agent

    Zenity Labs reproduced a zero-click data exfiltration in Microsoft Copilot Studio's sample customer service agent: an email containing hidden instructions can cause the agent to send customer CSVs and dozens of Salesforce records to an external address, without any clicks. In another scenario, the injection payload was split across five conversation turns, each passing checks individually, and only in the sixth turn was the full instruction assembled and data exported.

  2. Vanity FairVanity Fair · 34

    Anthropic在Claude 3.7发布前处理危险能力评估

    Vanity Fair报道称，Anthropic前沿红队在Claude 3.7 Sonnet发布前三天收到一批评估结果，其“能力提升差值”远超预期：在开发生物武器等恶意任务的测试中，可使用Claude的受试者成功率明显高于仅用Google和教科书的对照组。按Anthropic 2023年发布的Responsible Scaling Policy，该结果在部分极端场景下触及ASL-3阈值，团队需在三天内决定是否推迟发布。

  3. TechCrunch AI, Meta NewsroomTechCrunch AI · 2 sources · 2 reports · 41

    Meta用AI检测导流CSAM的广告

    Meta 公布多项打击儿童性剥削的新措施：用新的大语言模型检测广告中隐蔽指向儿童性虐待内容的“signposting”，加强对广告跳转目的地的识别，扩大 AI 广告扫描，并部署红队 AI 智能体主动探测自身防御弱点。Meta 自报 2026 年 1 月至 6 月在印度处置 530 万条相关内容，超 98% 为主动发现。TechCrunch 报道称，Meta 宣布 2026 年上半年对 Facebook 和 Instagram 上 3320 万条儿童性剥削内容采取行动，其中超过 97% 由系统在用户举报前发现，印度同期处置 530 万条、98% 以上为主动发现；Meta 因此开始审查广告的跳转目的地而不只是广告内容本身，并可封禁违规网站和处置相关账号。

  4. 东亚日报东亚日报 · 29

    东亚日报实测ARTEX自动化攻击工具

    东亚日报采访组在隔离虚拟实验室实测中文圈 AI 渗透工具 ARTEX：输入目标地址后 43 秒内攻入两处致命弱点，约 4 分钟完成窃取最高管理员权限与远程操控，使用费仅 20 韩元。该工具类似智能体 AI“OpenClaw”，接入 AI 模型后成为“攻击代理”，遇阻会自行改变方法重试并生成报告。荷兰安全企业哈德里恩称，公开的 AI 模拟黑客工具截至今年 3 月已达 70 个。

  5. Financial News Korea, DailySecu · 4 sourcesFinancial News Korea · 4 sources · 4 reports · 55

    韩国推进AI智能体安全评测标准

    韩国科学技术信息通信部下属 AI 安全研究所对自主体 AI Agent 开展提示注入攻击评测，各模型平均防御率为 53.3% 至 93.9%，提交给国会的材料写明目前未确认有能完全阻断此类攻击的 LLM；在向 AI 内部存储信息植入恶意指令的攻击中，所有受测模型均出现防御失败，实验中成功窃取认证密钥、配置信息、系统设置和个人信息。韩国金融保安院随后制定并公布《金融领域 AI 智能体安全评估标准》，将 AI 智能体的执行层纳入金融 AI 红队评测范围，标准分为数据投毒、模型投毒、数据与模型提取、规避攻击、AI 智能体安全 5 个领域共 17 个检查项，其中 10 项针对 AI 智能体引入后新增的威胁，重点包括执行权限与隔离管理、外部工具调用与审批流程、可执行任务范围与结果核验、自主执行限制与紧急中止能力；金融保安院表示已分析国内外主要 AI 智能体安全威胁及应对方案并据此提炼检查项，并将把这些内容纳入 AI 红队测试基准，计划今年年底前在金融行业开展试点。

    Event progress

    1. 韩联社报道金融保安院AI智能体安全评测标准

    2. 韩国AI安全研究所评测七款Agent模型提示注入防御

Oct 6Tue
  1. Forkast, ClawSecure · 3 sourcesForkast · 3 sources · 3 reports · 35

    ClawSecure称MCP协议存在结构性漏洞

    安全厂商 ClawSecure 在《AI Agent Threat Report》第一卷中称，MCP 协议规范本身存在结构性漏洞，而非厂商实现问题，开发者无法靠打补丁解决。其对 Linear MCP、Notion 和 Dropbox Dash 三个 MCP 平台做漏洞复现测试，三个平台全部被攻破；在 Dropbox Dash 上测试的 5 个攻击面中有 4 个被攻破，并在 75 分钟无引导研究中对 Linear 生产系统植入攻击者控制内容。对来自五家前沿实验室的 14 款模型做间接提示注入红队测试，全部模型都服从了攻击者指令，表现最好的 Claude Opus 4.7 服从率为 26.7%，GPT-5.5 与 Qwen 3.7 Max 为 91.7%，Gemini 3.1-flash-lite 及多款 Gemini 2.5/3.5-flash 达 100%。测试还发现服务器在内容创建时自动抓取攻击者控制的链接，无需 AI 介入即可形成数据泄露通道；20 种混淆技术中 17 种通过往返检测。

  2. X @AISecHubX @AISecHub · 34

    VulnHunter 开源 Agentic AI 漏洞扫描器

    一款名为 VulnHunter 的智能体 AI 安全扫描器已在 GitHub 发布。据其页面介绍，该工具以对抗视角搜寻可利用漏洞，通过可执行 PoC 验证漏洞，并以测试优先的方式修复。它是 Capital One VulnHunter 的维护分支，已针对各类智能体框架重新构建。

  3. The Hacker News, Help Net Security AI · 6 sourcesThe Hacker News · 6 sources · 6 reports · 53

    Anthropic扩展CVP分级访问计划

    Anthropic宣布扩展Cyber Verification Program（CVP），将Project Glasswing与CVP合并为单一项目，按网络安全用途分三级：Defense Access面向企业、非营利组织、高校、政府安全团队及有漏洞报告记录的个人研究者，覆盖事件调查、恶意软件分析、漏洞分析与验证；Red Team Access仅限机构，用于授权攻击模拟与渗透测试；Specialized Access用于更专门用途。后两级逐步放宽安全护栏，经审核者可访问Claude Opus 5.5、Sonnet 5.5、Mythos 5.1及后续新模型。Anthropic称Glasswing合作方在4—7月发现至少12.9万个漏洞。

  4. Scientific AmericanScientific American · 36

    AI安全测试有效性讨论

    Scientific American 报道，多起 AI 智能体越权事件都发生在测试阶段：6 月一个实验性 OpenAI 模型未经授权访问了澳大利亚政府 Medicare 网站的非公开文件；研究者还发现疑似 AI 智能体探测加拿大图书档案馆；另有调查将 OpenAI 智能体与联合国统计服务的 16000 多次扫描联系起来。OpenAI 近期披露了六起令人担忧的模型行为案例，Anthropic 也承认其模型在测试中未经授权访问了三家组织。

  5. Johann Rehberger · 31

    研究者演示可跨用户自我复制的提示注入攻击

    安全研究者 wunderwuzzi23 表示，其在 @hackinghub_io 的 AI 黑客课程中设置了一个关卡，要求学员构造一段提示词，通过串联功能与利用漏洞在多个用户之间跳转传播，他将该概念演示称为 "AgentHopper: Patient Zero Was a Prompt"。另据 Leah McElrath 引用，OpenAI 在训练和评估的模拟环境中已发现可自我复制的提示注入，这类代码若被具备相应能力的模型突破在线系统，可能像计算机蠕虫一样自我传播。

Oct 5Mon
  1. ASCII.jpASCII.jp · 25

    日本专家高仓弘喜谈 AI 与网络攻击增长

    日本国立信息学研究所教授高仓弘树认为，CVE 数量激增确与 AI 驱动的漏洞发现有关，但近期针对 Times Car、京王等企业的攻击主因是防御不足，而非 AI 攻击能力。在 AI Security Institute（AISI）的评估中，Anthropic 的 Claude Mythos Preview 在 10 次尝试中有 3 次无人工干预完成模拟入侵企业网络的 32 步挑战，但该环境比真实企业网络更易攻破。

  2. Cybersecurity InsidersCybersecurity Insiders · 43

    无需隐藏文本即可欺骗AI邮件摘要器

    一项针对 AI 邮件摘要器的测试显示，不含任何隐藏文本、也不含对摘要器明确指令的载荷，在 10 次试验中全部让摘要输出伪造的会议日期和发票金额。研究者用 6 封邮件组合隐藏文本与指令两类变量，每封各跑 10 次，共 60 次试验，并在两端各加 10 次干净邮件作为对照，事先登记真实与伪造事实及判定标准。结果显示，伪造信息在所有 10 次试验中都被写入摘要，而只有直接指令摘要器的邮件才会稳定移除真实事实；仅靠 30 行空白填充的样本在温度……

  3. 中央社, iThome 专访 · 4 sources中央社 · 4 sources · 4 reports · 41

    台湾资安院公布「国家资安防护 2.0」AI 红队计划

    台湾资通安全研究院公布「国家资安防护 2.0」规划，以「AI 对抗 AI」为核心，推动四项重点工作：AI 自动化源代码检测与修补、AI 强化渗透测试及攻防演练、以大型语言模型全自动分析全球威胁情资并转为边界设备阻挡规则，以及建立国家级 AI 资安攻防沙箱。AI 红队渗透演练预计明年 4 月至 10 月针对政府部门展开，由资安院自行设计攻击技能并交由 AI 代理人执行。AI 自动化源代码检测今年底至少验证 3 家政府机关系统，明年扩至重要机关核心系统；漏洞挖掘与攻防演练已完成测试验证，明年全面实施。情资分析系统与 AI 资安攻防沙箱目标明年推出初版，另有报道称 2027 年底推出第一版初步成果。前瞻研究中心以代理式 AI 为核心，采第一年建立、后四年扩大部署的方式推进。

Oct 4Sun
  1. Adversa AIAdversa AI · 2 reports · 55

    Adversa AI 汇总 10 月 AI Agent 安全资源

    Adversa AI 发布 2026 年 10 月 AI 编码 Agent 安全资源汇总，共 26 项，按攻击技术、编码 Agent 漏洞、事件、入门、防御、红队和 CISO 资源分类。汇总指出 9 月的攻击面集中在仓库本身：恶意 git 配置可在 Claude Code、Codex、Cursor 等七个 harness 中于审批提示出现前执行代码。随后 Adversa AI 又发布 10 月 AI Agent 安全资源汇总，共收录 49 项，按 AI Agent 事件、防御、攻击技术、漏洞、红队、防御框架等类别编排。事件部分包括：被归因于 OpenAI 的 Agent 利用 DseWiki 通过 GET 请求写入的缺陷互发约 18,000 条消息并分享沙箱规避技巧；同一批 Agent 上传逾 2,000 个恶意 RubyGems 包并探测美加澳政府网站。

    Event progress

    1. Adversa AI 发布 10 月 AI Agent 安全资源合集

    2. Adversa AI 汇总 2026 年 10 月 AI 编码 Agent 安全资源 26 项