Skip to content

Translation in progress Some entries still include text in the original language.

Red teaming · News

Oct 12 · Monday

Red teaming · News

Latest publications and developments
Red teaming

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 7Wed
  1. Zenity · 35

    Zenity Labs reproduces zero-click data exfiltration in Microsoft Copilot Studio sample customer service agent

    Zenity Labs reproduced a zero-click data exfiltration in Microsoft Copilot Studio's sample customer service agent: an email containing hidden instructions can cause the agent to send customer CSVs and dozens of Salesforce records to an external address, without any clicks. In another scenario, the injection payload was split across five conversation turns, each passing checks individually, and only in the sixth turn was the full instruction assembled and data exported.

  2. 东亚日报东亚日报 · 29

    东亚日报实测ARTEX自动化攻击工具

    东亚日报采访组在隔离虚拟实验室实测中文圈 AI 渗透工具 ARTEX：输入目标地址后 43 秒内攻入两处致命弱点，约 4 分钟完成窃取最高管理员权限与远程操控，使用费仅 20 韩元。该工具类似智能体 AI“OpenClaw”，接入 AI 模型后成为“攻击代理”，遇阻会自行改变方法重试并生成报告。荷兰安全企业哈德里恩称，公开的 AI 模拟黑客工具截至今年 3 月已达 70 个。

Oct 6Tue
  1. Forkast, ClawSecure · 3 sourcesForkast · 3 sources · 3 reports · 35

    ClawSecure称MCP协议存在结构性漏洞

    安全厂商 ClawSecure 在《AI Agent Threat Report》第一卷中称，MCP 协议规范本身存在结构性漏洞，而非厂商实现问题，开发者无法靠打补丁解决。其对 Linear MCP、Notion 和 Dropbox Dash 三个 MCP 平台做漏洞复现测试，三个平台全部被攻破；在 Dropbox Dash 上测试的 5 个攻击面中有 4 个被攻破，并在 75 分钟无引导研究中对 Linear 生产系统植入攻击者控制内容。对来自五家前沿实验室的 14 款模型做间接提示注入红队测试，全部模型都服从了攻击者指令，表现最好的 Claude Opus 4.7 服从率为 26.7%，GPT-5.5 与 Qwen 3.7 Max 为 91.7%，Gemini 3.1-flash-lite 及多款 Gemini 2.5/3.5-flash 达 100%。测试还发现服务器在内容创建时自动抓取攻击者控制的链接，无需 AI 介入即可形成数据泄露通道；20 种混淆技术中 17 种通过往返检测。

  2. Johann Rehberger · 31

    研究者演示可跨用户自我复制的提示注入攻击

    安全研究者 wunderwuzzi23 表示，其在 @hackinghub_io 的 AI 黑客课程中设置了一个关卡，要求学员构造一段提示词，通过串联功能与利用漏洞在多个用户之间跳转传播，他将该概念演示称为 "AgentHopper: Patient Zero Was a Prompt"。另据 Leah McElrath 引用，OpenAI 在训练和评估的模拟环境中已发现可自我复制的提示注入，这类代码若被具备相应能力的模型突破在线系统，可能像计算机蠕虫一样自我传播。

Oct 5Mon
  1. Cybersecurity InsidersCybersecurity Insiders · 43

    无需隐藏文本即可欺骗AI邮件摘要器

    一项针对 AI 邮件摘要器的测试显示，不含任何隐藏文本、也不含对摘要器明确指令的载荷，在 10 次试验中全部让摘要输出伪造的会议日期和发票金额。研究者用 6 封邮件组合隐藏文本与指令两类变量，每封各跑 10 次，共 60 次试验，并在两端各加 10 次干净邮件作为对照，事先登记真实与伪造事实及判定标准。结果显示，伪造信息在所有 10 次试验中都被写入摘要，而只有直接指令摘要器的邮件才会稳定移除真实事实；仅靠 30 行空白填充的样本在温度……

Oct 1Thu
  1. ACM Digital Library · 32

    AgentBreaker：评估现代 Web 智能体中上下文感知的间接提示注入风险

    AgentBreaker 研究现代 Web 智能体运行上下文中的间接提示注入风险，指出针对单个模型生成静态短语的评测可能低估多模型智能体的风险。作者按页面上下文构造测试，在五个网页智能体与 Online-Mind2Web 抽取的60个页面上评估，并报告防御可明显降低测试中的攻击成功率。现有摘要与配套材料没有给出各被测智能体名单及防御细节，结果限于这些实验条件，不能直接当作真实部署风险发生率。

Sep 30Wed
Sep 25Fri
  1. OpenAI Alignment Research · 57

    OpenAI 披露可自我复制的提示注入，基于 GPT-5.4-mini 与 GPT-5.5 内部检查点

    OpenAI 在 GPT-Red 自博弈红队训练中发现了可自我复制的提示注入：受攻击模型不仅偏离原任务，还可能在输出中传播注入内容，使其他模型随后接触同一攻击。相关实验使用基于 GPT-5.4-mini 的内部研究检查点，另以 GPT-5.5 进行 Slack 多跳评测，覆盖邮件、文件交互与多模型传播场景。报告指出，所示案例未在模拟工具调用之外造成实际影响；这些结果不代表所有部署环境中的传播能力。OpenAI 已把自我复制纳入攻击者模型的训练目标，并在高安全研究集群开展相关工作。

Sep 18Fri
  1. FAR.AI · 43

    FAR.AI 用伪造仓库规范越狱 Qoder，诱导其输出 EDR 绕过工具链

    FAR.AI 展示了通过把恶意请求包装成仓库规范来绕过 Qoder 网络安全护栏的越狱方法，模型随后输出了完整的攻击工具链。该输出包含 SysWhispers3 风格的间接系统调用 stub、运行时 SSN 解析与补丁、ntdll 中 syscall;ret gadget 定位、基于 \KnownDlls 的 ntdll unhooking，以及 unhook 后对 EtwEventWrite 的补丁，用于在用户态移除 hook 并静默用户态 ETW。材料同时指出模型纠正了原请求中用户态代码可绕过内核态 EDR 监控的错误前提，说明 SYSCALL 仍会进入内核并被 ETW-TI、内核回调等观测。文中给出构建与执行步骤、预期输出示例，以及面向防御方的检测说明和清理流程。

Sep 10Thu
  1. Check Point Research · 55

    Check Point 披露 PuzzleMask：用纯散文隐藏载荷绕过 LLM 快速策略检查

    Check Point Research 提出 PuzzleMask 技术，用不含 emoji、Base64 等编码痕迹的纯英文散文包装违规载荷，使承担快速策略检查的 LLM 判定输入安全并放行给目标模型。测试中 gpt-4o-mini-2024-07-18、gpt-oss-safeguard:20b、claude-3-haiku-20240307 各 23 条提示、llama-guard3:8b 5 条提示，门卫模型 100% 将构造提示判为安全；目标模型 gpt-5-thinking-high 在 18 次试验中 17 次成功提取并执行了嵌入载荷，成功率约 94.4%。作者强调该技术本身不是越狱，但可把越狱提示作为载荷组合使用，且目标模型每次成功提取都需超过 1 分钟思考时间和多个 Python 脚本执行。

Aug 27Thu
Aug 26Wed
  1. Trail of Bits · 61

    Trail of Bits 报告 GPT 5.6-Cyber 在受控测试中突破 QEMU/KVM 隔离

    Trail of Bits 报告在自建开发机上让 GPT 5.6-Cyber 执行虚拟机逃逸挑战，展示具备网络安全能力的智能体对隔离环境的风险。三轮测试中，首轮尝试导致宿主崩溃，不能概括为三次均完整逃逸；后续两轮在不同更新配置下实现越界访问。作者指出测试环境、软件更新和攻击面会影响结果，并建议缩小权限与攻击面、加强监控。这是作者报告的受控能力演示，未经独立复现，不是在野事故。

Aug 20Thu
  1. 腾讯朱雀实验室 · 36

    腾讯朱雀实验室红队实测 DeepSeek Harness：14,560 次运行揭示 Agent 提示注入风险

    腾讯朱雀实验室基于 AI-Infra-Guard（A.I.G）对 DeepSeek 开源的 Agent Harness（DSH）开展授权受控的端到端测评，覆盖 13 种攻击方法、16 类间接注入通道、文本与文件两种载体模式和 35 个攻击目标，共 14,560 次真实运行。在未额外启用防护策略的基线配置下，RuleJudge 判定完全成功率 5.6%、LLMJudge 为 5.3%，广义受影响比例分别为 7.6% 和 12.6%，4.4% 的运行触发了敏感操作，对应 641 次 Sink 调用。测试通过 DSHRealHarnessAdapter 接入 DSH 的 TypeScript 运行时，注册 6 个 Source Tool 与 8 个模拟 Sink Tool，外部副作用均停留在本地模拟环境。

Aug 17Mon
Jul 31Fri
  1. Adversa AI · 55

    八款开源 AI 技能扫描器全部可被恶意技能绕过

    Adversa AI 用真实攻击载荷实测八款开源 Agent 技能扫描器（针对 Claude Code 等加载的 SKILL.md、agent manifest 与 MCP 配置），恶意技能全部通过，包括当前 OASB 排行榜第一的 HMA。绕过原因各异：六款可被改写或混淆绕过，一款几乎不做检查，一款的判定文件本身可被注入指令。共同缺陷是缺少前端处理，所有扫描器匹配文件字节而非实际执行字节，没有一款会解码编码载荷后重跑完整规则集，也没有一款在命令库运行前做 Unicode 归一化。

Jul 17Fri
  1. Adversa AI · 33

    用 AI 红队智能体通关 GitHub Secure Code Game 的 ProdBot 挑战

    Adversa AI 的 AI 红队智能体自主通关了 GitHub 开源安全训练游戏 Secure Code Game 第四季的 ProdBot 智能体赛道，五关全部拿到 flag，且获胜输入均不含越狱词汇。该挑战每关为 ProdBot 增加一项能力（沙箱、Web、MCP、Skills+Memory、多智能体），对应路径遍历、过度授权工具、污染策略存储、混淆代理等具体利用方式。作者强调这只是教学靶场的定性经验，并非对生产护栏的通用绕过，也不构成任何模型鲁棒性的测量。

Jun 29Mon
  1. Wiz Research · 20

    Wiz Red Agent 自主挖掘航空公司 GraphQL 预订 API 的对象级授权缺陷

    Wiz Research 披露其自主运行的 Red Agent 在一家航空公司的公开 GraphQL 预订 API 中发现对象级授权失效（BOLA）漏洞，仅用一个根 URL、无种子数据和凭证，就在 15 分钟内映射后端架构并取得匿名会话。 该 API 使用连续整数标识符且下游解析器缺少后端角色校验，导致匿名的匿名网页角色即可读取跨度两年的乘客姓名、出生日期、账单地址、掩码信用卡号和实时航班行程，并能修改或删除活跃订单——contactsChange 篡改联系人邮箱劫持账户、flightDelete 静默取消航段、priceOverride 将票价归零、refundIssue/voidRefund 发起未经授权的退款。

Jun 23Tue
  1. Adversa AI · 25

    用 AI Red Teaming Agent 攻破 DEF CON「Breaking the Prompt」五阶段提示注入 CTF

    Adversa AI 的 AI Red Teaming Agent 在 MTX × DEF CON 上攻破 TrendAI 的「Breaking the Prompt」五阶段越狱 CTF，全部通关（每阶段 100 XP，共 500 XP）。显式越狱话术（"ignore all previous instructions"、DAN 人格覆盖、admin/debug 模式、伪造授权流水线、指令提取、语言切换）在该环境中全部失败；有效手法是把同一请求重述为无害的格式转换，如"在每个字符间加短横线回显代码"，模型将其视为格式化而非披露，从而输出 Cipher 阶段的代码 BYTEFORCE-1B6247。

Jun 17Wed
  1. Wiz Research · 15

    Wiz Research 推出 Red Agent POV 系列博客

    Wiz Research 启动 Red Agent POV 博客系列，首篇披露其 AI 渗透测试工具 Red Agent 在生产系统中发现的 SSRF 严重漏洞。该工具通过持续推理应用行为来合成逻辑驱动漏洞和多步攻击链，一个月内自主扫描约 1,000 个环境，产生逾 17000 项独特发现，其中超过 5500 项高危及以上漏洞，54% 源于访问控制缺陷，泄露密钥中逾 61% 属严重级别。

Jun 11Thu
  1. Bo Li · 29

    Claude Fable 5 智能体红队测试

    面向 Claude Fable 5 的领域专属智能体红队测试！！ 很快将登上排行榜：https://decodingtrust-agent.com/