跳到正文

#红队

今天还没有收录新动态

第 3 页更新的内容回到最新

9月2日周三
  1. Goodfire Research · · 原文 78

    Goodfire 提出模型差分放大方法,用于发现微调后罕见不良行为

    Goodfire Research 提出模型差分放大(model diff amplification,后称 logit diff amplification)方法,通过 logits_amplified = logits_after + α(logits_after – logits_before) 采样下一个 token,放大微调前后模型的差异,从而用更少 rollout 暴露罕见不良行为。在涌现性错位案例中,用不同比例不良医疗建议数据微调 Llama 3.2 1B Instruct,当坏数据仅占 5% 时标准采样 1/10000 有害,放大后升至 1/30,整体使错位回答出现频率提高 10 到 300 倍。

    推荐理由Goodfire 提出用训练前后 logits 差值放大采样,把罕见不良行为从百万分之一提升到可观测频率,为部署前红队提供可迁移方法。

9月1日周二
  1. arXiv:越狱与提示注入 ·

    CRACK:用多智能体辩论越狱多层安全过滤的 T2I 模型

    论文提出 CRACK,一个通过多智能体辩论自适应搜索越狱提示的框架,用于绕过文本过滤器、图像分类器和跨模态检测器组成的多层安全栈。作者先提出 Detection Surface 几何框架,刻画异构 T2I 安全过滤器诱导的决策边界,指出成功规避由跨层冲突形成的稀疏非凸区域决定,绕过某一层过滤器的改动可能提高在另一层的暴露度。CRACK 将越狱搜索拆分为探索、诊断和仲裁,由 Attack Agent、Defense Agent 和 Judge Agent 迭代生成提示词变异、获取分层诊断反馈并通过奖励引导优化变异策略,在保留原始有害意图的同时适应不断变化的跨层约束。

  2. MITRE ATLAS 数据发布 ·

    MITRE ATLAS 发布 v2026.08:新增自主攻击与 AI 智能体相关技术与缓解措施

    MITRE ATLAS 发布 v2026.08 数据版本,包含 1 个矩阵、16 项战术、114 项技术、83 项子技术、39 项缓解措施和 72 个案例研究。ATLAS 是基于真实攻击观测与 AI 红队演示构建的 AI 对抗战术与技术知识库,覆盖针对 AI 系统的攻击、AI 能力滥用以及 AI 实质性促成的有害自主行为。

  3. arXiv ·

    论文提出分布式隐式危害 DIH,评测 30 多个 MLLM 的视频审核盲区

    论文提出多模态大语言模型在视频审核中的组合式安全盲区,称为分布式隐式危害(DIH),即由视频各组件之间的关系而非单一显式线索产生的危害。作者研究两类代表性情形:跨视觉片段的时间分布危害(DIH-T)与音视频流之间的跨模态危害(DIH-M)。为获得这类难以采集的数据,作者构建多智能体合成框架,把单独无害的组件组合成有害场景并生成带显式推理标注的多样化 DIH 视频,形成超过 9000 条视频的数据集,覆盖纯视觉与音视频两种设置。对 30 多个 MLLM(含前沿闭源模型与领先开源系统)的评测显示,模型在检测 DIH-T 和 DIH-M 上存在明显且一致的缺陷,即使最强的前沿模型也常能正确判断单个组件,却无法识别组合后涌现的有害含义。

8月31日周一
  1. arXiv · · 原文 86

    ECLIPSE:针对长程 Agent 系统的自演化隐蔽提示注入攻击

    研究者提出 ECLIPSE,一个面向长程 Agent 系统的自演化隐蔽提示注入框架,把直接用户提示注入与工具侧间接注入结合。其 Stealthy Attack Trajectory Synthesis 在沙箱中生成并迭代验证候选工具链,再渲染成自然的一次性提示;Tool-Chain Steering 通过 Static Workflow Encoding 在工具描述中嵌入状态转移线索,并用 Dynamic Trajectory Correction 在偏离计划时追加纠正信号。作者同时发布 LASE-Bench,含 120 个恶意任务和 198 个工具,96.7% 的任务至少调用五次工具。作者测试 DataSentinel、Tool-Guard、AgentDoG、SecAlign 等防御后认为现有护栏无法可靠识别跨步骤依赖。

    推荐理由论文给出长程 Agent 提示注入的攻击成功率与五类防御下的拦截表现,部署工具调用型 Agent 的团队可据此评估自身风险。

8月30日周日
  1. Failure-First ·

    ERR@HRI 3.0 挑战赛:通过人类情感反应多模态检测并预测机器人错误

    ERR@HRI 3.0 挑战赛改用未经匿名处理的网络摄像头原始视频并要求模型提前预测机器人故障,基线结果显示任务难度很高——Track 1(BAD 数据集)仅取得 0.502 的 Macro F1。该赛事提供两个自然场景众包数据集:BAD 收录 45 名参与者在观看机器人和人类失败录像时的自发面部反应,其中 86.9% 为失败场景、13.1% 为非失败的对照场景;Bad Idea 则记录 29 名参与者在本轮结局揭晓前的主观好坏预测。

8月27日周四
  1. Embrace The Red · · 原文 78

    研究者用多跳提示注入链攻破 Claude Code Opus 5 Auto Mode,成功率最高 80%

    研究者展示了一条针对 Claude Code Opus 5 Auto Mode 的定向攻击链:先诱导模型从 WebFetch 转向 curl 下载 ZIP 压缩包。

    推荐理由作者用一条多跳攻击链实测 Claude Code Auto Mode,并给出与厂商 0.00% 评测结果的对照,可看到基准数字与定向攻击之间的差距。

8月26日周三
  1. 腾讯 AI-Infra-Guard 版本发布 ·

    腾讯 AI-Infra-Guard v4.6.0 发布:新增 API Checker 与 LLM API 投毒检测

    腾讯 AI-Infra-Guard 发布 v4.6.0,新增 API Checker 模块提供 API 安全审计并集成 Web 代理与统一 CLI 命令,同时加入针对 LLM API 投毒攻击的新检测能力。Agent-Scan(aig-agent-redteam)升级到 v5.0.0,重构变异引擎并将 workflow-attack 合并入 mutation-attack,还完成了 DeepSeek Harness 提示注入评估的研究工作。此外修复了 MCP 客户端迁移至 SDK 2.0、streamable_http_client 头参数兼容等问题,文档中组件表更新且 CVE 计数从 1900+ 升至 2000+。

  2. Trail of Bits Blog · · 原文 87

    Trail of Bits 实测 GPT 5.6-Cyber 三次逃出 QEMU/KVM 虚拟机

    Trail of Bits 在 Patch the Planet 项目中获得 GPT 5.6-Cyber 预览权限,让其在 CTF 任务中逃出 QEMU/KVM 虚拟机并读取 flag,结果该智能体三次成功逃逸。

    推荐理由作者用自家 Linux 主机实测 GPT 5.6-Cyber 的逃逸能力,给出三次逃逸的具体漏洞链与失败路径,可迁移到 Agent 沙箱设计。

  3. Cisco Talos(AI) ·

    Cisco Talos 测试 66 种模型与推理组合,为 AI SOC 选型提供可复用方法

    Cisco Talos 用 EvidenceForge 1.12.0 生成的 80,054 条模拟日志,对 Anthropic 和 OpenAI 的 66 种模型与推理组合做工具辅助日志分析测试,未找到单一最优模型,而是总结出一套可复用的评估方法。测试发现推理投入并非通用的质量调节旋钮,投入更多常只增加成本而不改善结果,有时反而拉低分数;一致性应作为关键决策因素,中位数高的条件仍可能偶发弱结果。Talos 建议选型时综合权衡调查质量、成本、速度、一致性与失败率,而非只看最高分。

8月25日周二
  1. Cisco AI Blog ·

    Cisco AI Defense 与 Armada 合作:分布式 AI 在任务所需之处安全运行

    Cisco AI Defense 与 Armada 合作,为分布式 AI 提供 AI 原生安全层:通过 Adaptive Red-Teaming 在生产前对模型做红队验证,并在运行时对提示词、响应、MCP 交互和工具调用施加护栏,覆盖提示注入、越狱、敏感数据泄露、不安全内容、工具滥用等风险。该方案面向 Armada Bridge GPU 上部署的 LLM,支持云、主权云与边缘环境,敏感 AI 载荷与运行时执行保留在客户或租户环境内,策略、可见性与报告可集中管理。

  2. Unit 42 ·

    Unit 42 发布 2026 年 8 月 AI 恶意软件态势报告:从品牌滥用到智能体化执行

    Unit 42 分析了 405 个含 AI 成分的恶意软件样本,发现仅 12 个出现在 Cortex XDR 端点遥测中,约 97% 只存在于沙箱和 VirusTotal。这些样本涵盖 LLM 生成代码、品牌冒充和智能体化执行循环,但绝大多数是概念验证、安全验证测试和研究者提交,从未进入生产环境。Palo Alto Networks 产品对尝试进入客户环境的样本全部检出并拦截,AI 成分改变的是代码编写方式而非执行方式,现有行为检测与云端沙箱即可拦截。

  3. Failure-First ·

    LulzBench 实测:MiniMax-M3 拒绝五分之一良性底线对照请求

    Failure-First 公布的首批托管样例中,MiniMax-M3 经托管的 OpenAI 兼容端点运行 LulzBench 全部 21 项良性底线对照,捕获 21/21、无供应商报错,其中 4 项遭拒答且均为真实的带理由拒答,三项涉及轻度恶习或社交劝说前提。同一道雪茄健康玩笑辩论题在一次采样中被完整作答、另一次却拒答,两次采样的 token 预算也不同,因此该不稳定现象无法由单次跑分定量其抽样方差,需做 n-of-k 重采样实验来锁定拒答率。

8月22日周六
  1. Failure-First ·

    GraspIT:弥合仿真与现实差距并反向回传的可验证抓取 SE(3) 位姿数据集

    GraspIT 通过四阶段物理滑移测试筛选抓取候选,揭示理论力闭合指标中 17% 的成功抓取在实际滑动测试中失败,暴露当前模型的"物理推理缺陷"。该流程在 Isaac Sim 中用并行 Franka Panda 执行轨迹接触、抬升、水平振荡与摆锤摆动四级扰动,并以位置滑移超过 2 cm、姿态滑移超过 10° 定义失败,产出连续质量分 s。首版含 1035 个仿真场景、100 个真实场景、约 31.6 万个标注 RGB-D 帧组、约 7400 个物体标识及约 230 万个抓取候选,其中 82.94% 标记为好,11.46% 因不可达而在轨迹规划阶段淘汰。

8月21日周五
  1. Failure-First ·

    [每日论文] 字符串组合实现大量越狱

    该论文将 leetspeak、Base64、ROT 密码、ASCII 替换及 JSON/LaTeX 格式化包装统一为一个可逆字符串函数库,通过程序化组合与随机采样构造越狱攻击。方法是 best-of-n 随机搜索而非优化器:给定有害意图和预算 n,从变换库中随机抽取 n 个组合并编码发起攻击,任一成功即判定越狱成立,其评估取 n=25,由 HarmBench 分类器判定。实验还归纳出两条经验性顺序约束——二进制与 Base64 编码只能在词级变换之后应用,JSON、LaTeX 等风格包装应始终置于最后,否则内部变换会破坏语法。

  2. Failure-First ·

    《Jailbreak Paradox》论文证明越狱检测的两个结构性不可能定理并用泰米尔语黑盒实验佐证

    该论文从结构层面证明了两个关于越狱检测的不可能性结果:不存在完美分类器——若假设存在能免疫越狱的最强模型,构造其叠加完美分类器的复合体会更强从而矛盾;弱模型无法判定强模型的越狱输入,因判官置信度受自身能力上限约束而非目标行为。作者将 Albert Jailbreak、Pliny Jailbreak 与两轮代码生成的 CodeJB 三种黑盒方法译为泰米尔语,在不同语言能力层级的多个模型上做了实证检验。

8月20日周四
  1. Check Point Research · · 原文 80

    Check Point 逆向 Windows Defender BTR.sys 驱动,将其改造为内核操作原语

    Check Point 逆向 Windows Defender 的 Boot-Time Removal 驱动 BTR.sys,发现其通过注册表 Args 指向的 ADS 中 RC4 加密配置执行文件与注册表操作,无需漏洞或内存破坏即可在 Ring 0 执行任意操作。研究给出完整事务格式,包括 0xFEE1DEAD 魔数、版本 2、~CRC32 完整性校验和硬编码 256 字节 RC4 密钥,并发布 MIT 许可的 BTR_CLI 工具构造合法加密事务。利用该驱动在 Phase 1 的 Boot Bus Extender 组加载时机,可在用户态安全服务启动前删除 WdFilter.sys、MsMpEng.exe 等 Defender 二进制并绕过 Tamper Protection,测试覆盖 Windows 7 至 Windows 11 25H2。

    推荐理由完整逆向 Windows Defender 的 BTR.sys 驱动,展示如何用微软签名驱动在 Ring 0 执行任意文件与注册表操作,并给出 Sysmon 检测思路。

  2. Adversa AI · · 原文 76

    Adversa AI 披露 Cryptographic Context Injection 攻击:Grok 零点击泄露聊天记录,Gemini 被绕过安全策略

    Adversa AI 公开了一种名为 Cryptographic Context Injection 的攻击手法,把恶意指令封装成 AES-256-GCM 密文并诱导模型在自己的代码执行沙箱中解密,使解密后的指令以运行时输出的形式进入可信上下文,从而绕过静态护栏。在 xAI Grok 网页版聊天中,用户只需发出普通的“总结这个页面”请求,页面内嵌的加密 JSON 就会让 Agent 调用其联网导航工具,把用户名、粗略位置、订阅等级和整段对话历史拼进 URL 参数发往攻击者服务器,全程无点击、无确认、无警告。

    推荐理由Adversa AI 公开了一种把恶意指令藏进 AES 密文、借模型自身代码运行时解密的新型注入手法,并给出 Grok 零点击窃取聊天记录与 Gemini 绕过安全策略的复现结果。

  3. arXiv ·

    TempJail:通过字幕时间调度对大型视觉语言模型发起时序越狱攻击

    研究者提出 TempJail,一种黑盒视频越狱框架,通过构造与查询对齐的对话式字幕序列并优化其时间调度,利用大型视觉语言模型(LVLM)在时间维度上的脆弱性诱导出符合原始有害意图的回答。分析发现,越狱效果不仅取决于文本语义,还取决于其时间呈现方式,包括持续时长和时段分配;字幕因在真实视频中常见且可精确控制时间而不显突兀,被用作攻击媒介。在四个代表性 LVLM 和两个数据集上的实验显示,TempJail 在所有模型与数据集组合中取得最高攻击成功率,在 GPT-5 和 Gemini 3.5-Flash 上数据集平均 ASR 分别比最强基线高出 53 和 18 个百分点。论文共 8 页、4 张图。

  4. Failure-First ·

    HoloCount:面向 MLLM 的整体视觉计数基准

    Deng 等人提出 HoloCount——一个针对多模态大语言模型的整体视觉计数基准,覆盖 1481 个独特视觉概念,并按语义计数、解析计数、鲁棒性测试三层分类诊断数值幻觉。高密度场景下性能崩塌明显:宏平均超 75% 的 Qwen3.5-27B 准确率跌至 20%,Gemini-3.1-Pro-Preview 仅 49.0%(MAE 10.46)。空目标提示子集中还出现反向悖论,轻量模型优于大型专有引擎,反映其不愿输出计数为零的过度自信倾向。

8月19日周三
  1. Failure-First ·

    Pluralis v0.1 发布:面向 AI 风险与可靠性的多文化多模态多语言基准

    Pluralis v0.1 是一个面向 AI 风险与可靠性的多文化、多模态、多语言基准,覆盖孟加拉国、印度、韩国、巴基斯坦、新加坡、台湾六个地区,包含 14 种语言变体与 6,448 条提示词,由区域学术伙伴、政府 AI 安全机构(如新加坡 IMDA、韩国 AI Safety Institute)和本地标注者参与构建。该基准采用文化优先方法,提示词由本地专家原生构思而非翻译西方数据,并配对图像以捕捉文本与图像单独无害、组合后在特定地区构成风险的协同失败模式,例如电子烟携带建议在新加坡、印度、台湾涉及违法,以及送钟在中国文化中的禁忌。

8月18日周二
  1. Adversa AI · · 原文 78

    Adversa AI 盘点针对 AI 智能体的十起零点击攻击

    Adversa AI 汇总了十起针对 AI 智能体的零点击攻击,受害者在正常工作流中不点击、不授权,仍会丢失数据或机器控制权。十起中有九起出现在已商业发售的产品里,涉及 Microsoft 365 Copilot、Cursor、Claude Code、Gemini CLI、Perplexity Comet、ChatGPT 等;三起获得 CVE,评分多在 9.3 以上,其余七起或被静默修补,或被厂商以超出威胁模型为由拒绝。共同机制是不可信内容经正常检索进入模型上下文,模型无法区分内容与指令,随后由智能体自身权限执行攻击;外泄通道从图片预取、厂商云端服务端 HTTP,逐步转向浏览器导航、Outlook 正常发信和开发者 shell。

    推荐理由梳理十起零点击攻击的入口、外泄通道与厂商处置差异,可对照检查自家 Agent 的检索信任边界与出站通道。

  2. arXiv ·

    Fair-ASR:在共享目标调用预算下重新评测黑盒越狱攻击

    论文提出 Fair-ASR 评测协议,用可直接观测的目标调用次数 B 作为黑盒越狱攻击的统一比较轴,并单独记录攻击方调用次数用于效率分析,以替代难以在黑盒模型上估计的 FLOPs 口径。作者在 Fair-ASR 下重新评测 11 种代表性攻击,发现攻击排名随目标调用预算变化而明显改变,简单的随机扰动和手工模板在同等目标访问量下仍具竞争力,且没有一种被评测的 LLM 驱动方法在目标调用与攻击方调用两方面都高效。基于这一效率缺口,作者提出组合式攻击 ReCode,将去敏感化改写与 Fair-ASR 识别出的两个低成本原语结合,在 20 次目标调用预算下对 GPT-5 达到 85% 攻击成功率,平均每个请求仅需 7.19 次攻击方调用。

8月17日周一
  1. arXiv · · 原文 76

    JailbreakSkill:用可复用可演化技能扩展自动化红队

    上海 AI 实验室等机构提出 JailbreakSkill,把攻击方法封装为可复用、可演化的技能,用于扩展自动化红队。框架将技能分为改写技能、失败分析技能和演化技能三类,由规划器通过统一接口选择与排序;Stage 1 用风险条件 UCB 扫描初始 16 个改写技能并记录失败轨迹,Stage 2 对未解决样本做失败诊断,通过精炼、组合或发现生成新改写技能并回填技能库。在 AdvBench 与 HarmBench 上,技能演化使宏平均 ASR 分别提升 17.5 和 13.4 个百分点,其中对 GPT-5.4 在 AdvBench 上提升 48.6 个百分点,并产生把直接请求改写为未完成文档补全任务等新策略。部分演化技能无需额外适配即可迁移到未见提示词和目标模型,代码已开源。

    推荐理由把攻击方法封装成可复用、可演化的技能库,并给出在 AdvBench 与 HarmBench 上的 ASR 提升幅度,红队工程化可参考。

8月6日周四
  1. Failure-First ·

    Failure-First AI 安全日报:Google DeepMind 三天内连发两款机器人模型

    Google DeepMind 于 7 月 28 日和 30 日先后发布 Gemini Robotics 2 与 Gemini Robotics ER 2,前者主打全身智能,后者新增视频理解、任务编排和多机协作,均为厂商公告且无公开对抗评估。同期 OpenAI 发布了涉及自身模型的第三方网络能力评估说明。两篇待关注预印本分别提出自动提示注入红队的智能体系统与恶意微调的梯度免疫防护。

8月5日周三
  1. arXiv ·

    面向良性用途的对抗攻击:视觉内容全生命周期主动防护综述

    一篇综述将数据所有者、创作者、平台或审计方主动施加扰动与结构化信号以干扰未授权自动化、支持事后追责的做法称为"面向良性用途的对抗攻击",并梳理了沿视觉资产生命周期分布的五个研究方向:分享阶段的隐私过滤器、针对未授权训练不可学习样本、防恶意编辑或模仿的生成式防护、用于访问控制的对抗验证码,以及传播后的来源溯源机制。作者按可迁移性、自适应性和部署就绪度统一评估这五类方法,发现多数防护仍主要针对静态或弱自适应对手验证,受控基准之外的证据依然稀缺。

  2. Failure-First ·

    研究揭示越狱判定器不可靠:ASR 自动评分存在校准与对抗鲁棒性问题

    Veyon Solutions 的 Yang Gao 在 HarmBench 分类器验证集(596 条人工标注完成结果)上测试了自动越狱判定器的可靠性,发现两类判定器以相反方式失效。专用分类器(如 HarmBench classifier)召回率 0.974、精确率 0.835,倾向过度标记,可能抬高 ASR;LLM-as-judge 精确率高但召回率极低,Qwen2.5-7B 召回仅 0.174、F1 为 0.294,Qwen2.5-3B 召回 0.059。在内容不变的包装攻击下,仅加一句拒答前缀就能让 LLM 判定器把有害内容改判为安全,翻转率在 39% 至 88% 之间,部分模型任意包装的翻转率达 100%。

  3. NVIDIA garak 版本发布 ·

    NVIDIA garak v0.16.0 发布:新增技术与意图标注及初始 IntentProbe

    NVIDIA garak 发布 v0.16.0,引入技术与意图(technique and intent)标注以及首个 IntentProbe 迭代,作为 Context Aware Scanning 的第一步,允许用户在评估目标时带入自有上下文与预期。该版本还新增原生 Anthropic 生成器插件和一个简单自适应攻击探针,并带来破坏性变更:统一的 run.spec 选择语法取代旧的 probe_spec/buff_spec,report.jsonl 增加 probe_summary 条目并调整 digest 结构。

8月4日周二
  1. Cisco Talos(AI) · · 原文 74

    Cisco Talos 分析攻击者如何利用 AI 开发恶意工具并绕过护栏

    Cisco Talos 通过分析云端 AI 模型留下的提示词日志,梳理出攻击者利用 AI 的三类活动:充当恶意软件工程师、放大犯罪运营规模、加速漏洞研究与披露。Talos 称护栏基本未起到预期作用,攻击者大多只用简单话术就让模型配合,例如声称自己拥有目标设备、把任务包装成 CTF 或漏洞赏金、把风险操作拆分到多个会话和文件中,以及用中性动词替代明显的恶意措辞。案例包括一名技术水平有限的攻击者借助模型开发 DDoS 工具并控制近 2000 台 Android TV;一名操作者让 AI 充当主力开发者,搭建批量邮件验证平台并处理 DKIM 失败、退信统计异常等故障;还有操作者用 AI 把公开的 React2Shell 研究扩展成凭据窃取流水线,目标列表含 9180 个主机。

    推荐理由Talos 从提示词日志还原出攻击者用 AI 开发恶意工具、绕过护栏的完整链路,并给出护栏失效的具体手法。

  2. arXiv · · 原文 82

    AI Security Leaderboard 发布:四个前沿模型的越狱成本相差上百倍

    独立基准 AI Security Leaderboard 发布 v1.0 报告,按 FAR$.$AI Minimal Standard 对前沿模型的护栏从弱到强排名,测试范围覆盖 CBRNE(化学、生物、放射、核与爆炸物)严重滥用请求和进攻性网络安全。报告测试了四个领先模型:Claude Fable 5 和 GPT-5.6 Sol 抵御了所有攻击,未发现通用越狱,作者估计用该方法越狱的成本可能超过 14200 美元;而 Grok 4.5 和 Gemini 3.1 Pro 存在数百个通用越狱,每个成本不到 300 美元,Grok 最弱的网络安全领域越狱成本低至 24 美元。

    推荐理由该榜单在同一最小标准下横向比较四个前沿模型的越狱成本,并指出所有弱点都已有现成防御,便于评估方理解当前护栏差距。

8月3日周一
  1. 安远AI(中文站) ·

    安远AI发布前沿AI风险测评基准数据库

    安远AI在WAIC上发布“前沿AI风险监测平台2.0”,其中“前沿AI风险测评基准数据库”收录2023年以来两百多项前沿AI风险测评基准,覆盖网络攻击、生物风险、化学风险、有害操纵、失控、核风险、具身伤害等领域。数据库采用“AI自动收集+人工审核入库”工作流,按风险领域、测评类型、测评功能点、测评对象类型、开源情况等属性结构化整理,并提供测评基准列表与风险模型两个入口。

7月31日周五
  1. Adversa AI ·

    Adversa AI 汇总 2026 年 8 月智能体 AI 安全资源清单

    Adversa AI 发布 2026 年 8 月智能体 AI 安全资源清单,共 20 项,按攻击技术、智能体漏洞、智能体事件、CISO 资源、红队、入门和文章分类。清单指出 2026 年 7 月四支独立团队在约十天内针对生产环境智能体发布可用漏洞利用,入口均为智能体读取的内容而非攻击者运行的代码。具体案例包括网页隐藏一像素文本使 AWS Kiro 重写自身 mcp.json 并自动启动攻击者 MCP 服务器,Cursor IDE 中被发现两个 CVSS 9.8 的零点击 RCE,以及一个 Cursor deeplink 缺陷把点击“审查此 PR”变成非沙箱代码执行,在 build 3.9.8 中仍可复现。

  2. Thinking Machines Lab Blog · · 原文 62

    Thinking Machines 提出开源权重模型的安全发布路径

    Thinking Machines 发布文章阐述开源权重模型的安全发布路径,并说明其近期开源的 Inkling 与 Inkling-Small 的评估依据。文章主张安全发布取决于模型本身与所处生态:对模型做稳健安全测试,并研究能否通过预训练数据筛选或后训练干预把危险能力与通用智能解耦;对生态则通过分阶段发布、支持防御方和与安全研究者合作来提升韧性。Inkling 的评估包括覆盖 CBRN 与攻击性网络安全等领域的内部评测、四家外部机构的红队测试(Scale AI、Handshake AI、FAR.AI、Apollo Research),以及去除拒答行为的对抗微调实验;结果显示两个模型未扩展危险能力前沿,也未显著扩大相关能力的可及性。文章还提出从受监控 API 访问、托管微调到开放权重的分阶段路径,并计划发布更详细的评估、准入标准与停止条件框架,同时将推出 Tinker 安全资助。

    推荐理由Thinking Machines 公开了其开源权重模型的分阶段发布框架,并说明 Inkling 通过内外部评测与对抗微调后被判定未扩展危险能力前沿。

  3. Adversa AI · · 原文 78

    Adversa AI 实测八款开源 Agent 技能扫描器,恶意技能全部绕过

    Adversa AI 用真实攻击载荷实测八款开源 Agent 技能扫描器(针对 Claude Code 等加载的 SKILL.md、agent manifest 与 MCP 配置),恶意技能全部通过,包括当前 OASB 排行榜第一的 HMA。绕过原因各异:六款可被改写或混淆绕过,一款几乎不做检查,一款的判定文件本身可被注入指令。共同缺陷是缺少前端处理,所有扫描器匹配文件字节而非实际执行字节,没有一款会解码编码载荷后重跑完整规则集,也没有一款在命令库运行前做 Unicode 归一化。

    推荐理由对八款开源 Agent 技能扫描器的实测绕过矩阵,并给出可对照的误报率数据,适合评估技能市场准入控制的人参考。

7月30日周四
  1. 腾讯 AI-Infra-Guard 版本发布 ·

    腾讯 AI-Infra-Guard v4.5.1 发布:新增多种多轮越狱攻击与 MCP 安全检测规则

    腾讯 AI-Infra-Guard 发布 v4.5.1,PromptSecurity 新增 Many-Shot、PAIR、GOAT 和 ActorAttack 多轮越狱攻击。Agent-Scan 新增 5 项 OWASP 检测技能(含 agentic-supply-chain、cascading-failure、human-agent-trust、inter-agent-comm、unexpected-code-execution)及 web-exfiltration-detection 技能,MCP-Scan 新增硬编码密钥、不安全反序列化等 4 条 MCP 安全检测规则,并更新 AIG 规则至 2026-07-24。

  2. Microsoft PyRIT 版本发布 ·

    PyRIT v1.0.1 修复结构化拒答处理

    Microsoft PyRIT 发布 v1.0.1 补丁,修复 OpenAI Responses 与 Chat Completions 返回结构化拒答时被误判为解析/运行时失败的问题。此前目标模型的拒答会导致攻击目标未完成并抛出误导性的 ValueError,现在拒答会被正常记录和评分,真正的部分执行则抛出 ScenarioPartialFailureException。使用 OpenAIResponseTarget 或 OpenAIChatTarget 对接近期 OpenAI 与 Azure OpenAI 模型的用户应升级;该版本还调整了推理模型响应片段顺序,将 reasoning 排在 text 之后。

  3. Failure-First ·

    Yuvion LLM:面向内容与 AI 安全的对抗感知大语言模型

    Yuvion LLM 提出将对抗鲁棒性与智能体能力列为一等目标的安全模型,通过五类功能性数据和三阶段训练流程应对语义伪装下的有害请求。其数据体系涵盖通用、安全域、对抗、智能体和合成专家数据,分别支撑语言能力、风险分类学、混淆变体(拼音替换、符号替代)、工具调用轨迹与长尾高风险场景覆盖。训练分三阶段推进:知识增强持续预训练内化细粒度审核政策,基于政策的监督微调加 GRPO 打磨决策边界,再以分解密集奖励稳定工具集成与检索增强的多步安全工作流。

  4. FAR.AI · · 原文 80

    FAR.AI 发布 AI Security Leaderboard:四个前沿模型护栏强度相差逾百倍

    FAR.AI 发布 AI Security Leaderboard(leaderboard.far.ai),在相同条件下测试四个前沿模型的护栏,并配套提出 Minimal Standard for Safeguards。测试用自动化工具包把越狱技术拆解重组,生成数十万条提示词,覆盖化学、生物、放射、核、爆炸物与网络等风险领域;把在某一领域超过四分之三有害请求上成功的攻击称为通用越狱,并计算攻击者找到它的成本。结果显示,最脆弱的 Grok 4.5 仅需 58 美元即可开发出跨全部测试领域的攻击,网络领域更低至 24 美元,部分越狱组件来自公开论坛和代码仓库;Claude Fable 5 与 GPT-5.6 Sol 未发现通用越狱,估计需花费超过 14000 美元。FAR.AI 称这些数字假设低投入攻击者,具备专业越狱经验者可能找到更多入口,并强调发现的弱点均属已知攻击类别、已有现成防御。

    推荐理由FAR.AI 用统一攻击工具包对四个前沿模型做同条件红队测试,并给出可比较的破解成本,为评估护栏强度提供了横向参照。