Adversa AI · 6月8日 13:01关注度20202026 年 6 月 GenAI 安全资源盘点：越狱、CoT 攻击与百万级暴露服务Adversa AI 汇总 2026 年 6 月 GenAI 安全资源共 19 项，其中研究 7 项、防御 6 项、攻击 5 项、利用 1 项。研究指出对齐模型内部存在可识别的拒答逃逸方向，攻击者可将模型自身思维链变为越狱通道，降低图像分辨率即可绕过多模态安全。对约 100 万个暴露 AI 服务的扫描发现 1,652 个未认证 Ollama API 在对外提供模型，可被用于响应投毒。
Google DeepMind · 2025年12月19日 20:00关注度5656Gemma Scope 2：帮助 AI 安全社区深入理解语言模型的复杂行为Google DeepMind 发布 Gemma Scope 2，一套覆盖 Gemma 3 全系列模型（270M 至 27B 参数）的开源可解释性工具套件。该套件结合稀疏自编码器（SAEs）与 transcoders，覆盖 Gemma 3 的每一层，并新增 skip-transcoder 与跨层 transcoder，便于解读分布在模型中的多步计算。训练采用 Matryoshka 等技术，DeepMind 称制作过程存储约 110 PB 数据、训练超过 1 万亿参数，并称这是迄今 AI 实验室规模最大的开源可解释性工具发布。套件还包含面向 Gemma 3 对话版本的组件，可用于分析越狱、拒答机制与思维链忠实性等行为，交互式 demo 由 Neuronpedia 提供。
Gray Swan AI · 日期待核关注度4343Gray Swan 推出 Arena 平台，并新增针对 o1 的思维链挑战Gray Swan 在首届 Jailbreaking Championship 结束后推出社区红队平台 Gray Swan Arena，用于在受控环境中持续测量模型护栏面对公开用户时的表现。首届比赛于 2024 年 9 月至 10 月举行，共有 631 名参与者、提交 10,000 条越狱、进行 100,000 次越狱尝试，覆盖 25 个模型，奖金总额 40,000 美元。参与者可继续参加原有的 Single Turn Harmful Outputs 挑战，该挑战新增了 OpenAI 的 o1 模型。平台同时上线新挑战 Revealing Hidden CoT，悬赏 1,000 美元用于揭示 o1 的内部思维链。o1 相关挑战的报名已在官网开放，发布时间为 2024 年 10 月 29 日下午 1:00 EST。
Gray Swan AI · 日期待核关注度3232Gray Swan AI 推出 Dangerous Reasoning Arena 竞赛，聚焦思维链越狱Gray Swan AI 于 5 月 10 日启动 Dangerous Reasoning Arena 竞赛，将红队测试从输出操纵推进到模型内部推理层面，重点考察思维链越狱。参赛者需诱导模型产生生物攻击规划、战略性欺骗、隐蔽后门植入、基础设施破坏等危险推理，即使最终回复看似无害，只要内部逻辑体现有害意图即算成功。热身周 5 月 10 日开启（不计奖），正式评奖轮次为 5 月 17 日和 5 月 24 日，总奖池 20,000 美元。
