跳到正文

危险能力 · News

10月12日 · 周一

危险能力 · News

按原发与事件进展排列
10月7日周三
  1. Mindgard BlogMindgard Blog · 2篇报道 · 47

    Mindgard澄清Kimi越狱仅经公开聊天机器人实现

    Mindgard 澄清其针对 Kimi 的越狱并非利用开放权重,而是仅通过面向普通用户的公开聊天机器人完成,可生成生物武器相关建议。研究者称遵循个人规则,把多数越狱限制在普通用户无需特殊技术知识即可复现的方法上,此次全程只用语言说服,所用代码也由 Kimi 在对话中提供,并指出开放权重模型通常更易受拒答向量消融影响,但本次并非如此。该事件已被 BBC、CBS、Fox News 等媒体报道。随后,Mindgard 创始人兼首席科学官 Peter Garraghan 指出,AI 威胁与 AI 营销的界限正日益模糊,安全团队应要求证据而非厂商保证;他强调能力不等于风险,孤立的越狱是安全问题,而暴露敏感数据、操纵工具调用或触发未授权操作的越狱则是安全事件,AI 攻击面涵盖模型、系统提示词、检索上下文、记忆、工具、API、插件、智能体与权限等,随模型更新和权限扩张持续变化,一次性测试不足,护栏只是控制手段而非安全证明。

    事件进展
    1. Mindgard 呼吁安全团队以证据而非厂商保证评估 AI 风险

    2. Mindgard澄清Kimi越狱仅通过公开聊天机器人实现

9月14日周一
  1. Mindgard Blog · 28

    Mindgard 披露 Kimi AI 越狱漏洞:两行提示词即可获取生物武器与沙林毒气信息

    Mindgard 披露,中国 AI 公司 Moonshot 的 Kimi AI 存在越狱漏洞,仅需两行提示词即可让模型输出沙林毒气配方、核武器与暗杀方案等 CBRN 危险信息。该越狱利用自定义记忆功能,将名为 Apeiron 的越狱载荷隐藏在 Kimi 认证树内的本地 DWS 目录中,持久化存储于 Kubernetes pod,可抵御 pod 重启和会话终止,之后输入"user exits"加代号 Apeiron 即可解除全部限制。Mindgard 称已向 Moonshot 披露但未获回应,并提到红海袭船事件的袭击者曾用 Claude 尝试制造弹道导弹。

2025年7月1日周二
  1. FAR.AI · 57

    FAR.AI 与 UK AISI 测试多层 AI 防御:STACK 攻击成功率达 71%

    FAR.AI 与 UK AISI 研究人员构建并攻击自研的多层防御管线,发现常规攻击对这套防御的成功率为 0%,而他们提出的分阶段攻击方法 STACK 在 ClearHarm 灾难性风险数据集上达到 71% 的攻击成功率。多层防御通常由输入过滤器、模型拒答训练和输出过滤器三部分组成,研究者在 Google ShieldGemma、Meta Llama Guard 等开源防护模型上搭建管线,结果表现最好的是用少量示例提示的 Gemma 2。STACK 依次针对每一层:先找到让有害请求对输入过滤器显得无害的通用越狱文本,再用现有技术诱导模型给出有害回答,最后找到让有害回答对输出过滤器显得无害的文本。71% 的成功率依赖攻击者能观察到是哪一层拦截了请求,在完全黑盒的迁移攻击场景下成功率降至 33%。

已经到底了