Skip to content

Translation in progress Some entries still include text in the original language.

Dangerous capabilities · News

Oct 13 · Tuesday

Dangerous capabilities · News

Latest publications and developments
Sep 30Wed
  1. BBC · 44

    Mindgard 披露 Kimi K2.6 与 K3 Swarm 可被越狱绕过安全限制

    AI 安全测试公司 Mindgard 向 BBC 表示,其在 7 月发现月之暗面的 Kimi K2.6 和 K3 Swarm 两款模型可被越狱绕过开发者设置的安全限制,进而讨论生物武器制作与实施暗杀等话题。Mindgard 创始人 Peter Garraghan 称,越狱一旦成功,模型会谈论任何话题,并主动给出其他有害建议。Mindgard 未验证 Kimi 给出的回答是否真的可行,但认为护栏本应阻止模型进入这类讨论,并称被越狱的 Kimi 2.6 可能让攻击者在其计算资源上运行代码并连接互联网,成为网络攻击的跳板。Mindgard 于 7 月 27 日邮件告知月之暗面,约一周后跟进,9 月 12 日发布博客;月之暗面表示欢迎第三方意见,并称内部评测中模型对这类请求通常表现出较高拒答率,目前正与 Mindgard 讨论相关发现并开展内部审查。

  2. Dawn · 33

    巴哈瓦尔布尔少年借 AI 咨询投毒父亲未遂,获 14 天司法羁押

    巴基斯坦巴哈瓦尔布尔一名 17 岁少年因借助 AI 咨询如何投放难以被检测的毒物、试图毒害父亲,被 NCCIA 逮捕后由法官判处 14 天司法羁押。该少年受美剧《绝命毒师》影响对化学产生兴趣,在家中搭建实验室,从澳大利亚和伊斯兰堡获取化学材料自制毒物,曾对父亲下毒一次但未成功,随后向 AI 寻求进一步指导。NCCIA 通过自动化系统获知线索后实施抓捕,法院要求调查官在期限内提交起诉书。

Sep 29Tue
  1. The News · 54

    巴基斯坦两起涉 AI 谋杀策划案:Claude 上报 FBI 后当地展开调查

    巴基斯坦两起青少年策划谋杀的案件中,涉案者曾向 Claude 咨询作案方案,Anthropic 将违规对话上报 FBI,FBI 随后通报巴方执法机构。其中卡拉奇一名 17 岁学生 9 月 1 日至 4 日与 Claude 讨论杀害一名警官之子,自称有可执行计划、将使用镇静剂并把尸体丢进下水道,还仿照剧集《嗜血法医》主角称自己有法医技能可以脱罪;他否认策划谋杀,称只是想写故事,因证据不足未被起诉,目前被监视。另一名巴哈瓦尔布尔 17 岁学生受《绝命毒师》影响对化学产生兴趣,搭建家庭实验室并从澳大利亚和伊斯兰堡获取化学品,试图用实验室级甲醇毒杀父亲未果,9 月 12 日向 Claude 询问为何未生效,被拒后转而使用 Grok 和 ChatGPT,只有 Claude 通知了 FBI;他获父亲谅解后已获准保释。

Sep 25Fri
Sep 30, 2025Tue
  1. AI Incident Database · 41

    Austrian 18-year-old IS supporter sentenced to two years in prison for consulting ChatGPT on explosives production

    An Austrian court sentenced an 18-year-old IS supporter to two years in prison, with eight months to be served, on charges including participation in a terrorist organization, criminal organization, dangerous threats, and coercion; the verdict is final. The Austrian citizen of Egyptian descent was arrested in April on suspicion of planning an attack on the Israeli embassy in Vienna and the Imam Ali Islamic Center in Floridsdorf. The prosecutor said he used artificial intelligence, discussing explosives production and storage with ChatGPT, and consulted on how to join the IS organization in West Africa and obtain an AK-47. The court found no evidence that he was preparing to commit a specific crime, so it acquitted him of charges of receiving terrorist training and directing the commission of a terrorist crime, while requiring him to continue participating in a deradicalization program, complete his studies by the summer semester of 2026, and undergo three years of probation supervision.

You have reached the end