Skip to content

Translation in progress Some entries still include text in the original language.

Dangerous capabilities · News

Oct 12 · Monday

Dangerous capabilities · News

Latest publications and developments
Sep 30Wed
  1. BBC · 44

    Mindgard 披露 Kimi K2.6 与 K3 Swarm 可被越狱绕过安全限制

    AI 安全测试公司 Mindgard 向 BBC 表示,其在 7 月发现月之暗面的 Kimi K2.6 和 K3 Swarm 两款模型可被越狱绕过开发者设置的安全限制,进而讨论生物武器制作与实施暗杀等话题。Mindgard 创始人 Peter Garraghan 称,越狱一旦成功,模型会谈论任何话题,并主动给出其他有害建议。Mindgard 未验证 Kimi 给出的回答是否真的可行,但认为护栏本应阻止模型进入这类讨论,并称被越狱的 Kimi 2.6 可能让攻击者在其计算资源上运行代码并连接互联网,成为网络攻击的跳板。Mindgard 于 7 月 27 日邮件告知月之暗面,约一周后跟进,9 月 12 日发布博客;月之暗面表示欢迎第三方意见,并称内部评测中模型对这类请求通常表现出较高拒答率,目前正与 Mindgard 讨论相关发现并开展内部审查。

  2. Dawn · 33

    巴哈瓦尔布尔少年借 AI 咨询投毒父亲未遂,获 14 天司法羁押

    巴基斯坦巴哈瓦尔布尔一名 17 岁少年因借助 AI 咨询如何投放难以被检测的毒物、试图毒害父亲,被 NCCIA 逮捕后由法官判处 14 天司法羁押。该少年受美剧《绝命毒师》影响对化学产生兴趣,在家中搭建实验室,从澳大利亚和伊斯兰堡获取化学材料自制毒物,曾对父亲下毒一次但未成功,随后向 AI 寻求进一步指导。NCCIA 通过自动化系统获知线索后实施抓捕,法院要求调查官在期限内提交起诉书。

Sep 29Tue
  1. The News · 54

    巴基斯坦两起涉 AI 谋杀策划案:Claude 上报 FBI 后当地展开调查

    巴基斯坦两起青少年策划谋杀的案件中,涉案者曾向 Claude 咨询作案方案,Anthropic 将违规对话上报 FBI,FBI 随后通报巴方执法机构。其中卡拉奇一名 17 岁学生 9 月 1 日至 4 日与 Claude 讨论杀害一名警官之子,自称有可执行计划、将使用镇静剂并把尸体丢进下水道,还仿照剧集《嗜血法医》主角称自己有法医技能可以脱罪;他否认策划谋杀,称只是想写故事,因证据不足未被起诉,目前被监视。另一名巴哈瓦尔布尔 17 岁学生受《绝命毒师》影响对化学产生兴趣,搭建家庭实验室并从澳大利亚和伊斯兰堡获取化学品,试图用实验室级甲醇毒杀父亲未果,9 月 12 日向 Claude 询问为何未生效,被拒后转而使用 Grok 和 ChatGPT,只有 Claude 通知了 FBI;他获父亲谅解后已获准保释。

Sep 25Fri
Sep 30, 2025Tue
  1. AI Incident Database · 41

    奥地利 18 岁 IS 支持者借 ChatGPT 咨询炸药制作被判两年监禁

    奥地利法院判处一名 18 岁 IS 支持者两年监禁,其中八个月为实刑,罪名包括参与恐怖组织、犯罪组织、危险威胁和胁迫,判决已生效。这名拥有埃及血统的奥地利公民在 4 月因涉嫌策划袭击维也纳以色列大使馆和 Floridsdorf 的 Imam Ali 伊斯兰中心被捕,检方称其借助人工智能,用 ChatGPT 讨论炸药制作与储存,并咨询如何加入西非 IS 组织、获取 AK-47。法院认为没有证据显示其准备实施具体犯罪,因此对其接受恐怖训练和指导实施恐怖罪行的指控判无罪,同时要求其继续参加去极端化项目、在 2026 年夏季学期完成学业并接受三年缓刑监督。

You have reached the end