跳到正文

FAR.AI 的越狱与防护研究、AI 安全排行榜,以及对齐研讨会等社区活动。

66条动态与论文相关主题越狱与攻击防御与护栏Apollo Research
在这个话题内搜索或按分类筛选

新闻与论文

第 61–66 条 · 共 66 条
10月1日周四
  1. arXiv · 收录 · 原文 论文57

    FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

    FAR.AI 发布 AI Security Leaderboard 与护栏最低标准 1.0,对四家前沿厂商的旗舰模型做大规模越狱测试,发现护栏强度差异悬殊。测试覆盖 CBRNE 与网络攻击五个风险域,用 1000 个随机变体和 500 个专家构造变体,在 360 条攻击目标上分三阶段筛选通用越狱(某域攻击成功率超过 75% 才算)。截至 2026 年 7 月 13 日当周,Grok 4.5 和 Gemini 3.1 Pro 分别被发现 63 和 18 个通用越狱,随机搜索找到单个通用越狱的成本约为 58 美元和 278 美元;改用专家手工引导后,数量升至 385 和 231 个。Claude Fable 5 与 GPT-5.6 Sol 在本轮测试中未出现通用越狱。报告建议开发者采用纵深防御,包括监控推理过程、监控模型内部激活信号、使用独立的输入输出过滤器、强化指令层级,并评估组合式越狱。

    推荐理由FAR.AI 用统一方法横向比较四家前沿模型在 CBRNE 与网络攻击上的护栏表现,并给出可复用的最低安全标准。

  2. Future of Life Institute · 收录 · 原文 18

    Future of Life Institute 发起 Protect What's Human:数百万美元全国性 AI 监管活动

    Future of Life Institute 启动名为 Protect What's Human 的全国性 AI 监管活动,最高支出 800 万美元,首站覆盖 Iowa、Kentucky、Maine、Michigan、North Carolina 五州。活动意在把 AI 监管讨论带出华盛顿与硅谷,聚焦已感受到 AI 影响的普通美国人,并推动各州 AI 安全立法。FLI 称在 D.C. 与湾区之外 AI 监管获两党支持,而 2026 年选举议题中普通美国人的视角缺失。

  3. Future of Life Institute · 收录 · 原文 26

    FLI 发起禁止超级智能开发倡议,民调显示 95% 美国人反对超级智能竞赛

    Future of Life Institute 发起倡议,呼吁在获得广泛科学共识证明超级智能可安全可控、且取得公众支持之前,禁止其开发,签署者包括 Geoffrey Hinton、Stuart Russell、Yoshua Bengio 及多位诺奖得主、宗教领袖与演艺人士。FLI 同步发布的美国民调显示,仅 5% 受访者支持当前无监管的开发现状,73% 支持强力监管,64% 认为在科学界确认安全可控前不应开发超级智能。

  4. AI Frontiers · 收录 · 原文 43

    MATS 与 FAR.AI 作者提出修复 AI 越狱披露机制的两层方案

    MATS 研究经理 Rich Barton-Cooper 与 FAR.AI CEO Adam Gleave 撰文指出,当前前沿 AI 实验室的越狱披露机制存在三大问题:许多厂商没有官方报告渠道,现有漏洞赏金项目普遍附带限制披露的 NDA,且严重性由实验室用不公开的标准自行评定。作者称,目前只有 OpenAI 和 Anthropic 提供具体的越狱报告途径,且仅覆盖 CBRN 相关的漏洞赏金;Google DeepMind、SpaceXAI(原 xAI)和 Meta 则将越狱与模型内容问题排除在漏洞披露范围之外。

  5. Helen Toner · 收录 · 原文 15

    Helen Toner 谈 AI 未来的三大悬而未决之争

    Helen Toner 在 FAR.AI 政策会议上提出当前 AI 讨论中三个尚未解决的争论:现有范式还能走多远、AI 能在多大程度上改进 AI、未来 AI 究竟是工具还是别的事物。她主张与其追问"规模是否是全部所需",不如问我们是否处在正确的技术分支上——过去 10-15 年的进展主要来自中小幅度的持续改良而非重大突破,因此进步可能继续延续。

9月30日周三