跳到正文
今天10月8日周四
  1. VulcanBench · 收录 · 原文 50

    VulcanBench 评测 Grok 4.7 在 Cursor 各 effort 档位的代码与安全表现

    VulcanBench 用 Cursor 的 agent CLI 对 Grok 4.7 的四个 effort 档位各跑 23 个任务,共 92 次运行,综合得分从 Low 的 89.42 升到 Extra-high 的 93.15,Extra-high 通过全部 23 个任务。由于 Grok 4.6 是 xAI 模型,本次第二评审换成 GPT-6.1 Sol,其打分比 Muse Spark 1.3 高约 5.4 至 6.3 分,因此该列的综合得分与其他列不完全可比;仅按 Muse Spark 1.3 重新计分后,Grok 4.7 在 Medium、High、Extra-high 仍居首,Low 落后 Claude Fable 5.1。Routine v1 的 12 个常规任务在四个档位全部通过,综合得分 97.14 至 97.37,但每任务耗时从 1.1 分钟增至 4.0 分钟。

10月7日周三
  1. arXiv · 收录 · 原文 论文52

    DrivingBench 发布:让视觉语言模型驾驶丰田 Corolla 绕桩

    研究者提出 DrivingBench,据其描述是首个要求通用视觉语言模型驾驶真实汽车的基准。模型通过三个工具读取丰田 Corolla 的摄像头画面,并直接控制转向与速度,在停车场锥桶赛道低速行驶。车辆在模型思考期间可能继续移动,新指令会替换正在执行的指令,因此推理延迟本身构成任务的一部分,考察模型在约束下观察、行动、监控、恢复并完成长时程目标的能力。研究在 Codex、Claude Code、Cursor 等厂商原生框架中评测 GPT-6 Astra、Claude Fable 5.1、GPT-5.6 Sol 和 Grok 4.6,每个模型在同一对话中最多尝试三次;Astra 是唯一完成赛道的模型,在第二次尝试中完成,其余尝试均未通过赛道的 50%。四个模型中有两个在保留上下文的情况下跨尝试取得明显进步。

  2. GIGAZINE · 收录 · 原文 43

    DrivingBench 用 GPT-6 Astra 等模型实车驾驶,仅 GPT-6 Astra 完成赛道

    由三名旧金山湾区工程师发起的 DrivingBench 项目,让通用 AI 模型接管一辆 2022 款 Toyota Corolla 的方向盘、油门和刹车,测试其在真实世界中的驾驶能力。实验通过 comma four 设备和开源辅助驾驶软件 openpilot 连接车辆,AI 可调用查看周围环境、移动车辆和停车三类操作,人类驾驶员全程在驾驶座准备随时刹车。测试使用 GPT-6 Astra、Claude Fable 5.1、Grok 4.6 和 GPT-5.6 Sol,每个模型最多运行三次,赛道为停车场内约 135 米的 U 形锥桶路线。只有 GPT-6 Astra 完成赛道,第二次尝试用时 5 分 22 秒;Claude Fable 5.1 最好成绩约完成 45%,Grok 4.6 和 GPT-5.6 Sol 每次都只到第一个弯道。

  3. Gadget Review · 收录 · 原文 ↑359

    DrivingBench 测试:GPT-6 Astra 完成 134.7 米锥桶赛道,Grok 4.6 等三款模型失败

    研究者 Aditya Ramabadran、Simon Mahns 和 Tobias Gessler 搭建 DrivingBench,将 GPT-6 Astra、GPT-5.6 Sol、Claude Fable 5.1 和 Grok 4.6 接入一辆搭载 Comma Four 硬件与 openpilot 的 2022 款 Toyota Corolla,通过无线链路由远程模型向车辆下达控制指令。四款模型共进行 11 次测试,只有 GPT-6 Astra 在第二次尝试中完成 134.7 米锥桶赛道,用时 5 分 22 秒,消耗约 660 万 token、花费 7.74 美元。Claude Fable 5.1 最好成绩约为赛道的 45%,Grok 4.6 约 11%,首次尝试仅发出两条指令就结束,GPT-5.6 Sol 约 6%。 测试在低速锥桶场地进行,车内操作员保留人工刹车接管;上述小样本成绩不构成无人监管驾驶的安全保证。

    2 条报道 · 2 个来源查看事件时间线与全部报道
10月6日周二
  1. Brennan Center for Justice · 收录 · 原文 44

    Brennan Center 复测:六款聊天机器人多数仍不读取 AI 图像来源元数据

    Brennan Center 在加州 AI 透明度法生效后复测六款聊天机器人识别 AI 生成图像的能力,结果显示表现没有改善。测试覆盖 ChatGPT、Claude、Gemini、Grok、Meta AI 和 Perplexity,用 Gemini 与 ChatGPT 生成的图像进行验证,只有 Gemini 读取了图像内嵌的来源元数据并指出创建工具,其余聊天机器人均未评估元数据,仅依赖视觉判断。对 Gemini 生成的邮政工人分拣选举邮件图像,四款聊天机器人误判为真实照片,其中 ChatGPT 和 Perplexity 注意到右下角可见水印却将其解释为社交媒体或平台标记。研究者指出,法律要求企业提供免费工具供用户核查图像是否由 AI 生成,但未要求该工具嵌入聊天机器人内部,建议将核查能力直接集成到聊天机器人中。

    1 条报道 · 1 个来源查看事件时间线与全部报道
10月4日周日
  1. The Decoder · 收录 · 原文 29

    Aleph Alpha 研究:千问、DeepSeek、Kimi 等中国模型在敏感议题上多复述官方立场或拒答

    Aleph Alpha 用自建基准测试了阿里千问(Qwen)、DeepSeek 与月之暗面(Kimi)等中国模型,覆盖天安门、台湾、新疆等 967 个敏感议题,其自研评分系统判定仅 17% 至 41% 的回答算平衡,其余为复述官方立场、回避或拒答。DeepSeek V4 Pro 拒答三分之二问题,对照的 Claude Sonnet 5 与 Mistral Small 平衡回答率分别为 70% 和 92%。研究还称 Nvidia Nemotron Cascade 2 有 17% 回答呈类似倾向,归因于其 930 万条训练样本中约 3500 条由 DeepSeek 和 Qwen 生成。

    1 条报道 · 1 个来源查看事件时间线与全部报道
10月3日周六
  1. Gray Swan AI · 收录 · 原文 日期未知56

    UK AISI 与 Gray Swan 2025 年智能体红队挑战结果:180 万次尝试、6.2 万次攻破

    Gray Swan AI 在 2025 年 5 月 9 日的博客里公布与 UK AISI 合办的智能体红队挑战结果。挑战为期一个月(2025 年 3 月 8 日至 4 月 6 日),共发起 180 万次攻击尝试,社区成功攻破 6.2 万次,覆盖 22 个模型(挑战期间匿名)和 44 种有害智能体行为,奖金总额 171,800 美元。挑战行为分为机密泄露、目标冲突、指令层级违规(信息)和指令层级违规(动作)四类,并区分直接对话攻击与间接提示注入,同时测量过度拒答。161 名红队成员获奖,前 10 名获得 Gray Swan 与 UK AISI 的快速通道面试机会,前 5 名各取得 924 次唯一攻破。博客当时称完整论文与深度分析将于 2025 年 5 月发布,下一场 Dangerous Reasoning Challenge 于 2025 年 5 月 10 日启动。

    推荐理由覆盖 22 个模型、180 万次攻击尝试的公开智能体红队评测,给出各模型攻击成功率排名,可横向比较 2025 年春季主流模型在智能体场景下的安全稳健性。

10月2日周五
  1. FAR.AI · 收录 · 原文 56

    FAR.AI 发布 AI Security Leaderboard:四个前沿模型护栏强度相差逾百倍

    FAR.AI 发布 AI Security Leaderboard(leaderboard.far.ai),在相同条件下测试四个前沿模型的护栏,并配套提出 Minimal Standard for Safeguards。测试用自动化工具包把越狱技术拆解重组,生成数十万条提示词,覆盖化学、生物、放射、核、爆炸物与网络等风险领域;把在某一领域超过四分之三有害请求上成功的攻击称为通用越狱,并计算攻击者找到它的成本。结果显示,最脆弱的 Grok 4.5 仅需 58 美元即可开发出跨全部测试领域的攻击,网络领域更低至 24 美元,部分越狱组件来自公开论坛和代码仓库;Claude Fable 5 与 GPT-5.6 Sol 未发现通用越狱,估计需花费超过 14000 美元。FAR.AI 称这些数字假设低投入攻击者,具备专业越狱经验者可能找到更多入口,并强调发现的弱点均属已知攻击类别、已有现成防御。

    推荐理由FAR.AI 用统一攻击工具包对四个前沿模型做同条件红队测试,并给出可比较的破解成本,为评估护栏强度提供了横向参照。

  2. Cisco · 收录 · 原文 29

    Cisco LLM 安全排行榜新增图像与音频模态,Gemini 3.1 Pro Preview 图像抗攻击率 93.9% 居首

    Cisco LLM 安全排行榜自 6 月以来新增 102 项评测,覆盖文本、图像、音频三种模态,模型总数达 136 个,并首次加入 55 个图像模型和 14 个音频模型。图像测试中,Google Gemini 3.1 Pro Preview 以 93.9% 的抗攻击率居首,Anthropic Claude Opus 4.5 以 93.7% 紧随其后,均属 85–100% 的“Excellent”区间;Mistral Magistral Small 2509 仅拒答 23.0% 的攻击。所有模型均在无额外护栏的基础配置下测试,新增模态切换可单独查看文本、图像或音频得分。

  3. SentinelLabs · 收录 · 原文 50

    SentinelLABS 用 fast16 样本评测前沿模型的长周期恶意软件分析能力

    SentinelLABS 基于其 2005 年 sabotage implant fast16 的真实调查,构建了一个八阶段逆向工程基准,测试前沿模型能否在证据不断推翻先前结论时维持可信的恶意软件调查。OpenAI 的 GPT-5.6 Sol 是唯一完成全部八阶段的公开可用模型,三个不同推理强度设置的运行均通过基准;GPT-5.5、GLM-5.2 和 Opus 4.x 系列能完成局部分析,但无法贯穿整个梯度。区分完成运行的关键是项目级恢复能力,即撤回被推翻的结论、修复技术产物、更新依赖报告而不丢失调查。最强运行仍犯语义错误、接受薄弱的质量控制并过早宣称就绪,作者认为当前最佳用途是受监督的调查代理,由人类分析师定义目标并保留最终发布权。所有实验共消耗超过 230 亿 token,缓存读取率 93.58%;自托管 GLM-5.2 以 100 美元预算产出 267.41M token。

    推荐理由SentinelLABS 用真实恶意软件样本构建八阶段逆向工程基准,给出各前沿模型在长周期调查中的具体失败点与成本数据。

10月1日周四
  1. arXiv · 收录 · 原文 论文57

    FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

    FAR.AI 发布 AI Security Leaderboard 与护栏最低标准 1.0,对四家前沿厂商的旗舰模型做大规模越狱测试,发现护栏强度差异悬殊。测试覆盖 CBRNE 与网络攻击五个风险域,用 1000 个随机变体和 500 个专家构造变体,在 360 条攻击目标上分三阶段筛选通用越狱(某域攻击成功率超过 75% 才算)。截至 2026 年 7 月 13 日当周,Grok 4.5 和 Gemini 3.1 Pro 分别被发现 63 和 18 个通用越狱,随机搜索找到单个通用越狱的成本约为 58 美元和 278 美元;改用专家手工引导后,数量升至 385 和 231 个。Claude Fable 5 与 GPT-5.6 Sol 在本轮测试中未出现通用越狱。报告建议开发者采用纵深防御,包括监控推理过程、监控模型内部激活信号、使用独立的输入输出过滤器、强化指令层级,并评估组合式越狱。

    推荐理由FAR.AI 用统一方法横向比较四家前沿模型在 CBRNE 与网络攻击上的护栏表现,并给出可复用的最低安全标准。

  2. Import AI · 收录 · 原文 27

    Import AI 462:超级说服力、自我维持的 AI 与通往 ASI 之路

    牛津大学、英国 AI 安全研究所、斯坦福大学与伦敦政治经济学院的研究人员通过四项实验、覆盖 6923 人共 18978 场对话发现,当前 AI 系统在文本说服上比人类专家更具说服力,其中 Opus 4.1 与 Opus 4.6 表现最强,其后是 OpenAI 的 GPT-4o、GPT-5.4,Google 的 Gemini 2.5 Pro 及 xAI 的 Grok 4.20。若将 AI 约束为人类书写速度与人际消息长度,其对顶尖人类的优势从 +4.1pp 降至不显著的 0.0pp,说明产出速率是其说服力优势的主要来源。

已经到底了