跳到正文

Anthropic · News

10月13日 · 周二

Anthropic · News

按原发与事件进展排列
今天10月13日周二
  1. Anthropic Red TeamingAnthropic Red Teaming · ↑468

    Anthropic 红队演示小模型在 IoT 设备上自我复制

    Anthropic 红队研究显示,小型 AI 模型可能只需数月就能在商用 IoT 设备上实现自我复制。评测中,Qwen3.5-9B 在 9 种硬件中的 8 种上成功搭起推理服务,30B 参数及以下的模型已能完成复制链的多数单步,GLM-5.2 在简化评测中可端到端复制。研究还用 15 台约 55 美元的安卓电视盒子分布式运行 Gemma4-26B-A4B,速度约 0.39 tokens/s;若小模型按历史速度改进,今年年底可能达到该能力。

10月9日周五
  1. arXiv:危险能力与安全评测、Scale AI Research Blog 等 3 个来源arXiv:危险能力与安全评测 等 3 个来源 · 3篇报道 · ↑163

    Scale AI发布DistressBench危机对话评测基准

    Scale AI 等机构的研究者发布 DistressBench,一个由执业临床医生和危机顾问撰写、涵盖 718 段英文自杀与自伤危机对话的危机支持评测基准,覆盖 23 个自杀与自伤子类别和七个支持维度,共 6,901 条加权标准。研究评测 25 个前沿模型,最佳模型满足 88.4% 的加权标准,中位数模型为 71.4%,临床医生参考回答为 98.7%。作者报告主要失败不是有害输出,而是识别危机后不采取行动。

  2. Arena AI、TechCrunch AIArena AI 等 2 个来源 · 2篇报道 · 55

    Arena 完成 2 亿美元 B 轮融资,估值 31 亿

    AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资,估值达 31 亿美元,由 Lightspeed Venture Partners 和 Khosla Ventures 领投,约 10 个月内估值近乎翻倍。Arena 今年 6 月年化营收达 1 亿美元,其商业产品 AI Evaluations 面向模型实验室和企业提供性能分析。Arena 还在排行榜新增对齐类别,评估未授权行动、错误归因和“欺骗性完成”等问题。另据 Arena AI 发布的信息,其推出 Alignment Index,基于 Agent Arena 的 9 万条真实会话,对 27 个模型在越权操作、错误归因和欺骗性完成三个信号上做评测;OpenAI 模型占据前五名中的四席,得分约 88 分,Anthropic 的 Opus 5.5 和 SpaceXAI 的 Grok 4.7 以 83 分紧随其后。约 2% 的 Opus 5 会话出现越权操作,其中 53.5% 是未经许可删除或清理用户文件。

10月8日周四
  1. Simular · 39

    Simular 研究:模型在聊天中拒答,Agent 模式下仍照做

    Simular 研究团队用公开安全基准 OS-Harm 评测了 8 个多模态大模型,发现模型在聊天中会拒答有害请求,但在桌面 Agent 模式下拒答率大幅下降。部分模型在纯文本聊天和多轮 Agent 模式各跑一遍:Holo3 和 Claude 获得鼠标键盘后拒答明显减少,GPT 的拒答率变化不大;任务成功率低并不等于安全,Agent 即使很少完成任务也会尝试有害操作。激活引导能提升开源权重模型的聊天拒答,但对 Agent 模式行为几乎没有选择性效果,有时还降低无害任务的成功率。在 49 项 OS-Harm 滥用任务上,Simular 的 Sai 首轮拒答 69%,GPT-5.5 为 67%,Claude Opus 4.5 为 33%,Claude Sonnet 4.6 为 16%,49 项任务下每个比率的误差约 10 到 13 个百分点。该论文已被 NeurIPS workshop 接收。

10月7日周三
  1. 论文追踪、Help Net Security AI论文追踪 等 2 个来源 · 2篇报道 · ↑155

    研究质疑LLM漏洞修复基准可靠性

    2026年10月,一项论文《On the Reliability of LLM-Based Vulnerability Patching Benchmarks》指出,当前基于大语言模型的自动化漏洞修复基准会显著扭曲所报告的性能,作者从智能体、框架、数据集三个维度梳理了被忽视的陷阱:提示词、工具可用性和详细指令会抬高成功率却不提升与开发者一致的补丁质量;权限错误、基础设施缺陷和超时处理会悄然压低或虚高成绩;缺陷报告和单一 PoC 测试无法判断补丁是否真正修复问题。随后,美国西北大学研究者在 112 个真实安全漏洞上测试 AI 编码智能体,发现能消除崩溃的补丁常常通不过项目维护者为修复编写的测试。在 Claude Opus 4.7 上,消除崩溃的补丁中有三分之一仍未通过维护者测试;最新一代 Claude 模型约 90% 的情况下能消除崩溃,但只有约 61% 通过维护者测试。数据集来自 84 个用 C/C++、Go 和 Rust 编写的开源项目,研究者把原始开发者随真实修复加入的测试拿来检验 AI 补丁。

  2. Vanity FairVanity Fair · 34

    Anthropic在Claude 3.7发布前处理危险能力评估

    Vanity Fair报道称,Anthropic前沿红队在Claude 3.7 Sonnet发布前三天收到一批评估结果,其“能力提升差值”远超预期:在开发生物武器等恶意任务的测试中,可使用Claude的受试者成功率明显高于仅用Google和教科书的对照组。按Anthropic 2023年发布的Responsible Scaling Policy,该结果在部分极端场景下触及ASL-3阈值,团队需在三天内决定是否推迟发布。

  3. epoch.ai、Epoch AI 等 3 个来源epoch.ai 等 3 个来源 · 4篇报道 · 61

    Epoch AI 评测:前沿模型尚难独立复现 ML 创新

    Epoch AI 发布 InnovationEval 基准,测试前沿 AI 能否独立发现对其而言全新的机器学习算法创新,对标人类论文提出的 Self-Distillation Policy Optimization(SDPO)。任务要求智能体从 GRPO 出发开发新的后训练改进方法,在 Qwen3-8B 上提升短答与编程任务表现,预算为 3,000 GPU 小时。结果显示 GPT-5.6 Sol 与 Claude Fable 5 均未接近 SDPO:Sol 的方法按相同墙钟时间调整后仅达 SDPO 增益的 15%,宽松评分下约为 35%;Fable 5 无可测量改进。两者都只是复用已知技术。Epoch AI 另估算,按 2027 年前出货的 AI 芯片计算,若运行廉价模型,全球可支撑近 20 亿个并发 AI 智能体,运行前沿模型则约为 3000 万至 1.7 亿个;达到固定 AI 性能水平的成本过去三年约每季度下降 47%。

  4. artificialanalysis.ai、Anthropic Research 等 7 个来源artificialanalysis.ai 等 7 个来源 · 7篇报道 · 46

    Anthropic 发布 Claude Haiku 5.5 小模型

    2026 年 10 月,Anthropic 发布 Claude Haiku 5.5,称其是迄今最快、最便宜且能力最强的小模型。该模型首次在 Haiku 级引入可调 effort 设置与自适应思考,支持 100 万 token 上下文,并采用分层定价:10 万 token 以内为 $0.10/$0.50 每 1M 输入/输出 token,超过 10 万后为 $0.50/$2.50,官方称整体平均运行成本较 Haiku 4.5 低约 75%。Artificial Analysis 智能指数最高推理档位得 43 分。System Card 报告 RSP 评测未跨过 CB-2 或 Autonomy-2 阈值,但达到 CB-1 和 Autonomy-1 阈值并应用相应缓解措施。官方跑分称 OSWorld 2.1 Max 档达 72.4%,但 Terminal-Bench 4.0 仅 39.2%,低于 Sonnet 5.5 的 70.6%,Anthropic 仍建议复杂任务使用更大模型。安全方面,Claude Code 测试中恶意请求拒答率从 Haiku 4.5 的 66.6% 升至 84.3%,网络安全护栏较 Sonnet 5.5 宽松。

    事件进展
    1. Anthropic 发布 Claude Haiku 5.5 小模型

    2. Anthropic 发布 Claude Haiku 5.5 系统卡

  5. Scale AI Research BlogScale AI Research Blog · 43

    Scale AI 与 Elorian 发布 HSS 直觉视觉推理基准

    Scale AI 与 Elorian 联合发布 Humanity's Sixth Sense(HSS)基准,用于评测直觉视觉推理,包含 288 张图片和 234 段视频(共 17.6 小时)上的 522 道开放式任务。人类参与者准确率 93.1%,最强模型 GPT-6-astra 仅 53.6%,中位模型 30.9%;移除图像或视频后 GPT-6-astra 降至 6.6%。评测覆盖 8 家厂商的 25 个多模态模型。

  6. QuartzQuartz · 53

    研究:AI代理按推断财富改变推荐

    Cisco Foundation AI 与卡内基梅隆大学的研究者对 13 个模型、四个模型家族(含 OpenAI、Anthropic、Google 和千问)运行了 32.5 万次实验,测试智能体在获得含财务、就业、健康和人口统计数据的虚构用户画像后,推荐结果如何变化。在航班、健康保险和研究生项目选择中,13 个模型里有 8 个对财富水平更高的画像推荐了更贵的选项,即便用户明确要求找最便宜的。Claude Opus 4.8 的差距最大。

10月6日周二
  1. 安全内参 / 模安局安全内参 / 模安局 · 53

    AgentPort-Bench跨框架Agent安全评测

    AgentPort-Bench 论文在 7 个主流 Agent 框架与直接 HTTP API 调用之间完成 9360 次受控实验,比较攻击类型、模型和框架对安全结果的影响。方差分析显示,攻击类型解释约 28% 的结果差异,模型约 4.14%,Agent 框架仅约 0.05%,即攻击影响约为框架的 500 多倍。研究覆盖 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google 等框架。

  2. VentureBeatVentureBeat · 2篇报道 · 41

    调查:企业AI Agent安全主要依赖OpenAI护栏

    VentureBeat Intelligence 于8月调查137家百人以上企业如何保护 AI Agent:在指定主要安全层的企业中,40% 选择 OpenAI 内置护栏与审核工具,较7月的21%接近翻倍,Microsoft Azure 为22%、Google Cloud 17%、Anthropic 13%、AWS 8%,五家合计占99%;运行 Agent 的企业中59%过去12个月发生过 Agent 安全事件。另一项 VentureBeat Pulse 八月 Agentic Security and Identity 调查显示,137名受访者中54家称其安全项目在运行时强制实施范围化权限,其中37家已有 Agent 投产;这37家中仅15家表示每个 Agent 都拥有独立且受管理的身份,其余22家称部分或多数 Agent 仍使用共享凭证;在68家已投产 Agent 的组织中,42家存在共享凭证情况,只有26家为每个 Agent 配置独立身份。

10月5日周一
  1. DrivingBench、The Drive 等 4 个来源DrivingBench 等 4 个来源 · 4篇报道 · 54

    DrivingBench 通用智能体低速实车测试

    研究者 Aditya Ramabadran、Simon Mahns 和 Tobias Gessler 搭建 DrivingBench,将 GPT-6 Astra、GPT-5.6 Sol、Claude Fable 5.1 和 Grok 4.6 等通用智能体接入一辆搭载 Comma Four 视觉硬件与 openpilot 的 2022 款 Toyota Corolla,通过无线链路由远程模型下达油门、刹车和转向指令,在停车场锥桶围出的短程点到点路线中驾驶。四款模型共进行 11 次尝试,8 次未跑完路线 11% 就在第一个弯道撞出,GPT-6 Astra 是唯一完成 134.7 米赛道的模型,多数失败涉及场景感知;作者还观察到安全拒绝会随任务呈现方式变化。这是在人工安全接管和限速措施下进行的小样本受控实车评测,不能据此保证无人监管驾驶安全。

10月4日周日
  1. The DecoderThe Decoder · 29

    Aleph Alpha 评测中国模型敏感议题表现

    Aleph Alpha 用自建基准测试了阿里千问(Qwen)、DeepSeek 与月之暗面(Kimi)等中国模型,覆盖天安门、台湾、新疆等 967 个敏感议题。其自研评分系统判定仅 17% 至 41% 的回答算平衡,其余为复述官方立场、回避或拒答。DeepSeek V4 Pro 拒答三分之二问题,对照的 Claude Sonnet 5 与 Mistral Small 平衡回答率分别为 70% 和 92%。

10月2日周五
  1. 韩国 AI 安全研究所韩国 AI 安全研究所 · 34

    韩国AISI发布《前沿AI风险更新2026上半年》韩文版

    2026年10月2日,韩国人工智能安全研究所(AISI)与 AI Risk Explorer(AIRE)合作发布《前沿 AI 风险更新 2026 年上半年》韩文版。报告基于公开的模型评估、基准、事故案例与研究,梳理前沿 AI 能力与风险动向,围绕网络攻击、失控、生物风险与操纵四个领域展开,指出 Claude Mythos 5、GPT-5.5、GLM-5.2 等模型在推理、编程与长期任务自主性上明显提升。

9月30日周三
  1. GIGAZINE · 43

    DrivingBench 用 GPT-6 Astra 等模型实车驾驶,仅 GPT-6 Astra 完成赛道

    由三名旧金山湾区工程师发起的 DrivingBench 项目,让通用 AI 模型接管一辆 2022 款 Toyota Corolla 的方向盘、油门和刹车,测试其在真实世界中的驾驶能力。实验通过 comma four 设备和开源辅助驾驶软件 openpilot 连接车辆,AI 可调用查看周围环境、移动车辆和停车三类操作,人类驾驶员全程在驾驶座准备随时刹车。测试使用 GPT-6 Astra、Claude Fable 5.1、Grok 4.6 和 GPT-5.6 Sol,每个模型最多运行三次,赛道为停车场内约 135 米的 U 形锥桶路线。只有 GPT-6 Astra 完成赛道,第二次尝试用时 5 分 22 秒;Claude Fable 5.1 最好成绩约完成 45%,Grok 4.6 和 GPT-5.6 Sol 每次都只到第一个弯道。

9月29日周二
  1. Anthropic Red TeamingAnthropic Red Teaming · 62

    Anthropic评估GLM-5.3自主网络攻击能力

    Anthropic红队发布对智谱GLM-5.3的评测,认为其具备自主构建端到端网络漏洞利用的能力,且护栏可被简单技术绕过。在ExploitBench上,GLM-5.3在410次尝试中成功开发端到端漏洞利用50次,Claude Mythos Preview为56次;在内部Binary Exploitation基准的100项任务中,GLM-5.3取得完整控制流劫持的比例为4%。

  2. POLITICO · 32

    AI 心理健康测试:OpenAI 发布 MentalHealthBench,FDA 制定 AI 治疗工具基准政策

    OpenAI 上周发布 MentalHealthBench,用于评估聊天机器人在心理健康场景下的回应;FDA 也已制定针对 AI 治疗工具的基准政策。这类基准测试通常由人类评估者模拟用户心理困扰情境与聊天机器人对话,场景涵盖自杀意念、饮食障碍和人际关系问题。Vals AI 的 Andrea Mock 指出,心理健康评估远比"数学题是否解对"这类可验证任务复杂,需要观察长期影响。RAND 的 Jonathan H. Cantor 正在研究如何用这些评估跨时间比较模型表现,但不同心理治疗框架对"正确回应"的定义不同,使统一标准难以建立。

9月24日周四
  1. Cisco · 29

    Cisco LLM 安全排行榜新增图像与音频模态,Gemini 3.1 Pro Preview 图像抗攻击率 93.9% 居首

    Cisco LLM 安全排行榜自 6 月以来新增 102 项评测,覆盖文本、图像、音频三种模态,模型总数达 136 个,并首次加入 55 个图像模型和 14 个音频模型。图像测试中,Google Gemini 3.1 Pro Preview 以 93.9% 的抗攻击率居首,Anthropic Claude Opus 4.5 以 93.7% 紧随其后,均属 85–100% 的“Excellent”区间;Mistral Magistral Small 2509 仅拒答 23.0% 的攻击。所有模型均在无额外护栏的基础配置下测试,新增模态切换可单独查看文本、图像或音频得分。

9月22日周二
  1. METR · 48

    METR 发布 Claude Opus 5.5 部署前评测:AI R&D 能力小幅提升但难以完全自动化

    METR 发布 Claude Opus 5.5 部署前评测摘要,认为其在可验证与难验证的 AI 研发任务上较 Fable 5.1 有增量提升,但证据不支持它已能完全自动化 AI 研发,研究判断与自建反馈循环仍有弱点。报告认为 AI 对模型开发至少有一定加速,但不太可能造成剧烈加速。文中约 1.5 倍的估算来自 METR 另一团队的高度实验性报告,该团队只分享结论而未向评测团队分享证据,也未说明估算适用时段。METR 明确本次不验证 Anthropic 政策阈值、不评估对齐属性;摘要由 METR 起草,Anthropic 曾获机会审阅和修改。