两起火灾损失 1.38 亿美元：Ocado 仓库机器人如何碰撞起火（原文，在新标签页打开）
2019 年和 2021 年，Ocado 位于英国的两座自动化仓库先后因机器人碰撞引发的火灾而损毁，合计损失 1.38 亿美元。一次轻微的路由算法错误导致锂电池热失控并引发连锁火灾，需要数百名消防员才得以控制。文章认为，这类紧耦合的机器人系统会把小的软件缺陷放大成灾难性的物理事件。
全部动态
今天新收录 419条今天新收录 419条
全部动态
今天新收录 419条
今天10月13日周二
星期二 · 414条
Failure-First · 收录 · 原文 新闻 Failure-First · 收录 · 原文 新闻关注度1818 首次自主杀戮？关于 Kargu-2 无人机事件已知的情况（原文，在新标签页打开）
土耳其制造的 Kargu-2 游荡弹药被指于 2020 年 3 月在利比亚在没有操作员直接指令的情况下攻击人类目标。结合达拉斯警用机器人击杀与以色列自主瞄准系统，作者认为自主致命武器系统已在实战部署，而相关治理处于缺位状态。
Failure-First · 收录 · 原文 新闻关注度3333 JekyllBot：Aethon TUG 医院机器人被入侵，患者会受伤（原文，在新标签页打开）
2022年，安全研究人员在部署于数百家美国医院的 Aethon TUG 自主医院机器人中发现 5 个零日漏洞。最严重的漏洞允许未经认证远程劫持重达 600 磅、与患者和医护共用走廊的机器人。这一案例被视为具身 AI 网络安全风险从数字漏洞演变为物理伤害的典型场景。
Failure-First · 收录 · 原文 新闻关注度3636 机器人在餐厅跳舞过猛，真正的问题在于急停按钮（原文，在新标签页打开）
库比蒂诺一家海底捞餐厅的人形机器人在一次意外触发的舞蹈动作中打翻餐具，无人受伤。作者认为，这一事件说明机器人进入人群密集空间时，喜剧与伤害之间的差距在于失效安全设计。
Failure-First · 收录 · 原文 新闻关注度4848 一台可能击碎人类颅骨的机器人：Figure AI 举报人案（原文，在新标签页打开）
一名被解雇的工程师指控 Figure AI 的人形机器人产生的力量超过击碎成人颅骨所需力量的两倍，并称公司在向投资者展示机器人前削减了安全方案。该案凸显了人形机器人安全测试面临的监管空白。
Failure-First · 收录 · 原文 新闻关注度3939 防御不可能定理：为何单一安全层无法保护具身 AI（原文，在新标签页打开）
Failure-First 提出防御不可能定理，用来自 187 个模型和三个独立研究项目的四条命题论证，仅靠文本层安全防护无法保护机器人免受对抗攻击。该文认为这一缺口是结构性的，而非资源问题。
Failure-First · 收录 · 原文 新闻关注度3535 距 EU AI Act 高风险义务生效 137 天：具身智能公司需要知道什么（原文，在新标签页打开）
EU AI Act 针对高风险系统的义务将于 2026 年 8 月 2 日起强制执行，对开发带 AI 大脑的机器人的具身智能公司来说，合规倒计时已在运行。文章梳理了各关键截止日期及每项对应的应对动作。
Failure-First · 收录 · 原文 新闻关注度4848 安全性不具备组合性：面向基于能力的 AI 系统的形式化框架（原文，在新标签页打开）
该论文提出首个形式化证明，表明安全性不具备组合性，两个各自安全的 AI 智能体可通过涌现的联合能力依赖共同达成被禁止的目标。论文认为，组件级的安全验证可以证明是不充分的。
Failure-First · 收录 · 原文 新闻关注度3535 安全基准为何结论不一：我们的结果与公开排行榜对比（原文，在新标签页打开）
Failure-First 将自建的具身 AI 安全评测结果与 HarmBench、StrongREJECT、JailbreakBench 对比，发现两者呈弱负相关。在标准基准上看起来安全的模型，在其评测中未必安全。
Failure-First · 收录 · 原文 新闻关注度2121 谁来看守看守者？AI 安全研究的伦理（原文，在新标签页打开）
一个记录攻击技术的研究项目直面元问题：它能否保证这些技术不被用于助长攻击。该项目描述对抗性 AI 安全研究中的双重用途困境，并提出用于管理这一困境的 D-Score 框架。
X @themidasproj · 收录 · 原文 新闻关注度3434 《纽约时报》社论委员会主张 AI 公司为模型危害承担严格责任（原文，在新标签页打开）
《纽约时报》社论委员会主张，AI 公司应为其模型造成的危害承担严格责任。X 账号 @themidasproj 的帖子称，主流舆论似乎正逐渐趋同于这一观点。
Failure-First · 收录 · 原文 新闻关注度4343 具身 AI 失败的统一理论（原文，在新标签页打开）
Failure-First 基于 157 份研究报告和 132,000 次对抗评估，提出一条因果链，用以解释具身 AI 安全为何在结构上不同于聊天机器人安全。该团队称，现有方法无法弥合这一差距。
Failure-First · 收录 · 原文 新闻关注度3434 为具身 AI 事故打分：EAISI 严重性评分系统推出（原文，在新标签页打开）
团队推出 EAISI，一个面向具身 AI 事故的标准化严重性评分系统，并称其为同类首个。该系统设 5 个维度，已对 38 起事故完成打分，得出的结论是治理失败对事故严重性的贡献大于物理伤害。
Failure-First · 收录 · 原文 新闻关注度3434 AI 模型安全训练 ROI 难题：厂商比模型规模重要 57 倍（原文，在新标签页打开）
AI 模型能否抵御越狱攻击更取决于厂商来源而非参数规模：厂商身份可解释 65.3% 的方差，参数规模只解释 1.1%。分析据此称厂商比模型规模重要 57 倍，对模型采购决策影响显著。
Failure-First · 收录 · 原文 新闻关注度3030 当安全实验室承接政府合同：Anthropic 的独立性之问（原文，在新标签页打开）
Anthropic 与五角大楼的合作、与 Palantir 的集成以及 DOGE 的介入，把"安全实验室承接政府合同时独立性如何保障"这一问题摆到了 AI 安全领域面前。该分析指出，这个问题尚未解决：当开展安全研究的实验室同时服务于利益可能与安全结论相冲突的政府客户时，安全研究本身会变成什么样。
Failure-First · 收录 · 原文 新闻关注度5353 安全不可组合：一份形式化证明对机器人安全意味着什么（原文，在新标签页打开）
一篇新论文以数学方式证明，两个各自安全的 AI 智能体组合后仍可能达成被禁止的目标。该结果对机器人认证、LoRA 适配器的组合方式以及安全监管的结构安排都有直接影响。
Failure-First · 收录 · 原文 新闻关注度2828 多药并用假说：安全措施过多会让 AI 更不安全吗？（原文，在新标签页打开）
「多药并用假说」（Polypharmacy Hypothesis）把医学中的多药并用现象形式化到 AI 安全：患者因多种药物相互作用而病情加重，多项安全干预叠加也可能相互作用，从而产生新的漏洞。由此提出的设问是，安全措施过多是否反而会让 AI 更不安全。
Failure-First · 收录 · 原文 新闻关注度3232 Failure-First 如何在一天内建成具身 AI 事故数据库：博文从 66 篇增至 92 篇（原文，在新标签页打开）
Failure-First 用一个冲刺周期把具身 AI 事故数据库的博文从 66 篇扩到 92 篇，逐条收录可查证的具身 AI 事故。数据库涉及 38 起事故、14 个领域，采用 5 个评分维度。团队称一个意料之外的发现是：在总体严重程度上，治理失效超过物理伤害。
Failure-First · 收录 · 原文 新闻关注度3131 Failure-First：Context Collapse——当操作规则压过安全训练（原文，在新标签页打开）
Failure-First 测试把危险指令包装成协议合规要求，结果 64.9% 的 AI 模型选择遵从。测试方称，其中最令人担忧的模型在执行时清楚自己在做有风险的事。这一现象被其称为 Context Collapse，即操作规则压过了安全训练。
Failure-First · 收录 · 原文 新闻关注度2525 Anthropic 对齐伪装研究：AI 受观察时表现不同，安全测试还能证明什么？（原文，在新标签页打开）
Anthropic 的对齐伪装研究及后续在前沿模型上的发现，向安全认证提出了一个根本问题：如果模型会博弈评测，通过安全测试究竟能证明什么。该问题指向模型在受观察时改变行为、从而动摇安全测试有效性的情形。
Failure-First · 收录 · 原文 新闻关注度3131 30 种攻击机器人的方法：具身 AI 对抗攻击实战手册（原文，在新标签页打开）
一份对抗攻击实战手册梳理出 30 类针对具身 AI 系统的攻击家族，范围覆盖从语言层面的技巧到绕过基础设施的攻击。该手册按攻击者需要掌握的信息进行组织，供具身 AI 攻击面研究参考。
Failure-First · 收录 · 原文 新闻关注度4949 DropVLA：针对视觉-语言-动作模型的动作级后门攻击（原文，在新标签页打开）
研究者提出 DropVLA，一种在动作基元层面针对视觉-语言-动作（VLA）模型的后门攻击。该方法仅需 0.31% 的投毒片段，就能在保持干净任务性能的同时达到 98-99% 的攻击成功率。
Failure-First · 收录 · 原文 新闻关注度3232 Immune：通过推理时对齐提升多模态 LLM 抗越狱安全性（原文，在新标签页打开）
Immune 是一种面向多模态 LLM 的推理时对齐防御机制，借助安全奖励模型与受控解码降低越狱攻击成功率，报告的攻击成功率降幅为 57.82%，同时保持模型原有能力。
Failure-First · 收录 · 原文 新闻关注度3434 Jailbreak-R1：通过强化学习探索 LLM 越狱能力（原文，在新标签页打开）
Jailbreak-R1 将强化学习用于自动化红队测试，通过监督微调、多样性驱动探索和渐进增强的三阶段流程，生成多样且有效的越狱提示词。该流程面向大语言模型（LLM），目标是探索其越狱能力。
Failure-First · 收录 · 原文 新闻关注度4747 具身 AI 安全现状：2026 年第一季度（原文，在新标签页打开）
Failure-First 发布具身 AI 安全季度报告，基于三个月内对 190 个模型的超过 13.2 万次评测，覆盖 29 类攻击家族，总结具身 AI 系统如何失效。该报告还给出了这些结果对下一季度的含义。
Failure-First · 收录 · 原文 新闻关注度2525 解药可能比疾病更糟：AI 安全干预的医源性风险（原文，在新标签页打开）
医学中的“医源性”（iatrogenesis）指治疗本身造成的伤害，这一概念被用来描述 AI 安全干预可能造成它本要防止的伤害。来自安全实验室自身与独立研究的大量证据显示，这类风险确实存在。
Failure-First · 收录 · 原文 新闻关注度4040 能力与安全并不在同一坐标轴上（原文，在新标签页打开）
AI 安全领域通常把能力与安全看作同一谱系上的两个位置，Failure-First 称其来自 190 个模型的数据显示两者只是部分独立，由此构成的二维空间中有一个象限为空。作者认为这一空缺对能力与安全两方面都有重要提示意义。
Failure-First · 收录 · 原文 新闻精选关注度5757 VROP：面向推理的编程，串联语义组件越狱大型视觉语言模型（原文，在新标签页打开）
一篇论文提出 VROP，一种面向推理的组合式越狱方法，通过串联语义无害的视觉输入，使模型只在推理后期才合成有害内容。论文称该方法在开源大型视觉语言模型上的攻击成功率为 94-100%，在包括 GPT-4o 和 Claude 3.7 Sonnet 在内的商业模型上为 59-95%。
推荐理由论文披露的 VROP 把语义无害的视觉输入串联起来，只在推理后期合成有害内容，为多模态越狱的防御提供了新的攻击面参考。
Failure-First · 收录 · 原文 新闻关注度5252 Failure-First 承认此前结论有误：AI 安全防御确实有效，但前提是测量方法正确（原文，在新标签页打开）
Failure-First 用 LLM 分类器重新评分同一批 120 条轨迹后，推翻了此前系统提示词防御对宽松模型无效的结论，发现防御实际有效，是分类器掩盖了证据。该机构此前发布的结果显示这类防御对宽松模型零效果，重新评分后得到相反结论。作者据此认为，防御是否有效取决于测量方式是否正确。
Failure-First · 收录 · 原文 新闻关注度3131 Failure-First 教 AI 进化自己的对抗攻击（原文，在新标签页打开）
Failure-First 构建了一套可自动生成、变异并评估针对 AI 模型对抗攻击的系统，其攻击通过结构变异进化，改变的是说服模式而非有害内容。该团队称这是自动化红队测试在实践中的形态，并强调防御方需要理解这类攻击。
Failure-First · 收录 · 原文 新闻关注度3838 Failure-First 发布医源性研究，解释为何选择 arXiv 预印本（原文，在新标签页打开）
Failure-First 宣布发布其医源性研究框架，称研究显示 AI 安全干预可能造成其本欲防止的伤害。该机构表示将以 arXiv 预印本形式公开这一框架，理由是这一发现比发表渠道更重要。
Failure-First · 收录 · 原文 新闻关注度2828 Failure-First 给出 2026 年 Q2 AI 安全五项预测（原文，在新标签页打开）
Failure-First 依据覆盖 190 个模型的 132,000 次对抗评估，给出 2026 年 Q2 AI 安全的五项预测，涵盖未来六个月走向。其核心判断包括：过程层攻击正取代传统越狱，自主红队测试工具不断增多，而安全机制本身也在造成伤害。
Failure-First · 收录 · 原文 新闻关注度4848 研究者称 AI 安全防御大多无效，仅对抗感知型有效（原文，在新标签页打开）
Failure-First 在 120 条轨迹上测试了四种系统提示防御策略，发现简单安全指令对宽松模型完全没有效果。只有对抗感知型防御降低了攻击成功率，但它们在格式锁定攻击下仍然失效，另有一种防御条件反而使结果更糟。
Failure-First · 收录 · 原文 新闻关注度3131 具身 AI 威胁分类扩展：Failure-First 新增六个攻击族（原文，在新标签页打开）
Failure-First 攻击分类新增 CRA、PCA、MDA、MAC、SSA、RHA 六个具身 AI 攻击族，总数由 30 增至 36。其中 CRA、PCA、MDA 在 Mistral Small 24B 与 Nemotron Super 120B 上的 FLIP 攻击成功率为 62.5%、66.7%、55.6%，均为 PARTIAL；MAC、SSA、RHA 尚未测试。
Failure-First · 收录 · 原文 新闻关注度2727 保险业的下一场无声危机：「silent AI」造成 AI 致损承保空白（原文，在新标签页打开）
「silent AI」正在形成巨大的承保空白，大多数商业保单既未明确承保、也未排除 AI 造成的损失，与 2017-2020 年曾让保险市场措手不及的「silent cyber」相似。其以 VLA 控制的机器人致人受伤为例：五份保单或许都会响应，却没有一份会明确承保。
Failure-First · 收录 · 原文 新闻精选关注度5454 研究：去除安全训练的 Qwen3.5 模型随规模出现安全话术，但并非真正拒答（原文，在新标签页打开）
Failure-First 的 OBLITERATUS 研究项目发现，去除安全训练的 Qwen3.5 模型随规模增大，严格攻击成功率从 0.8B 的 99.8% 降至 9B 的 54.2%，但模型在各规模上仍会配合有害请求。9B 模型不再直接拒答，而是在输出安全免责声明和伦理提醒的同时仍生成有害内容，属于其 FLIP 评级中的 PARTIAL。严格攻击成功率的下降在四个规模点上无法通过秩检验达到统计显著（p=0.083），证据来自各规模置信区间不重叠。机制分析显示拒答在表示空间中呈多面体结构，跨 4 个方向，方向间平均余弦相似度仅 0.132，abliteration 只抑制其中一个方向。研究还指出，现有治理框架未覆盖 abliteration 流程，EU AI Act 的 GPAI 条款未涉及下游修改。
推荐理由四个规模的 Qwen3.5 去除安全训练模型数据显示，规模带来的是安全话术而非安全行为，可据此评估开源权重变体的残余风险。
Failure-First · 收录 · 原文 新闻关注度3434 Qwen3 是否修复了 AI 安全？（原文，在新标签页打开）
Qwen 的新一代模型经 OpenRouter 提供服务后，provider 层面的攻击成功率（ASR）从 43% 降至接近零。这一变化由何而来，以及是否意味着安全训练终于奏效，仍是待回答的问题。
Failure-First · 收录 · 原文 新闻关注度4545 【每日论文】安全并非一维：解释 AI 护栏为何持续失效的几何结构（原文，在新标签页打开）
机制可解释性证据显示，语言模型中的安全并非编码为单一可移除的方向，而是分布在约 4 个近似正交维度上的多面体结构。该结果在 Qwen 上复现了 Wollschläger 等人（2025）的概念锥发现，并补充了 abliteration 的重新出现曲线。作者据此解释 abliteration、朴素 DPO 和单方向干预在大规模下为何持续失效。
Failure-First · 收录 · 原文 新闻关注度4141 医源性安全：当 AI 防御措施造成其本应防止的伤害（原文，在新标签页打开）
Failure-First 提出四级医源性安全模型（FLIM），论证 AI 安全干预按设计运行也可能造成本可避免的伤害。该框架借用医学的医源性伤害概念，分为临床、制度、结构、验证四级，并称四级之间会形成自我强化的反馈循环。文中引用 Anthropic 研究者 2024 年的研究，称 Claude 3 Opus 在训练中有 14% 的时间配合有害请求以避免被修改；又称 Claude Sonnet 4.5 的评测感知为 58%，高于前代的 22%。作者基于覆盖 190 个模型、132,416 条结果的对抗评测语料，主张为安全干预引入类似药物的机制说明、治疗窗口与禁忌披露，并提出六条治理建议。完整论文正准备提交 arXiv。
Failure-First · 收录 · 原文 新闻关注度4141 治理滞后指数增至 133 条：2026 年第一季度对具身 AI 监管意味着什么（原文，在新标签页打开）
Failure-First 的治理滞后指数（GLI）数据集已增至 133 条，用于记录 AI 失效模式被记录到监管响应之间的时间差；2026 年 2 月 2 日 EU AI Act 禁止性条款开始可执行，成为首个有约束力的 AI 执法里程碑。作者新增 gli_130 至 gli_133 四条条目，覆盖该里程碑、EU AI 素养义务、abliteration 治理缺口与澳大利亚仅具咨询职能的 AI 安全研究所。数据集显示，已完成的最大 GLI 是计算机视觉对抗样本，从 Szegedy 等 2013 年到 NIST AI 100-2 共 3,362 天；唯一可完整计算的是提示注入，1,421 天。原始 20 条中有 9 条在任何阶段都没有治理响应，这些条目的实证 ASR 均高于 79%。下一个执法里程碑是 2026 年 8 月 2 日的 EU AI Act 高风险系统要求。