Failure-First 立场文章:以可恢复性作为具身智能体评估轴(原文,在新标签页打开)
Failure-First 在立场文章中主张,仅用任务成功率评估具身智能体会把可恢复失败与不可逆失败混为一谈,并提出以可恢复性作为评估轴。可恢复性被定义为智能体-环境-任务三元组的属性,即在错误发生后仍存在后续动作序列、使原任务可继续达成的轨迹比例。文章提出把失败分层为可恢复、不可逆无害、不可逆有害,并用带 oracle 错误信号的反事实 rollout 估计恢复率;这是概念提案,尚未大规模验证。
Failure-First 在立场文章中主张,仅用任务成功率评估具身智能体会把可恢复失败与不可逆失败混为一谈,并提出以可恢复性作为评估轴。可恢复性被定义为智能体-环境-任务三元组的属性,即在错误发生后仍存在后续动作序列、使原任务可继续达成的轨迹比例。文章提出把失败分层为可恢复、不可逆无害、不可逆有害,并用带 oracle 错误信号的反事实 rollout 估计恢复率;这是概念提案,尚未大规模验证。
AI Safety Daily 汇总四项研究:系统通过可见安全检查却在关键检查上失败。SpecBench 发现软件工程智能体在可见测试得分高、留出验证失败率更高并随能力扩大;OOD-MMSafe 显示多模态 LLM 能识别近端危害却无法推理多步后果链。SafetyALFRED 显示前沿模型能识别危险却无法在执行中落实安全约束;AgentRed 用 LLM 进化式选择在 HarmBench 上取得 SOTA ASR。
DEFENGRAPH 以持续更新的网络安全知识图谱作为 LLM 蓝队助手的检索底座,在需要关系推理的多跳查询上优于 RAG 基线,在较简单的查找任务上表现相当。该图谱从威胁情报 feed、CTI 报告和 CVE 公告持续更新,使模型推理基于当前威胁态势而非训练截止时的知识;论文称其架构可支持更结构化的操作者选择与威胁建模。
提出 Rank Graduation Fairness 指标,检验群体间预测误差负担是否可比。
提出可复用语义网框架,把 FRIA 证据建成可查询知识图谱。
英国军情五处(MI5)9 月 30 日发布“安全局间谍警报”,称中国通用技术研究院(CGTRI)是国家安全部(MSS)的掩护机构,其资助的研究直接提升 MSS 的间谍技术能力,涉及人工智能、网络安全、隐蔽通信和隐写术等方向,已有 100 多名英国关联学者参与相关项目,部分人可能不知资金来源。MI5 要求英国学术机构立即审查与 CGTRI 的合作并追溯中方合作资金,否则可能依《2023 年国家安全法》被起诉。中国驻英使馆称相关指控“纯属捏造”。
Gradient Institute 宣布成为 Buy Australian AI Partnership 的交付合作伙伴,该计划由 Stone & Chalk 执行、National AI Centre 担任 Principal Sponsor,ANZ、Commonwealth Bank、Cuscal Limited、NAB 和 Westpac 为创始企业合作伙伴。计划为澳大利亚 AI 初创与成长期企业提供与银行、保险及养老金机构对接的路径,入选企业将进入为期八周的加速器,内容涵盖安全负责的 AI 方法、监管要求与企业采购。初创与成长期企业的意向表达开放至 9 月 24 日。
日本 AI 安全研究所(J-AISI)发布《数据质量管理指南》,英文版为正式版、日文版为参考译文,并配套发布数据质量管理检查清单 Version 1.00。指南指出数据是 AI 的基础,只有基于正确数据学习与处理才能得到可靠输出,数据缺陷会削弱整个流程的可信度,因此持续保障数据质量是可信 AI 的基础。该指南将随意见反馈与技术、社会变化适时修订。
来和我一起工作吧!! 我们正在为 @AISecurityInst 的 Propensity 项目招聘一名研究科学家——研究 AI 安全领域最关键的未知问题之一: 未来的 AI 系统会自主选择造成伤害吗? 1/5
好了,Linux 现在应该好多了。第三轮!
OWASP GenAI LLM TOP 10 2026 的中文民间翻译版本发布,梳理了大语言模型应用面临的十大安全风险。该清单由 OWASP 发布,是 AI 安全领域被广泛引用的风险分类基准。此次翻译为中文读者提供了 2026 版风险条目的对照参考。
德国 BSI 于 9 月 10 日发布白皮书《可解释人工智能(XAI):网络安全的机遇与风险》,为在网络安全领域使用 XAI 建立评估基础。白皮书结合 Network Intrusion Detection System 和逆向工程等用例,分析 XAI 在提升 AI 安全系统可信度、接受度及 IT 任务效率方面的作用,同时指出其技术局限,并警告解释信息可能泄露底层 AI 模型细节、带来新的攻击面。
日本 AI 安全研究所(J-AISI)将于 2026 年 10 月 7 日在线举办 2026 年度「AI 安全评估环境 研讨任务组」总会,免费公开,非任务组成员也可报名,截止 10 月 5 日 16:00。该任务组由多家 AI 相关企业参与,讨论其以开源软件形式公开的「AI 安全评估环境」评估工具的定位与功能强化方向。会议内容包括 AISI 活动介绍、AI 安全评估观点、AI×安全最新动向、评估环境与任务组活动介绍,以及 AI 安全评估专题讨论。
新西兰国家网络安全中心(NCSC)副局长 Catrionа Robinson 在 Cyber Summit Korea 2026(9 月 16–18 日)发表演讲,向来自 31 个国家的与会代表介绍新西兰当前网络威胁态势及过去一年的主要趋势,并谈及地缘政治格局变动对新西兰安全环境的影响。她还展望人工智能快速发展带来的机遇与风险。
Partnership on AI(PAI)于 7 月 28 日发布一份面向投资者的 AI 披露建议草案,帮助公司将 AI 的影响、风险与机遇作为重要信息纳入财务及公开报告。该建议不分行业,覆盖医疗、金融服务、零售、基础设施、能源、社交媒体和公共部门等领域,并设计为补充而非新增现有报告的合规要求,可与 PAI 早前发布的《Corporate AI Risk Assessment Framework》配套使用。 其援引 2026 年斯坦福大学以人为本人工智能指数报告称,全球企业对 AI 的投资在 2025 年翻了一倍以上,生产力增益从客户支持的 15% 到营销产出的 50%;同时相关风险也在扩大,涵盖劳动力冲击与环境足迹以及不断上升的有记录的 AI 事故数。
GovAI 于 2021 年正式脱离牛津大学并以新的非营利结构运营,同时任命 Ben Garfinkel 为代理主任、创始人 Allan Dafoe 转任总裁,并组建由 Allan、Ajeya Cotra、Tasha McCayley、Toby Ord 和 Helen Toner 组成的新顾问委员会。该机构同期完成了网站与品牌的更新,并通过募资获得 380 万美元以支撑未来数年的活动,其建设全球 AI 治理研究社区的使命保持不变。Dafoe 等人合著的《合作式 AI 中的开放问题》一文还促成了一项 1500 万美元的合作智能研究基金的成立。
GovAI 发布 2019 年度报告,总结其团队规模与研究产出。该组织现有 7 名核心研究员及 16 位研究附属人员与合作者网络,当年发表一份重要报告、九篇学术出版物、四篇评论文章以及首篇博士论文。研究工作涵盖美国公众对 AI 的态度、出口管制、AI 标准等多个议题,并获 Future of Life Institute、Ethics and Governance of AI Initiative 及 Open Philanthropy Project 资助。
GovAI 面向全球公开招募 2027 年英国冬季奖学金研究员方向的季节性研究员,入选者在伦敦办公室开展为期三个月的独立研究并接受专家导师指导。任期从 1 月 18 日持续到 4 月 9 日,薪资为 £12,000,并提供前往伦敦的差旅支持和工作日午餐及工位,属于全职线下岗位,可为部分人选赞助三个月临时工作签证。申请不限学位和专业背景,重点考察研究成果质量、相关专业知识储备、选题判断力以及与团队协作契合度,高级专业人士若遇参与障碍可通过 [email protected] 联系协商调整安排。
BlueDot Impact 过去数月通过 Rapid Grants 向课程参与者与引导者发放了 77 笔共逾 50000 美元的资助,多数用于算力与 API 额度,也涵盖活动组织、人才加速等项目。该计划现将正式扩容,单笔资助上限提高到 10000 美元,决策仍在约五个工作日内完成,超过 5000 美元的申请可能安排一次简短通话。
Stanford CRFM 与 Arabic.AI 合作推出 HELM Arabic Enterprise,基于 HELM 方法论对企业用例下的阿拉伯语大语言模型进行透明可复现评测。该榜单涵盖六项任务——文章生成、金融多选题问答、金融布尔判断题、金融计算题以及法律开卷与闭卷问答,各实例按 0 到 1 打分并取宏平均作为模型得分。其中文章生成由 LLM-as-judge 从忠实性、完整性和风格遵循三个维度评分,用以惩罚模型幻觉与遗漏关键事实等问题。
GovAI 正为其去年设立的华盛顿特区办公室招聘 DC Chief of Staff,负责设计并落地该机构的 DC 战略。该岗位将作为执行总监及未来美国政策主管的战略伙伴,承接其部分工作与对外关系,同时统筹 DC 办公室搭建、端到端的招聘流程以及当地利益相关方维护。目前 GovAI 的美国政策研究团队仅有六名研究员,计划大幅扩充——可能达到数十人规模。
GovAI 正在招募一名 Hiring Specialist,负责从人才寻源到发放录用通知全流程的项目管理,并日常运营其申请人追踪系统(ATS)。该岗位需具备搭建和维护招聘或数据库系统的实操经验,Airtable 优先,同时熟悉 AI 安全与治理的人才生态。工作地点为伦敦和华盛顿特区办公室,团队倾向线下办公,但也接受例外情况。
Thinking Machines Lab 发表博客《Modular Manifolds》,主张将神经网络权重矩阵约束在各层的子流形上,并以此重新设计优化算法。文中提出的 Muon 优化器流形版本把权重视为落在 Stiefel 流形——条件数为单位的矩阵集合——之上,使学习率能等同于实际的优化步长。该工作基于 Jianlin Su 与 Franz Louis Cesista 的研究,并提出"modular manifold"概念以便组合与扩展到大规模网络训练。
安远AI于今年10月正式加入人工智能伙伴关系(Partnership on AI,PAI),与魁北克人工智能研究所(Mila)、韩国人工智能安全研究所(Korean AISI)、Resaro等十家机构共同入选。PAI是由学术界、民间社团、行业和媒体组成的非营利合作网络,合作伙伴已覆盖17个国家/地区的140余家机构。安远AI创始人兼首席执行官谢旻希表示,加入PAI将增强其在促进协作与创新解决方案方面的承诺,并借助PAI全球社区扩大影响力、推动共识。
Abu Dhabi Autonomous Racing League(A2RL)在意大利 Imola 赛道举行的比赛中,PoliMove 的无人赛车以 155 mph 撞上 Unimore 因激光雷达和雷达数据全部丢失而触发安全停车的车辆,五辆决赛车中仅两辆完赛,Kinetiz 夺冠、Constructor Racing 第二。Unimore 称 GPS 无法提供足够精确的定位,缺乏可靠降级方案是停车主因;PoliMove 表示系统已识别危险并启动避让,但感知、决策、轨迹重规划与执行延迟叠加,在 1 g 急刹、1.5 秒车距下碰撞已无法避免。TUM 则因左后刹车卡滞在编队圈退赛,说明机械故障同样无法靠算法弥补。
针对 text-to-SQL 的保形弃答证书,其真实性取决于校准所用的正确性标签。
提出 SeTox 检索增强框架,检测中文新词的隐性毒性。
用 SAE 内部概念检测并校正癌症分割失败。
研究提出 MEND(Masked Empirical-Bayes Neural Denoising),一种在冻结的自监督世界模型上、无需真实误差标签即可在推理时检测、定位并纠正潜在幻觉的方法。
提出 DenMark,在扩散语言模型去噪时注入可抵抗保义编辑的语义水印。
美国俄亥俄州北区地方法院东部分庭法官 Benita Y. Pearson 就 Smith 诉 Flock Safety 案(案号 5:23-CV-2198)作出意见与命令,处理 ECF Nos. 7、11、12、14、22、26、31 等多项动议。该文件为法院备忘录意见与命令,具体裁决内容未在现有材料中披露。
Google bugSWAT 首尔站活动于 2026 年 4 月举行,Google Bug Hunters 发布博客,梳理 bugSWAT 系列活动普遍的价值所在,并聚焦最新一期首尔站。
Nicholas Carlini 整理并公开了一份自动更新的 arXiv 对抗样本论文完整列表,涵盖每年大量新增的相关工作,并提供 TXT、含摘要版 TXT 及 JSON 三种下载格式。该列表收录标准仅为论文主要以对抗样本为主题或在研究中广泛使用对抗样本,未经质量筛选,因此可能包含误收条目。由于更新自动化程度较高,最新几条尚未人工过滤的记录会附带分类器预测概率,其中部分标注低至 1%。
Nicholas Carlini 撰文回顾其五年前与他人合著的对抗样本论文《Towards Evaluating the Robustness of Neural Networks》,总结该工作做对了什么以及存在的问题。他认为这篇论文最正确的核心主张是用基于梯度下降的攻击来评估神经网络鲁棒性——当时学界流行的是定制化启发式攻击,难以迁移到带防御模型的评估中。
RS-Diffuser 将扩散规划器与分布式价值评论家结合,通过调整推理时的风险参数 α 即可切换规避、中性或寻求风险的轨迹,无需重新训练。该方法用分位数回归估计回报分布并做蒙特卡洛监督以避免 bootstrap 不稳定,在两个基准上验证尾部风险场景下的表现。 RS-Diffuser 由三部分构成:仅建模状态演化的扩散规划器负责预测未来状态轨迹,逆动力学模型将状态转移解码为动作以保证稳定恢复,蒙特卡洛分布式评论家用 Quantile Huber Loss 拟合完整回报分布。其引导目标基于分位数的索引集定义两种风险偏好——CVaR 式的下尾目标最大化最差结果的均值,上尾目标则鼓励高方差高回报路径。
Barazandeh 等人提出 Localized LoRA-MoE,将空间分块与动态上下文条件路由融合,缓解标准 LoRA 在多任务流下的梯度冲突问题。该框架通过局部化更新和动态门控建立 Gradient Firewall,避免适配器权重坍缩为非特化的平均值。Cell-Wise 变体在高维仿真中较全局路由方案取得 +11.48% 的 R² 绝对提升,仅增加 96 个参数;California Housing 表格基准上 Block-Wise(99.65%)与 Cell-Wise(99.51%)达到近乎持平的表现,分别仅有 260 和 272 个可训练参数。
ABot-C0 是为四足机器人设计的"行为基础模型"(BFM),通过合成 3508 小时运动数据的"数据金字塔"引擎筛选出 16,074 段物理可行运动片段共 22.43 小时,并发现了首个四足运动跟踪的数据缩放定律——随训练数据增加持续降低 seen-unseen gap。 该流程将视频转为三维轨迹:先用 DINOv2 特征的身份一致性损失微调 Wan2.2 保证刚体外观稳定,再经语义(CLIP)、几何(重投影误差)、物理可行性三道过滤门槛剔除失败动作,其中超过 7000 段来自 Video-to-Motion 生成的杂技类行为。
Kotian 等人提出 MAMMOTH——一套融合 RGB、热成像 LWIR、3D LiDAR 与自车速度的统一端到端导航策略,通过稀疏 MoE 骨干加 Laplace 门控动态加权各模态,并用随机丢弃传感器 token 的 Modality Dropout 训练强制学习跨模态表征,从而在单一通道失效时不致整体崩溃。该策略还引入基于 IMU Z 轴加速度功率谱密度的内在可通过性启发式,配合条件 DDPM 生成的候选轨迹做安全性重排序。
Ge 等人提出 EgoRecovery 协同训练框架,用自我中心视角的人类视频教机器人从失败中恢复,而非模仿完美轨迹。该方法共享的是经空间范数处理后的 DCT 低频基向量(K=4)所表示的粗粒度"纠正意图",方向无关,由机器人自行学习执行方向与控制指令,从而绕开人机具身差异。基于头戴与腕戴相机采集的数据收集速度比遥操作快 10.5x。真机上仅用 50 条机器人与 300 条人类数据的四类任务平均恢复成功率达 85%,纯机器人基线为 52.5%;去掉 Stop Gradient 会使初始成功率从 80% 降至 70%。
Zhang 等人提出 RL-MACRO,一套基于离线强化学习的闭环控制框架,通过融合力与声音信号重建无法直测的工具—组织界面状态,实现颅骨切开术中安全的自主磨骨。该系统用因果 1D-CNN 加 LSTM 从 6-DOF 测力计与麦克风估计温升 ΔT,并用隐式 Q-learning(IQL)驱动切割深度与进给转速的双头策略,避免在线试错风险。在未见样本上温度预测的决定系数 R² 达 0.939,平均绝对误差 1.717°C,牛肋铣削实验进一步模拟皮质骨与松质骨的层间过渡。