跳到正文

工具与开源

开源红队、评测与防护工具。

479条动态与论文相关主题红队防御与护栏安全评测
在这个话题内搜索或按分类筛选

新闻与论文

第 341–360 条 · 共 479 条
10月1日周四
  1. Transformer Circuits · 收录 · 原文 17

    Anthropic 发布 PySvelte:连接 Python 深度学习与 Svelte 可视化的库

    Anthropic 发布 PySvelte,一个用于将基于 Svelte 和 Web 标准的自定义可视化接入 Python 深度学习工作流的库。它让 src/ 目录下的 Svelte 组件自动以 pysvelte.Hello() 形式在 Python 中可用,支持 NumPy 数组传入、组件相加成页面,并可通过 .publish() 发布到 GCS/S3/AZ 等存储分享。该库声明完全不提供支持,许多功能需用户自行编写 config.py 才能使用。

  2. Transformer Circuits · 收录 · 原文 43

    Anthropic 发布 Transformer 逆向工程数学练习集

    Anthropic 的可解释性团队发布了一套配套其 Transformer 数学框架的练习集,要求读者为注意力头写出具体权重矩阵以实现特定算法,并附有解答。练习分三部分:热身题讨论单个注意力头如何用 W_Q、W_K、W_V、W_out 描述信息在残差流子空间之间的读写,以及 W_Q^T·W_K 和 W_out·W_V 的含义与秩;练习一用两个前一个 token 注意力头构造出看向两个 token 之前的虚拟注意力头,并展开 W_net 矩阵;练习二和练习三分别用指针算术和前一 token K-Composition 两种方式手工搭建归纳头,后者适用于 rotary attention 这类不向 W_V 暴露位置信息的机制。

    推荐理由Anthropic 可解释性团队把注意力头的权重写成显式矩阵,读者可据此亲手推导归纳头等机制。

  3. Failure-First · 收录 · 原文 15

    NavIsaacLab:面向人类感知导航基准的高保真人群仿真框架

    NavIsaacLab 通过并行机器人学习生成逼真人群,为人机共存环境中的“人类感知”导航提供高保真基准。该框架基于 NVIDIA Isaac Lab 实现 GPU 并行仿真,将行人建模为由 SMPL 驱动的关节级物理智能体,并用轨迹扩散模型加 AMP 替代手写规则。它针对现有模拟器低物理保真度、简化行人建模和缺乏并行化三大缺陷设计,配套标准化基准从亲密度和社会规范维度评估策略。

  4. Failure-First · 收录 · 原文 16

    Failure-First AI 安全日报:Google DeepMind 三天内连发两款机器人模型

    Google DeepMind 于 7 月 28 日和 30 日先后发布 Gemini Robotics 2 与 Gemini Robotics ER 2,前者主打全身智能,后者新增视频理解、任务编排和多机协作,均为厂商公告且无公开对抗评估。同期 OpenAI 发布了涉及自身模型的第三方网络能力评估说明。两篇待关注预印本分别提出自动提示注入红队的智能体系统与恶意微调的梯度免疫防护。

  5. Failure-First · 收录 · 原文 18

    ASPIRE:面向机器人学的智能体技能自主发现框架

    ASPIRE(Agentic Skill Programming through Iterative Robot Exploration)通过逐图元的执行轨迹诊断实现机器人故障定位与自动修补,基于开源 CaP-X 框架和 MuJoCo Playground 仿真器运行。该方法将每次失败转化为持久化技能库中的可复用策略,并配合进化搜索避免陷入局部修复循环。在 LIBERO-Pro 扰动鲁棒性测试中成功率达 72%,较基线 CaP-Agent0 的 18% 高出最高 77 个百分点,并在 Robosuite 双手交接任务取得 92%、BEHAVIOR-1K 长程操作取得 88%。

  6. Failure-First · 收录 · 原文 7

    分布式多机器人月球货物运输:基于相位分解强化学习的研究

    针对共享负载导致闭运动学链耦合的多机器人月球货运难题,研究者提出相位分解强化学习框架,将任务拆分为举升、运输、放置三个独立的马尔可夫决策过程分别优化策略,并用离散模式变量做指示函数门控切换阶段。单一集中式基线策略在 7.5×10⁴ 时间步的训练中始终无法收敛,平均奖励剧烈震荡且机器人在前进的同时执行举放动作导致货物掉落。该方法还引入确定性关节同步层作为物理安全钳制,把底层指令约束在以实时状态为中心的可行域内以避免内部应力。

  7. Failure-First · 收录 · 原文 16

    FAR:面向机器人策略失败恢复与持续改进的 Failure-Aware Retry 框架

    Hao 等人提出 FAR(Failure-Aware Retry)框架,让离线示范训练的机器人在遇到分布外状态导致抓取失败时可自主重试并就地调整行为。该框架通过 IQL 的价值估计检测价值骤降来定位引发失败的动作块,并用 FCPA 构造对比偏好对进行参数化更新,同时向动作注入经指数平滑的高斯扰动做结构化探索。仿真与真机实验中该方法优于朴素重执行,并能将成功轨迹回灌三个缓冲区实现在线持续改进。 要点: - 问题根源在于模仿学习缺乏纠错机制,偏离训练分布后会陷入相同失败的反馈循环。 - FCPA 以最低 ρ 百分位的 ΔV 动作作为负样本,从当前策略采样高价值候选作正样本优化偏好目标。

  8. Failure-First · 收录 · 原文 15

    Localized LoRA-MoE:块级低秩专家与自适应路由

    Barazandeh 等人提出 Localized LoRA-MoE,将空间分块与动态上下文条件路由融合,缓解标准 LoRA 在多任务流下的梯度冲突问题。该框架通过局部化更新和动态门控建立 Gradient Firewall,避免适配器权重坍缩为非特化的平均值。Cell-Wise 变体在高维仿真中较全局路由方案取得 +11.48% 的 R² 绝对提升,仅增加 96 个参数;California Housing 表格基准上 Block-Wise(99.65%)与 Cell-Wise(99.51%)达到近乎持平的表现,分别仅有 260 和 272 个可训练参数。

  9. Failure-First · 收录 · 原文 9

    GraspIT:弥合仿真与现实差距并反向回传的可验证抓取 SE(3) 位姿数据集

    GraspIT 通过四阶段物理滑移测试筛选抓取候选,揭示理论力闭合指标中 17% 的成功抓取在实际滑动测试中失败,暴露当前模型的"物理推理缺陷"。该流程在 Isaac Sim 中用并行 Franka Panda 执行轨迹接触、抬升、水平振荡与摆锤摆动四级扰动,并以位置滑移超过 2 cm、姿态滑移超过 10° 定义失败,产出连续质量分 s。首版含 1035 个仿真场景、100 个真实场景、约 31.6 万个标注 RGB-D 帧组、约 7400 个物体标识及约 230 万个抓取候选,其中 82.94% 标记为好,11.46% 因不可达而在轨迹规划阶段淘汰。

  10. Failure-First · 收录 · 原文 6

    ABot-C0 四足机器人行为基础模型技术报告

    ABot-C0 是为四足机器人设计的"行为基础模型"(BFM),通过合成 3508 小时运动数据的"数据金字塔"引擎筛选出 16,074 段物理可行运动片段共 22.43 小时,并发现了首个四足运动跟踪的数据缩放定律——随训练数据增加持续降低 seen-unseen gap。 该流程将视频转为三维轨迹:先用 DINOv2 特征的身份一致性损失微调 Wan2.2 保证刚体外观稳定,再经语义(CLIP)、几何(重投影误差)、物理可行性三道过滤门槛剔除失败动作,其中超过 7000 段来自 Video-to-Motion 生成的杂技类行为。

  11. Failure-First · 收录 · 原文 17

    LulzBench 实测:MiniMax-M3 拒绝五分之一良性底线对照请求

    Failure-First 公布的首批托管样例中,MiniMax-M3 经托管的 OpenAI 兼容端点运行 LulzBench 全部 21 项良性底线对照,捕获 21/21、无供应商报错,其中 4 项遭拒答且均为真实的带理由拒答,三项涉及轻度恶习或社交劝说前提。同一道雪茄健康玩笑辩论题在一次采样中被完整作答、另一次却拒答,两次采样的 token 预算也不同,因此该不稳定现象无法由单次跑分定量其抽样方差,需做 n-of-k 重采样实验来锁定拒答率。

  12. Failure-First · 收录 · 原文 15

    Harness VLA:将冻结的 VLA 通过记忆引导智能体改造为可靠操作基元

    Harness VLA 提出三层架构,把认知编排从底层执行中隔离出来,缓解端到端 VLA 模型在长程组合与环境扰动下的级联失败。该框架由高层规划智能体、固定基元库和两个记忆模块组成,其中 VLA_ACT 调用冻结的 VLA 处理接触密集行为,确定性解析基元负责移动与姿态调整。在 LIBERO-Pro 上取得 82.4% 成功率,较 RATS 基线提升 38.6 个百分点;RoboCasa365 上比 RLDX-1 高 25.4 个百分点;RoboTwin C2R 零样本迁移成功率为 58.4%。

  13. Failure-First · 收录 · 原文 15

    机器人系统集成端侧语音识别模型的调查:从云端 API 转向本地化

    针对现代人机交互中云端 ASR API 带来的延迟、隐私与可靠性风险,Li 等人的 2026 年综述梳理了将语音识别迁移到机器人的端侧方案,并以“失败优先”视角指出上游误识别会沿感知管线传播并引发下游具身行动失效。文中对比了 OpenAI Whisper(68 万小时数据)、CMU OWSM v3.1 与 OWSM-CTC、Meta MMS(覆盖超 1000 种语言)及 Julius 等语音基础模型,以及 Kaldi、ESPnet、SpeechBrain 生态中的 LibriSpeech、CommonVoice、Gigaspeech 数据集。

  14. Failure-First · 收录 · 原文 22

    ATACOM-DC:面向高效探索的安全强化学习方向约束

    Magliano 等人提出 ATACOM-DC,通过只在动作朝违反约束方向发展时才施加投影的方向性约束,缓解现有安全过滤器的策略停滞问题。该方法依据约束导数符号筛选活跃集,仅对有负向风险的动作做缩放,放行远离边界的动作。在 KUKA iiwa 气垫球、平面机械臂和气动四旋翼三个仿真环境中取得帕累托占优表现,同时维持安全性。

  15. Failure-First · 收录 · 原文 13

    MAMMOTH:面向越野移动、容忍缺失模态的多模态端到端策略

    Kotian 等人提出 MAMMOTH——一套融合 RGB、热成像 LWIR、3D LiDAR 与自车速度的统一端到端导航策略,通过稀疏 MoE 骨干加 Laplace 门控动态加权各模态,并用随机丢弃传感器 token 的 Modality Dropout 训练强制学习跨模态表征,从而在单一通道失效时不致整体崩溃。该策略还引入基于 IMU Z 轴加速度功率谱密度的内在可通过性启发式,配合条件 DDPM 生成的候选轨迹做安全性重排序。

  16. Failure-First · 收录 · 原文 15

    EgoRecovery:通过人类恢复示范获取机器人失败恢复能力的协同训练框架

    Ge 等人提出 EgoRecovery 协同训练框架,用自我中心视角的人类视频教机器人从失败中恢复,而非模仿完美轨迹。该方法共享的是经空间范数处理后的 DCT 低频基向量(K=4)所表示的粗粒度"纠正意图",方向无关,由机器人自行学习执行方向与控制指令,从而绕开人机具身差异。基于头戴与腕戴相机采集的数据收集速度比遥操作快 10.5x。真机上仅用 50 条机器人与 300 条人类数据的四类任务平均恢复成功率达 85%,纯机器人基线为 52.5%;去掉 Stop Gradient 会使初始成功率从 80% 降至 70%。

  17. Failure-First · 收录 · 原文 14

    ReferTrack:具身视觉跟踪中先用显式指向再解码路径

    针对当前 Vision-Language-Action(VLA)模型的抽象空间隐变量难以监督、失败原因无法归因的问题,研究者提出 ReferTrack,将具身视觉跟踪拆解为先从候选目录中用单个 Refer-CoT token 选出目标索引、再由 TVBI token 维持目标的显式流程。该框架基于 Qwen3-4B,搭配 YOLO11 加 ByteTrack 检测器和 SigLIP/DINOv2 双编码器,仅用单目前视摄像头就在 EVT-Bench 取得 SOTA:Single-Target Tracking 成功率 89.4%、Distracted Tracking 73.3%。

  18. Failure-First · 收录 · 原文 11

    RL-MACRO:部分可观测下颅骨切开机器人自主磨骨的多模态自适应控制

    Zhang 等人提出 RL-MACRO,一套基于离线强化学习的闭环控制框架,通过融合力与声音信号重建无法直测的工具—组织界面状态,实现颅骨切开术中安全的自主磨骨。该系统用因果 1D-CNN 加 LSTM 从 6-DOF 测力计与麦克风估计温升 ΔT,并用隐式 Q-learning(IQL)驱动切割深度与进给转速的双头策略,避免在线试错风险。在未见样本上温度预测的决定系数 R² 达 0.939,平均绝对误差 1.717°C,牛肋铣削实验进一步模拟皮质骨与松质骨的层间过渡。

  19. CAIS · 收录 · 原文 39

    CAIS 与 Scale AI 发布 Remote Labor Index,衡量 AI 对真实工作的自动化程度

    Center for AI Safety(CAIS)与 Scale AI 发布 Remote Labor Index(RLI),用于测试 AI 能否自动化真实经济中的各类计算机工作项目,覆盖建筑、产品设计、电子游戏开发等职业。RLI 是首个从真实经济中收集计算机工作项目的基准,此前的基准多衡量孤立专门任务上的能力,无法反映 AI 对经济的影响。结果显示当前 AI 智能体只能完全自动化极少数工作项目,最强智能体在 RLI 上的自动化率仅为 2.5%,但呈稳步提升趋势。

  20. CAIS · 收录 · 原文 20

    AI Safety Newsletter #66:评估前沿模型、Gemini 3 Pro 与 Claude Opus 4.5 登场、联邦抢占州级 AI 立法卷土重来

    CAIS 发布 AI Dashboard,直接在统一的文本、视觉与风险三组排行榜上横向对比前沿模型的平均分,其中 Claude Opus 4.5 在最安全的六项高风险行为测试中取得最低均分 33.6(0–100,越低越安全)。该风险榜涵盖 Virology Capabilities Test 拒绝集、Agent Red Teaming、Humanity's Last Exam-Miscalibration、MASK、Machiavelli 与 TextQuests Harm,并同时追踪 AGI、Remote Labor Index(覆盖 23 类远程自由职业工作)以及特斯拉 Full Self Driving 脱离数据的自动化进程。