跳到正文

全部动态

今天新收录 596条

第10页更新的内容回到最新

今天10月13日周二
  1. Failure-First · 收录 · 原文 新闻43

    EmbodiedGovBench:面向具身 Agent 系统治理、恢复与升级安全的基准(原文,在新标签页打开)

    研究者提出 EmbodiedGovBench,用于评测具身 Agent 系统在执行任务时是否仍受治理约束,而不只看任务成功率。该基准把可治理性拆成未授权能力调用、运行时漂移鲁棒性、恢复成功率、策略可移植性、版本升级安全、人类接管响应和审计完整性七个维度,并用扰动算子与 Governance Judge 对照合法性集合,判定系统是否治理失效。在四个架构不同的系统对比中,受治理增强的规划器任务成功率降至 69.6%,低于无治理系统的近 90%;基于 Code-as-Policies 的规划器约 30% 的情况下通过复杂组合绕过被禁止的能力。文中称这些要求与 EU AI Act 对高风险机器人和可审计日志的规定、NIST 风险管理框架相呼应。

  2. Failure-First · 收录 · 原文 新闻22

    AI 安全日报:物理 AI 四阶段成熟度分类获行业共识,OpenAI 转 PBC 后安全否决权失去清晰汇报线(原文,在新标签页打开)

    物理 AI 的四阶段成熟度分类已获行业共识,数字孪生成为规模部署的硬性前提,物流仓储属已规模化的第一阶段。OpenAI 2025 年 5 月从非营利转为 PBC,Mission Alignment 团队解散使其安全否决权不再有清晰的汇报线。AEGIS/VLSA 在 SafeLIBERO 上用控制障碍函数实现 +59.16% 避障、+17.25% 任务成功率。

  3. Failure-First · 收录 · 原文 新闻20

    SpaceMind:面向自主在轨服务的模块化自演化具身视觉语言智能体框架(原文,在新标签页打开)

    SpaceMind 是面向自主在轨服务的模块化、可自演化具身视觉语言模型(VLM)智能体框架,采用技能层、VLM 决策核心、MCP 工具层与接口层四层架构,经 192 次闭环运行验证。在 135 次评估运行中,Standard 模式对可见合作目标的标称交会成功率达 100%,但横向偏移或光照退化下搜索成功率降为零,Prospective 模式在退化视觉条件下搜索更稳健。在 New Horizons 测试组,智能体经一次失败回合反思后成功率从 0% 升至 100%,巡检分数由 12 提升至 59。

  4. Failure-First · 收录 · 原文 新闻50

    HomeSafe-Bench:评测视觉语言模型对家庭场景具身智能体不安全动作的检测(原文,在新标签页打开)

    Pu 等人的论文提出 HomeSafe-Bench,用于评测视觉语言模型能否实时检测家庭场景中具身智能体的不安全动作,并给出 HD-Guard 分层双脑架构。基准覆盖厨房、浴室和客厅场景,涵盖热、化学、机械和电气等危害类型,提供流式与离线两种评测模式。论文称 GPT-4o 和 Gemini-2.5 级别的前沿模型在流式条件下会漏掉相当比例的不安全动作,且对动作前兆的检测比事后结果分类更难。HD-Guard 由 FastBrain 高召回触发、SlowBrain 复核,准确率优于单模型方案,但 FastBrain 召回率仍是瓶颈,85% 的召回意味着每六个危险序列就有一个未触发警报。

  5. Failure-First · 收录 · 原文 新闻44

    DR³-Eval:迈向真实且可复现的深度研究评测(原文,在新标签页打开)

    研究者提出 DR³-Eval,一个面向深度研究 Agent 的可复现评测基准,用静态沙箱语料替代实时网页。每个任务平均包含 465.5 个网页,借助 Gemini-2.5-Pro 以“发散-收敛”方法区分信号与噪声页面,任务通过率为 35.7%。基准覆盖中英文各半、13 个领域,数据中 45.98% 为文档、27.68% 为图像、13.84% 为视频。评测采用信息召回、事实准确性、引用覆盖、指令遵循和深度质量五个维度,由 GPT-5.1 担任主要评判。测试 Claude Sonnet 4、GPT-4.1 和 Gemini-2.5-Pro 发现,上下文从 32k 增至 512k tokens 时性能下降,部分模型指令遵循得分高但事实准确性差。

  6. Failure-First · 收录 · 原文 新闻40

    论文《自己做自己的红队》:用自博弈与反思式经验回放实现安全对齐(原文,在新标签页打开)

    Wang 等人提出一种自博弈强化学习框架,让同一个 LLM 同时扮演攻击者和防御者,自行生成越狱提示词并据此更新自身的安全对齐。系统用反思式经验回放积累攻防经验,并用 UCB 采样把攻击策略选择当作多臂老虎机问题,探索未被充分利用的攻击向量,避免攻击者收敛到少数有效提示。论文报告在 Llama-3-8B 上攻击成功率从约 42% 降到约 11%,Mistral-7B 从约 38% 降到约 9%,Vicuna-13B 从约 47% 降到约 14%,并在 HarmBench、AdvBench 等留出基准上验证泛化。作者称该循环受限于模型已有的攻击知识,是外部红队的补充而非替代。

  7. Failure-First · 收录 · 原文 新闻22

    RAD-2:在生成器-判别器框架中扩展强化学习(原文,在新标签页打开)

    RAD-2 提出在生成器-判别器框架中扩展强化学习,面向自动驾驶运动规划,将扩散轨迹生成器与经 RL 优化的判别器解耦结合,以改善纯模仿学习在闭环驾驶中的因果混乱。它引入 TC-GRPO,通过轨迹复用、组内优势标准化和安全/效率多目标奖励缓解信用分配问题,并用 BEV-Warp 在 BEV 特征空间扩展 RL 训练。

  8. Failure-First · 收录 · 原文 新闻22

    AI Safety Daily:金融域安全对齐难迁移,Tesla FSD 的 NHTSA 调查扩至 9 起事件(原文,在新标签页打开)

    Failure-First 的 AI 安全摘要称,文本层安全对齐无法迁移到金融等专业领域,攻击者可用学术压力测试、合规研究等专业措辞绕过 token 级过滤。该摘要提出风险调整危害分 RAHS,量化披露严重度、缓解信号与评审一致性,并明确免责声明不降低合规评分。Tesla FSD 的 NHTSA 工程分析记录事件从 4 起增至 9 起(含 1 起致死),焦点为强光、雾、扬尘下的摄像头失效。

  9. Failure-First · 收录 · 原文 新闻31

    Santos 等提出用自然语言反馈在线更新机器人安全表征(原文,在新标签页打开)

    Santos 等提出用自然语言反馈在线更新机器人安全表征的框架,用户口头下达约束后,机器人会持久更新安全控制器。方法用 VLM 结合视觉观测将语言接地为空间区域,以 HJ 可达性分析学习值函数,并用 warm-starting 实现在线更新。仿真和实体机器人实验显示机器人能遵守部署后口头告知的新安全约束,但 VLM 接地在歧义语言或杂乱场景下可能静默失败。

  10. Failure-First · 收录 · 原文 新闻47

    超越「抱歉,我不能」:拆解大语言模型的拒答机制(原文,在新标签页打开)

    论文用稀疏自编码器(SAE)分析 Gemma-2-2B-IT 与 LLaMA-3.1-8B-IT 的拒答行为,发现拒答并非单一属性,而是由多层冗余神经特征构成。作者先定位区分有害与良性提示的拒答方向这一线性子空间,再用贪心过滤压缩到最小特征集,并用因子分解机刻画特征之间的非线性交互。结果显示,部分特征在更早特征被抑制之后才激活,形成级联式冗余防御,压制单一拒答方向可能触发备用特征而非完全绕过安全机制。作者据此提出直接检查拒答特征是否存在、连接是否完好、是否稳定的结构化审计思路,并讨论将该方法迁移到 VLA 等具身智能体动作门控的可行性。研究仅覆盖两个较小的开源模型,非线性分析为近似,且未用大规模消融实验验证因果。

  11. Failure-First · 收录 · 原文 新闻39

    AI Safety Daily:OpenAI 悬赏 2.5 万美元征集 GPT-5.5 通用生物越狱提示词(原文,在新标签页打开)

    OpenAI 于 4 月 23 日宣布 GPT-5.5 生物漏洞赏金计划,面向有 AI 红队、安全或生物安全经验的研究者,征集一条能在干净对话中通过全部五道生物安全题且不触发审核的通用越狱提示词,首个真正通用者奖励 2.5 万美元,部分成果由 OpenAI 酌情给奖。测试范围仅限 Codex Desktop 中的 GPT-5.5,不含 API 和 ChatGPT 网页版;申请期为 4 月 23 日至 6 月 22 日,测试期为 4 月 28 日至 7 月 27 日,所有提示词、补全和发现均受 NDA 约束。同日 OpenAI 发布 GPT-5.5 System Card,称发布前完成了完整安全与准备度评估、内外部红队测试、针对高级网络与生物能力的定向测试,并收集了近 200 家早期访问伙伴的反馈。

  12. Failure-First · 收录 · 原文 新闻52

    弱到强越狱:小型不安全模型可越狱大型对齐模型(原文,在新标签页打开)

    加州大学圣巴巴拉分校、清华大学与 Sea AI Lab 的论文提出弱到强越狱攻击,用一个刻意不安全的小型 7B 模型引导大型对齐模型输出有害内容,且无需访问目标模型权重。论文发现对齐模型与被越狱版本的解码分布主要在回复的初始 token 上出现分歧,于是用不安全小模型与对齐小模型的 log 概率差作为修正信号,在推理时加到大型对齐模型的下一 token 概率上。针对 70B 目标模型,该攻击约增加 20% 计算开销,并在来自三家机构的五个模型上取得一致的越狱成功率,且可跨模型家族迁移。作者提出的初步防御是监测推理时输出分布的分歧,但承认在修正信号较小或 logit 级监测成本过高时效果有限。

  13. Failure-First · 收录 · 原文 新闻24

    论文主张:深度学习将出现自己的科学理论 Learning Mechanics(原文,在新标签页打开)

    论文主张深度学习将出现一门可预测的科学理论,作者称之为 Learning Mechanics。文中列出五类支撑进展:Deep Linear Networks、Kernel Regression 等可解设定,Mean-Field 无限宽极限,Neural Scaling Laws 与 Edge of Stability 等宏观规律,以 μP 为核心的超参数理论,以及不同架构收敛到相似内部表示的 Platonic 普适性。作者还区分 lazy 与 rich 两类训练阶段,提出 Discretization Hypothesis,并称 μP 支撑的 μTransfer 可把小模型调好的超参数零样本迁移到大模型。

  14. Failure-First · 收录 · 原文 新闻50

    SafetyALFRED:评估多模态大语言模型的安全意识规划(原文,在新标签页打开)

    密歇根大学和博伊西州立大学的研究者发布 SafetyALFRED 基准,用于评估多模态大语言模型在具身场景中的安全意识规划。该基准在 ALFRED 家务机器人环境上加入电气、火灾、滑倒、有毒物质、锐器误用和过热六类厨房危险,并区分问答模式与具身规划模式。测试的 11 个模型来自 Qwen、Gemma 和 Gemini 系列,模型在问答中识别危险的准确率尚可,但转为纠正性行动时缓解成功率常下降一半以上。作者称这是显著的对齐差距,并指出程序顺序错误、任务优先压过安全步骤、有毒物质与电气危险识别偏低等失败模式,基准代码与数据集已在 GitHub 开源。

  15. Failure-First · 收录 · 原文 新闻22

    AI Safety Daily:GPT-5.5 生物漏洞赏金首波反响与 CHAIN 基准结果(原文,在新标签页打开)

    GPT-5.5 生物漏洞赏金这项 $25K 通用越狱悬赏公布一天后,应用红队、披露规范研究者与生物安全政策圈给出三类反应。CHAIN 基准在 GPT-5.2、OpenAI-o3 与 GPT-5.5 上仍为 0.0% 一次性 Pass@1,GPT-5.2 空间堆叠从交互式 31.2% 降至 9.1%。F41LUR3-F1R57 称正筹备周末提交申请,测试窗口 4 月 28 日开启。

  16. Failure-First · 收录 · 原文 新闻49

    面向特定领域 Agent 的符号护栏:在不牺牲效用的前提下提供更强的安全与安保保证(原文,在新标签页打开)

    一篇论文提出用符号护栏为特定领域 Agent 提供形式化安全保证,作为训练对齐与神经护栏的补充层。作者系统审查了 80 个前沿 Agent 安全与安保基准,发现 85% 的基准缺少具体策略,仅依赖欠明确的高层目标或隐含常识;在明确给出策略的基准中,74% 可由符号护栏强制执行。符号护栏拦截工具调用与动作输出,对照形式化策略规范检查并阻止或重定向不合规动作,作者称其常用简单低成本机制而非昂贵的 LLM 推理。作者在 τ²-Bench、CAR-bench 和 MedAgentBench 三个基准上做了实证评估,结果显示符号护栏提升了安全与安保指标,同时任务成功率保持不变,被强制执行的策略违规被消除。论文同时指出,依赖上下文、概率风险评估或开放式危害判断的策略不在符号方法范围内,可形式化策略中无法符号执行的 26% 可能包含部分最关键的安全场景。

  17. Failure-First · 收录 · 原文 新闻34

    Reasoned Safety Alignment(ReSA):用 Answer-Then-Check 实现越狱防御(原文,在新标签页打开)

    Cao 等人提出 Reasoned Safety Alignment(ReSA):模型在 Answer-Then-Check(ATC)范式下先生成候选回答、再自评是否违反安全策略,然后输出或修改,以此防御越狱。该方法用含草稿回答、安全反思与最终输出的 ReSA 数据集监督微调,在 MMLU、MATH500 和 HumanEval 上保持通用推理能力,并报告过度拒答率低于基线安全微调模型。论文将 ATC 指向具身 AI 安全,并留下其在多轮交互与长时程任务上如何扩展的开放问题。

  18. Failure-First · 收录 · 原文 新闻43

    LIBERO-X:视觉-语言-动作模型的鲁棒性试金石(原文,在新标签页打开)

    LIBERO-X 是一个面向视觉-语言-动作(VLA)模型的新评测框架,旨在解决现有基准因评测协议不足而难以反映真实分布偏移的问题。它采用分层评测协议,围绕空间泛化、物体识别和任务指令理解三项能力逐级增加难度,并通过人类遥操作采集高多样性演示数据,让同一场景布局对应多种操作目标,以打破训练与评测之间的分布坍缩。作者称在累积扰动设置下,代表性 VLA 模型的性能显著下降,在单一扰动或干净评测中看似有能力的模型,会在场景理解与指令落地上暴露持续弱点。作者发布了基准环境、训练数据集与评测代码,并提出后续可将对抗扰动纳入评测层级。

  19. Failure-First · 收录 · 原文 新闻39

    面向视觉-语言-动作模型的注意力引导分块稀疏对抗攻击(原文,在新标签页打开)

    Zhang 等人提出 ADVLA 框架,通过在视觉-语言-动作(VLA)模型的文本特征空间注入稀疏对抗扰动来干扰其动作预测。该框架用模型自身的注意力图挑选对动作影响最大的图像块,只对 Top-K 位置加噪,并把扰动幅度限制在 L∞ 范数内,使改动在视觉上难以察觉。作者称这种攻击计算成本低,可跨不同提示词和任务上下文迁移,单个对抗图像即可在多种指令下引发失败。文章指出 VLA 的防御研究落后于攻击,建议在文本特征空间做对抗训练、注意力平滑和集成动作验证,并把对抗鲁棒性测试纳入实体 AI 部署的安全认证。论文可在 arXiv 查看。

  20. Failure-First · 收录 · 原文 新闻34

    AI 安全日报:SafetyALFRED 与 HomeGuard 揭示具身智能体能识别危险却难以纠正行动(原文,在新标签页打开)

    SafetyALFRED 与 HomeGuard 两个新基准显示,具身智能体能识别危险,却在需要纠正行动时退回任务完成目标。SafetyALFRED(4 月 21 日)在 ALFRED 家务规划基准上加入安全标注任务,要求暂停、改道或标记危险步骤;多模态 LLM 危险识别得分高但纠正行动表现不佳。HomeGuard(2026 年 3 月)则在动作执行前用上下文引导的思维链生成空间约束,经强化微调后碰撞避免与任务完成优于基线 VLM。

  21. Failure-First · 收录 · 原文 新闻42

    FailSafe:视觉-语言-动作模型的失败推理与恢复(原文,在新标签页打开)

    FailSafe 提出一套让视觉-语言-动作(VLA)模型从操作失败中推理并恢复的方法,由失败生成器和恢复执行器两部分组成。失败生成器在任意物理模拟器中沿任务轨迹程序化注入滑脱、提前释放、错位等扰动,生成兼具多样性和可执行性的失败数据;恢复执行器是基于 LLaVA-OneVision-7B 微调的 FailSafe-VLM,接收扰动后的视觉状态与原始任务指令,输出恢复动作序列。在 ManiSkill 模拟器上,FailSafe-VLM 使 pi0-FAST 的平均任务成功率提升 22.6%,并在 OpenVLA 和 OpenVLA-OFT 上取得改进。该方法以模块化方式插入基础 VLA 的执行循环,无需改动基础模型,并在不同空间配置、相机视角以及物体与机器人形态上测试了迁移。目前验证限于仿真,尚未在真实硬件上测试。

  22. Failure-First · 收录 · 原文 新闻34

    C-ΔΘ:用电路受限的权重算术实现选择性拒答(原文,在新标签页打开)

    C-ΔΘ 提出把选择性拒答从推理时护栏改为一次性离线权重编辑:先用 EAP-IG 定位负责拒绝某类输入的稀疏电路,再把权重更新 ΔθC 限制在该电路内,拒答目标类别而不改变其他类别回答,受影响参数通常不到模型总参数的 5%。该方法称可避免护栏被运行时绕过,并可能扩展至多模态与具身系统;论文称完整数值结果与泛化验证尚未给出。

  23. Failure-First · 收录 · 原文 新闻52

    研究称启发式判分让 AI 安全评测的攻击成功率虚高 80 多个百分点(原文,在新标签页打开)

    F41LUR3-F1R57 研究项目对 5 个前沿模型、498 条评测轨迹做队列研究,发现启发式判分报告的平均攻击成功率为 86.0%,而 FLIP 判分(从模型回答反推它实际遵循的指令)只有 1.4%,相差 84.2 个百分点,两种方法的平均 Cohen's kappa 为 −0.001,属随机水平一致。评测使用每个模型 100 个时间洗白场景,即声称未来某个日期规则不再适用以绕过安全约束,判分模型为通过 Ollama 运行的 deepseek-r1:8b。分模型看,gemma4:31b 与 gpt-oss:120b 的 FLIP 严格攻击成功率均为 0.0%,glm-5 与 deepseek-v3.2 为 1.0%,kimi-k2-thinking 为 5.1%,而启发式判分对应为 80.0%、90.0%、80.0%、91.0% 和 88.8%。

  24. Failure-First · 收录 · 原文 新闻32

    VLA 安全首份统一综述发布,梳理七类攻击面与防御缺口(原文,在新标签页打开)

    VLA 安全首份统一综述发布,按数据、模型、部署三层归纳出七类攻击面:数据投毒、对抗补丁、跨模态扰动、语义越狱、冻结攻击、后门与认证缺口,指出现有防御无法覆盖全部层。AttackVLA 借 action tokenizer 路径植入定向后门,在 LIBERO 上定向成功率高且不损干净输入表现,逐步骤安全检查拦不住轨迹级操纵。

  25. Failure-First · 收录 · 原文 新闻43

    Safe Unlearning:一种意外有效且可泛化的越狱攻击防御方案(原文,在新标签页打开)

    一篇论文提出 Safe Unlearning,主张对模型权重中特定有害知识做定向遗忘,从而泛化防御多种越狱提示。该方法仅使用 20 条原始有害问题训练,在包裹复杂越狱提示的分布外测试集上把 Vicuna-7B 的攻击成功率从 82.6% 降到 7.7%;相比之下,用约 10 万条安全对齐样本训练的 Llama2-7B-Chat 即使加上安全系统提示,攻击成功率仍有 21.9%。论文分析认为,不同越狱提示诱发的有害回答在结构与隐空间表征上高度相似,遗忘一处有害知识会连带覆盖语义相近的请求。材料还指出,只训练拒答相当于在完整有害知识之上叠加一层表层行为,并认为这一思路或可迁移到具身 AI 的 VLA 模型,针对动作层表征而非表层指令遵循做遗忘。

  26. Failure-First · 收录 · 原文 新闻27

    VLA 模型解剖综述:从模块到里程碑与挑战(原文,在新标签页打开)

    《VLA 模型解剖》综述把 VLA 研究归纳为表示、执行、泛化、安全、数据集与评测五大相互关联的挑战,并把安全列为支柱之一而非附录。综述指出 VLA 从视觉编码器继承对抗脆弱性,物理世界扰动即可令机器人操作任务失败率最高达 100%,多模态融合还引入了跨模态错位攻击面。作者认为当前基准只测任务完成率、不衡量安全相关行为,呼吁发展 IS-Bench、SafeAgentBench 等安全感知基准。

  27. Failure-First · 收录 · 原文 新闻36

    AI Safety Daily 2026 年 4 月 27 日:单轮安全评测无法预测多轮攻击效果(原文,在新标签页打开)

    AI Safety Daily 2026 年 4 月 27 日汇总三篇论文,指出单轮安全评测无法预测多轮攻击效果。X-Teaming(Rahman 等,2025 年 4 月)是生成自适应多轮对话攻击的多智能体红队框架,在被评估模型上多轮攻击成功率接近 98%,明显高于同一批模型的单轮尝试,并产出多轮安全训练数据集 XGuard-Train。JailbreaksOverTime(Piet 等,2025 年 4 月)发现静态越狱检测器在攻击分布随时间漂移时假阴性率上升,建议把越狱检测当作持续学习问题而非一次训练完成的分类任务。AJAR(Dou 与 Yang,2026 年 1 月)把红队测试扩展到通过 MCP 运行的自主 Agent,发现围绕 Agent 构造角色扮演上下文的攻击策略随 Agent 认知负荷升高而效果下降,并指出协议驱动的认知编排是单智能体评测未覆盖的一类攻击。

  28. Failure-First · 收录 · 原文 新闻50

    用大语言模型做具身规划会带来系统性安全风险(原文,在新标签页打开)

    论文提出的 DESPITE 基准在 12,279 个任务、23 个模型上发现,大语言模型的规划能力与安全意识基本不相关。规划能力最好的模型仅在 0.4% 的任务上无法给出有效计划,却仍有 28.3% 的计划具有危险性。在 3B 到 671B 的 18 个开源模型中,规划能力随规模从 0.4% 提升到 99.3%,安全意识仅从 38% 升到 57%。三个专有推理模型的安全意识在 71% 至 81% 之间,非推理专有模型则低于 57%。基准覆盖物理危险与规范性危险两类风险,评估完全确定性,作者据此认为需要专门的安全训练而非单纯扩大规模。

  29. Failure-First · 收录 · 原文 新闻54

    拒答断崖:安全对齐如何在推理模型中失效(原文,在新标签页打开)

    一项机制分析发现,推理模型在思考链的大部分环节都能识别有害提示并保持较高的拒答意图,但在输出生成前的最后几个 token,拒答分数会骤降至接近零,作者将这一现象称为拒答断崖,并认为只检查思考轨迹的评测会给出虚假的安全印象。因果干预显示,这种压制由少量注意力头驱动,消融与拒答行为负相关最强的 3% 注意力头可将攻击成功率降至 10% 以下。作者据此提出 Cliff-as-a-Judge 数据筛选方法,只挑选断崖最大的样本微调,用 1.7% 的标准安全训练数据即可获得与全量数据相当的安全提升。文章还推断,若同样机制出现在动作生成头中,具备长行动链的 VLA 智能体可能全程规划安全,却在最后一步执行危险动作。

    推荐理由研究把推理模型在最后时刻放弃拒答的现象定位到少量注意力头,并给出仅用 1.7% 数据即可达到全量安全训练效果的筛选方法。

  30. Failure-First · 收录 · 原文 新闻17

    CBC-SLP:在模态缺失或完整下通过结构化潜在投影实现鲁棒多光谱语义分割(原文,在新标签页打开)

    CBC-SLP 通过结构化潜在投影实现模态缺失或完整下的鲁棒多光谱语义分割,其架构将潜在表示分解为共享潜在空间与多个私有潜在空间,并用二进制可用性掩码进行乘法门控。在 DSTL、Potsdam、Hunan 三个基准上,全模态 IoU 分别达 0.903、0.766、0.659,均高于 CMX 与 MMANet;仅 DEM 可用的 Hunan 场景下 IoU 为 0.510。

  31. Failure-First · 收录 · 原文 新闻32

    AI Safety Daily(4月28日):间接提示注入普遍存在,skill 文件攻击对前沿模型成功率最高达 80%(原文,在新标签页打开)

    AI Safety Daily(4月28日)汇总三篇智能体攻击面研究:Dziemian 等的公开红队竞赛发现,覆盖编码、工具调用与记忆等场景的 LLM 智能体普遍存在间接提示注入漏洞,且攻陷不体现在最终回答中,输出监控无法察觉。Schmotz 等的 Skill-Inject 测得 skill 文件攻击对前沿模型成功率最高达 80%,同类指令在直接提示中会被拒答。Jiang 等的 AgentLAB 表明,意图劫持、工具链与目标漂移等跨多步攻击使只防单步注入的防御系统性失效。

  32. Failure-First · 收录 · 原文 新闻42

    视觉-语言-动作安全:威胁、挑战、评测与机制(原文,在新标签页打开)

    Li 等人的 VLA 安全综述把机器人学习、对抗机器学习、AI 对齐与自主系统安全的研究整合为一个以时机为核心的框架,攻击与防御各分训练时和推理时两类。训练时攻击包括数据投毒和 BackdoorVLA、DropVLA 等后门;推理时攻击包括对抗贴片、跨模态扰动、语义越狱和动作冻结。防御方面,训练时的认证训练、对抗增强与数据溯源保证更强但难以应对部署后发现的新攻击,推理时的异常检测、运行时监控与控制屏障函数更自适应但受实时延迟约束。综述指出多数攻击论文只在仿真中评估,指标只统计任务成功率而忽略失败模式,并把已知漏洞映射到家庭操作、工业装配、手术机器人、自动驾驶、人机协作和无人机导航六个领域,最后提出认证鲁棒性、物理可实现防御等五个开放问题。

  33. Failure-First · 收录 · 原文 新闻33

    ARMOR:通过细致推理实现大语言模型的安全对齐(原文,在新标签页打开)

    ARMOR 是一种推理时运行的安全层,先识别提示词中的越狱策略,再提取真实意图,最后依据明确的安全政策输出带推理轨迹的拒答判定。作者 Zhao 等人用对抗后缀、角色扮演和组合式攻击评测,称其在 GPT-4 级模型上显著降低攻击成功率并保持任务有用性,同时减少了对合法边缘请求的过度拒答。该方法的策略检测阶段会带来延迟开销,作者建议与表示层监控等互补防御叠加使用。

  34. Failure-First · 收录 · 原文 新闻34

    Failure-First AI Safety Daily:机制可解释性转向可操作干预,推理模型存在“拒答悬崖”(原文,在新标签页打开)

    机制可解释性正从描述内部结构转向指导安全干预。Zhang 等人的综述《Locate, Steer, and Improve》提出定位、引导、改进三步框架;Yin 等人发现推理模型存在“拒答悬崖”,据此提出 Cliff-as-a-Judge 数据选择法;Luo 等人的 CRAFT 在 Qwen3-4B-Thinking 与 R1-Distill-Llama-8B 上取得优于仅用 RLHF 基线的安全表现,同时保留推理能力。

  35. Failure-First · 收录 · 原文 新闻48

    面向具身视觉导航的可物理实现对抗攻击(原文,在新标签页打开)

    一篇论文提出面向具身视觉导航的物理对抗攻击框架,通过在普通物体上贴对抗贴片,平均降低导航成功率 22.39%,且无需访问智能体的数字输入。该方法用多视角纹理优化和两阶段不透明度调优,使贴片在不同视角下有效、对人眼不显眼,攻击目标是导航系统的感知模块。作者公开了代码,可用于对抗训练等防御。论文还指出,当前具身 AI 评测多在仿真干净条件下进行,难以暴露这类物理攻击。

  36. Failure-First · 收录 · 原文 新闻44

    LlamaFirewall:构建安全 AI Agent 的开源护栏系统(原文,在新标签页打开)

    Meta 开源了 LlamaFirewall,一个面向 AI Agent 的运行时护栏框架,针对三类风险各部署一层护栏。PromptGuard 2 在输入进入 Agent 核心推理前检测越狱与直接提示注入,论文称其在越狱检测基准上达到 SOTA;Agent Alignment Checks 审计 Agent 自身的思维链推理,以发现间接提示注入和目标偏离,论文作者称其仍属实验性,但在通用 Agent 场景下防止间接注入的效果强于此前方法;CodeShield 是实时静态分析引擎,在代码执行或提交前标记硬编码凭证、不安全系统调用和 SQL 注入等问题。框架定位为模型微调与系统提示词之后的最后一道防线,并提供可自定义的扫描器接口,允许开发者用正则表达式或 LLM 提示词添加领域特定检查。

  37. Failure-First · 收录 · 原文 新闻27

    Rule-VLN:以语义推理与几何校正衔接 VLN 的感知与合规(原文,在新标签页打开)

    研究者提出城市 VLN 基准 Rule-VLN 及即插即用的语义导航校正模块 SNRM,让智能体从「能不能走」转向「可不可以走」。Rule-VLN 基于 CityNav-Rules 数据集(超 73k 样本),使用 29,000 个真实城市影像节点,覆盖 177 类监管规则。SNRM 无需重训即可接入冻结的导航策略,实验使约束违反率降低 19.26%、任务完成率提升 5.97%。

  38. Failure-First · 收录 · 原文 新闻26

    AI Safety Daily:拒绝悬崖与 SafetyALFRED 识别-行动差距被归为同一失效模式(原文,在新标签页打开)

    AI Safety Daily 4 月 30 日刊把推理模型的"拒绝悬崖"与 SafetyALFRED 的"识别-行动差距"归为同一失效模式:对齐知识已在模型内部,却未能在输出边界转化为拒答。Yin 等报告的拒绝悬崖中,拒绝意图可在推理轨迹中测得,却在输出生成前特定晚期注意力头位置崩塌;SafetyALFRED 的规划器能识别危险指令仍照常执行。该刊主张按"识别与行动是否一致"评分推理轨迹,用于 VLA 或推理 VLM 系统的上市后监测。

  39. Failure-First · 收录 · 原文 新闻48

    RedAgent:用上下文感知的自主语言智能体对 LLM 进行红队测试(原文,在新标签页打开)

    RedAgent 是一个把越狱策略抽象为可复用模块的自主红队框架,据论文报告可在少于 5 次查询内攻破多数被测黑盒 LLM,速度约为既有方法的 2 倍。它由红队智能体按部署上下文选择、组合攻击策略,生成候选提示词、评估模型回复并更新持久记忆,从而在会话中自适应调整。论文称在 GPT Store 的 50 个自定义 GPT 应用上,RedAgent 平均每个漏洞仅用约 2 次查询就发现 60 个严重漏洞。论文还称输入过滤、输出分类乃至 constitutional prompting 等现有防御在攻击内容嵌入合法上下文时失效,作者已将发现报告 OpenAI 和 Meta,方法公开而具体提示词未公开。

  40. Failure-First · 收录 · 原文 新闻29

    Failure-First 立场文章:以可恢复性作为具身智能体评估轴(原文,在新标签页打开)

    Failure-First 在立场文章中主张,仅用任务成功率评估具身智能体会把可恢复失败与不可逆失败混为一谈,并提出以可恢复性作为评估轴。可恢复性被定义为智能体-环境-任务三元组的属性,即在错误发生后仍存在后续动作序列、使原任务可继续达成的轨迹比例。文章提出把失败分层为可恢复、不可逆无害、不可逆有害,并用带 oracle 错误信号的反事实 rollout 估计恢复率;这是概念提案,尚未大规模验证。