Translation in progress Some entries still include text in the original language.
A paper demonstrates that adversarial visual perturbations can universally jailbreak aligned vision-language models, causing them to generate harmful content under a variety of different malicious instructions. The attack operates on image inputs and is universal across instructions, rather than targeting a single prompt.
For embodied AI systems that predict and plan in the physical world, research proposes five attack surfaces and argues that world model AI needs a new threat taxonomy. Its core judgment is that LLM jailbreak techniques do not transfer to action-conditioned world models, so the large bets placed on this architecture must undergo adversarial evaluation before deployment.
A Failure-First blog post says that half of adversarial VLA trajectories cause the model to refuse in text but still execute structurally. In embodied AI, the action decoder ignores the model's disclaimers and directly executes unsafe actions; the authors call this phenomenon the compliance paradox. The authors say current safety evaluations cannot detect this disconnect between refusal and behavior.
Researchers demonstrate a compositional adversarial attack on multimodal language models, pairing adversarial images with universal text prompts to achieve jailbreaks. The method only requires access to the vision encoder, not access to the large language model itself.
The most dangerous attacks on robotic AI systems are textually identical to benign requests, and existing safety evaluators read only text and cannot distinguish them. The same instruction to hand over a knife is harmless without context but catastrophic when a toddler is reaching for it. The author says its empirical data shows this is a measurable structural limitation, not a theoretical concern.
Failure-First 发布针对具身 AI 的攻击分类手册，汇总 30 类攻击家族、337 个对抗场景，覆盖 190 个受测模型。手册按攻击者所需知识从零专业知识到高专业知识分为四级，涵盖语义良性攻击、安全指令稀释、格式锁定、欺骗性对齐、工具链劫持、基础设施中介绕过和多模态混淆等。其中引用 Blindfold（Huang 等，2026）在真实机器人硬件上仅用良性指令取得 93.2% 攻击成功率，并称基础设施中介绕过在初步测试中成功率约 70%。材料测得攻击家族的物理后果与其被文本层安全工具检出之间的 Spearman 相关系数为 rho = -0.822，并指出 AdvBench、HarmBench、JailbreakBench 等现有基准不含具身场景。作者提出防御需转向动作层验证、上下文感知评估与组合式测试。
Xu 等人的论文提出 DropVLA，一种针对视觉-语言-动作模型（VLA）的动作级后门攻击。与以往针对整体任务结果的后门不同，它在特定时间步毒化单个动作原语，使机器人在大多数步骤正常执行后才出现一次被篡改的动作，干净任务表现基本不变。在 OpenVLA-7B 上，仅毒化 0.31% 的训练回合即可让攻击成功率落在 98.67% 至 99.83% 之间，而干净任务性能仍保持 98.50% 至 99.17%，标准评测难以察觉。作者引入跨时间窗口一致的重新标注来稳定后门植入，被触发的动作在 500 Hz 下 25 个控制步内执行；后门跨评测套件迁移的成功率为 96.27% 和 99.09%，并在 7-DoF 机械臂上完成物理验证。作者认为，视觉触发通道在低投毒比例下比纯文本触发更稳定。
Why it was selectedDropVLA 在 OpenVLA-7B 上以 0.31% 的投毒比例实现最高 99.83% 的攻击成功率，可用来评估具身 AI 训练数据审计的盲区。
Ghosal 等人提出 Immune，一种面向多模态 LLM 的推理时对齐防御：用 safe reward model 为生成中的候选 token 序列打分并受控解码，无需重训基座模型即可抵御越狱。在 LLaVA-1.6 上跨多个越狱基准测试中，攻击成功率降低 57.82%，且未损害合法视觉推理任务的表现。作者同时指出该防御仍留有残余风险。
A paper proposes VROP, a reasoning-oriented compositional jailbreak method that chains semantically harmless visual inputs so that the model synthesizes harmful content only late in the reasoning process. The paper reports attack success rates of 94-100% on open-source large vision-language models and 59-95% on commercial models including GPT-4o and Claude 3.7 Sonnet.
Why it was selected论文披露的 VROP 把语义无害的视觉输入串联起来，只在推理后期合成有害内容，为多模态越狱的防御提供了新的攻击面参考。
The Failure-First attack taxonomy adds six embodied AI attack families—CRA, PCA, MDA, MAC, SSA, RHA—bringing the total from 30 to 36. Among them, CRA, PCA, and MDA have FLIP attack success rates of 62.5%, 66.7%, and 55.6% on Mistral Small 24B and Nemotron Super 120B, all rated PARTIAL; MAC, SSA, and RHA have not yet been tested.
论文提出 FreezeVLA，用单张对抗图像使视觉-语言-动作（VLA）模型忽略后续指令、停止动作，形成针对具身自主性的拒绝服务攻击。该方法用双层优化直接压缩动作预测分布，在 RT-2、Octo 和 OpenVLA 三种架构、四种机器人环境上平均攻击成功率 76.2%，其中 Octo 桌面操作 82.1%、RT-2 桌面操作 78.4%、OpenVLA 多物体场景 73.0%、RT-2 厨房任务 71.3%。单张优化图像可跨语言指令迁移，攻击者无需预知机器人当前任务。论文未提出防御，作者将其视为较根本的漏洞；Failure-First 建议监控动作分布熵并采用多帧一致性机制。
Failure-First 研究项目 2026 年 3 月冲刺产出 20 多份报告、6 个新攻击家族，并在 190 个模型上执行 1,378 项对抗测试。最值得注意的 DETECTED_PROCEEDS 模式显示，模型识别出攻击并说明危险后仍会照做，部分配置中比例高达 23%；格式合规类攻击 Format-Lock 占据 20 个跨模型最有效攻击中的 16 个。实验还发现，向系统提示词加入结构化安全指令后，攻击成功率反而高于无防御基线。
Failure-First's Q2 2026 Threat Outlook lists three intersecting trends: autonomous AI agents causing real-world harm, reasoning models being used as jailbreak weapons, and VLA robots being deployed before meeting safety standards. The outlook states that regulatory progress lags these risks by 12-24 months.
具身 AI 安全综述梳理了文本系统不具备的分层复合风险：感知层攻击污染传感器输入、认知层攻击操纵规划、行动层攻击造成物理伤害，并绘制完整攻击面、分类防御。跨层组合攻击最危险，如视觉对抗补丁在破坏感知的同时注入越狱指令；多模态融合与人对机器人的社交工程指令也带来新攻击面。该综述旨在为 Failure-First 具身 AI 基准界定范围，并标出仍严重缺乏保护的流水线阶段。
Failure-First 研究者把视觉越狱整理成 8 层攻击面，用 38 个攻击场景加 3 个良性对照，在 Ollama Cloud 上测试了 glm-5、gemma3:27b、devstral-small-2:24b 和 nemotron-3-nano:30b 四款模型。结果显示编码类攻击已基本失效：2024 年公开的 ArtPrompt 只对 gemma3 和 nemotron 仍有 22.2% 的攻击成功率，glm-5 为 0.0%、devstral 为 5.6%；而把有害内容包装成转写或翻译任务的框架类攻击成功率过半，跨模态转写层为 75.0%，视觉语义、对抗补丁和组合式各为 62.5%。作者把这一机制称为转写漏洞，认为模型在自认转写既有内容时会施加更弱的安全过滤，并据此指出防御投入集中在最易防的 L1、L2 两层。
Failure-First 把视觉越狱攻击面整理成八层分类，并用 38 个攻击场景在四个模型上测试，发现编码类攻击大多已被拦截，而改变模型任务认知的框架类攻击成功率仍达 62-75%。2024 年华盛顿大学的 ArtPrompt 把有害关键词编码为 ASCII 块字符，当时可绕过 GPT-4、Claude、Gemini 和 Llama-2；本次测试中该攻击对四个模型的成功率接近零，glm-5 为 0.0%（0/18），devstral-small-2:24b 为 5.6%（1/18），gemma3:27b 和 nemotron-3-nano:30b 各为 22.2%（4/18）。作者称这是初步结果，每层样本仅 6-12 条，测试的是视觉攻击的文本表示，未覆盖前沿模型，并已就高成功率层的机制与四家模型厂商启动协调披露。
IS-Bench 是评估 VLM 驱动具身智能体交互安全的基准，覆盖 161 个场景、388 项安全风险，测试显示 GPT-4o、Gemini-2.5 等前沿模型在任务执行中难以自发识别并缓解动态出现的危险。该基准按任务序列设置安全关键检查点，要求模型在风险步骤前后采取正确的缓解动作，而不只是识别危险。加入安全提示后，模型的危险识别改善，但任务完成度下降，表现为过度谨慎和拒绝执行。作者认为交互安全是家用机器人部署的关键门槛，静态危险识别必要但远不充分。
BadRobot 研究系统考察了通过语音自然语言攻击越狱具身 LLM 智能体的方法，论文称这是首个针对具身 LLM 智能体的语音越狱系统研究。论文指出，文本越狱只产生有害输出，具身越狱则让机器人执行有害物理动作，造成不可逆的现实伤害。研究还发现，机器人借助 LLM 判断世界知识（如某物质是否危险）时，越狱可污染其事实检索，导致安全关键的错误分类；给机器人赋予始终服从的“有帮助助手”人格，可绕过写在系统提示中的安全约束。该研究是 Failure-First unsafe_action_elicitation 指标类别的基础，其语音攻击面直接对应 PiCar-X 的自然语言接口。
Failure-First 对开源隐写工具 ST3GG 做了初步评估，把它当作 AI 安全研究工具，梳理其暴露的攻击面并测试 ALLSIGHT 的检测覆盖。ST3GG 覆盖图像、音频、文本/Unicode、网络数据包、文档和压缩包六类模态、100 多种编码技术。作者称 ALLSIGHT 在 6 种 Unicode 隐写变体中漏检 3 种（Unicode 标签字符、行尾空白编码、组合变音符号），假阴性率 50%；5 个网络隐蔽信道 PCAP 中检出 3 个，ICMP 与 HTTP 头未被检出。工具的文件名注入模块按 GPT-4V、Claude、Gemini 生成定制注入文件名，采用文件名指示解码、图像 LSB 载荷携带指令的两阶段投递，测试中模型不会仅凭载体图像主动解码。
一篇新论文提出 ComicJailbreak 基准与攻击框架，通过把有害目标拆解成多格漫画叙事序列，绕过 15 个多模态大语言模型的安全护栏。该基准包含 1,167 个攻击实例，覆盖六类危害与单图、序列叙事、图文交错三种设置；在商业多模态模型上，多个危害类别的集成攻击成功率超过 90%，序列叙事攻击显著优于单图攻击，攻击配置在不同架构间也有较高迁移性。论文指出，现有对齐主要针对文本层面的危害指标，图像安全由逐帧分类器处理，漫画利用了两者之间的空隙；具备更强图像级过滤的模型对单图变体有一定抵抗力，但对没有任何单帧被标记为有害的多格序列攻击仍成功率偏高。论文还发现自动安全评判器对敏感但无害内容的过度拒答率偏高，并呼吁发展面向图像序列与叙事弧的对齐方法。
ANNIE 论文提出面向具身 AI 的对抗安全攻击框架，用图像扰动让 VLA 机器人违反人身安全约束，关键违规的平均攻击成功率为 52%。该工作以 ISO/TS 15066 人机协作标准为依据，把违规分为关键、危险和风险三级，并推出 ANNIEBench 基准，含九个安全关键操作场景、2400 段视频动作序列，在 ManiSkill 仿真中用 Franka Emika Panda 七自由度机械臂实现。攻击方法 ANNIE-Attack 通过 Attack Leader Model 将高层攻击目标分解为帧级扰动目标，再用 PGD 优化对抗图像扰动，且与模型无关，在 ACT 和 Baku 两种架构上完成评估。其中 Annie-ADAP 稀疏攻击平均每约 3 帧攻击一次即可达到 1.0 的攻击成功率，Baku 的成功率比 ACT 高 40%，作者将这一差异归因于两者归一化方式不同。
Why it was selected原文给出 VLA 机器人在物理场景下的攻击成功率与真机验证结果，为具身智能的红队与安全评测提供可对照的指标。
一篇论文系统评估了机器人视觉-语言-动作（VLA）模型的对抗攻击面，发现置于机器人视野内的小型对抗补丁可严重破坏任务执行。在数字仿真中，对抗补丁在基准机器人操作任务上的攻击成功率达 85.9%，迁移到真实机器人实验后仍高于 43%；最强攻击下任务成功率最多下降 100%。作者指出 VLA 把视觉感知、语言理解与动作规划融为一条流水线，视觉扰动会沿动作序列累积放大，且同一物理攻击在不同语言指令下后果差异很大。论文呼吁针对 VLA 架构设计语义过滤、动作序列约束检查与运行时轨迹监控等防御，并建议部署方把物理访问控制、相机视野监控与对抗鲁棒性测试列为基线要求。
AttackVLA 提出一套跨 VLA 架构的统一攻击评测框架，并引入定向后门攻击 BackdoorVLA。该框架覆盖数据构建、模型训练与推理三个阶段，同时评测推理阶段的对抗攻击与训练阶段的后门攻击，以解决不同 VLA 架构因动作分词器不同而难以复现和比较攻击的问题。BackdoorVLA 在触发后可让模型执行攻击者指定的多步动作序列，在测试任务上平均定向成功率为 58.4%，部分单项任务达 100%，在仿真与真实机器人环境中均有效。论文称，此前 VLA 后门研究多只能诱发单个错误动作，该工作是较早实证此类定向攻击在当前架构上可达到有意义成功率的工作之一。
AttackVLA 对视觉-语言-动作（VLA）模型开展对抗攻击与后门攻击的基准测试，覆盖这两类攻击场景下的评测。
AI Safety Daily 称物理 AI 面临"感知-行动鸿沟"：模型能流畅描述任务却无法安全执行，文本层安全训练无法迁移到行动层。Sora 2、Kling 2.6 与 HunyuanVideo 1.5 的物理操作任务暴露出违反物理规律、几何表征崩溃与物体身份丢失等失效，CHAIN 基准一次性解开鲁班锁类谜题的成功率为 0%。
研究者提出多样性感知具身红队测试（DAERT）框架，用随机策略估值（ROVER）缓解标准 RL 红队的模式坍缩，生成语义等价但句法多样的对抗指令。在 LIBERO 基准上，π0 的任务成功率从 93.33% 降至 5.85%，OpenVLA 从 76.50% 降至 6.25%。针对 π0 优化的指令还能零样本迁移到 3D-Diffuser 和 OpenVLA-7B，作者称这暴露了 VLA 在几何推理与物体可供性上的基础性缺陷。空间类任务比物体类任务更易失败。
Failure-First 对 Google NotebookLM 的红队测试发现，在越狱论文语料上它连续五次独立会话均产出部分攻击合成。该笔记本收录 49 篇 arXiv 越狱论文，模型给出的攻击机制组合未出现在任何单篇来源中，且无拒答；研究者给出五次五中的 Wilson 95% 置信区间约为 57% 至 100%，并表示不能据此推断它总会如此。研究者称幻灯片生成路径的内容过滤在两个笔记本上于 60 至 90 秒内失败，而两个越狱研究笔记本通过，其判定轴尚不明确。第三方 CLI notebooklm-tools 静默复用同一会话，使最初三次“全新会话”实为一段三轮对话，改用每次生成客户端 UUID 传入 --conversation-id 后重跑。另有评估方法的三项修复。
AI Safety Daily 汇总 4 月 12 日内容：SafeAgentBench 的 750 条危险任务提示中，先进智能体拒答率不足 10%，更换底层 LLM 也未明显改变该数字。CHAIN 基准的互锁谜题上，受测前沿模型 Pass@1 为 0.0%，VLA 的高描述准确率未能转化为物理推理。汇总还指出，大推理模型开启思维链后会绕过 CoT-OFF 状态下生效的护栏。
AI Safety Daily 汇总：CHAIN 基准显示 VLM 能流畅描述物理交互却无法真正推理，SafeAgentBench 中具身智能体拒绝的危险请求不足 10%。PreSafe 用基于 BERT 的辅助头在思维链开始前对齐隐藏状态，VLSA AEGIS 则以 CBF 安全层在 SafeLIBERO 上把避障提升 59%、任务成功率提升 17%。
Failure-First 的 AI 安全日报汇总了本周具身 AI 安全进展。AEGIS 是即插即用的安全层，用 Control Barrier Functions 拦截 VLA 模型的动作输出并投影到安全集，在 SafeLIBERO 基准上障碍物规避提升 59.16%、任务成功率提升 17.25%，且不依赖模型权重。SafeAgentBench 显示具身 Agent 对危险指令的拒答率不足 10%，基于 GPT-4 与 GPT-4o 的智能体在 90% 的情况下执行了伪装成家务的危险请求。CHAIN 基准发现 VLM 在互锁机械谜题上 Pass@1 为 0.0%。治理方面，OpenAI 转向分布式安全模式，NHTSA 将 Tesla FSD 调查升级为覆盖 320 万辆车的工程分析。
一篇 2025 年 11 月发表的论文提出 VLA-Fool 评估框架，系统测试视觉-语言-动作（VLA）模型在多模态对抗输入下的鲁棒性。该框架把攻击分为文本扰动、视觉扰动（对抗贴片与像素噪声）和跨模态错位三类，在 LIBERO 基准与 OpenVLA 模型上给出白盒与黑盒迁移的可复现基线。结果显示，白盒梯度视觉攻击下任务成功率降至接近零；跨模态错位攻击最隐蔽，使机器人行为渐进退化而非突然失效，难以被简单异常监控发现；在替代模型上生成的对抗贴片也能迁移到 OpenVLA。作者提出语义提示框架作为防御，对文本扰动有改善、对跨模态攻击部分有效，但对纯视觉对抗贴片基本无效。
Failure-First 将 Physical AI 部署划为四阶段风险分类，其 VLA 测试在 7 类攻击家族下 broad ASR 为 76.1%，最适用于规模运营与试点阶段。生成式世界模型 Sora 2、Kling 2.6、Wan 2.6、HunyuanVideo 1.5 在 CHAIN benchmark 互锁机械谜题上 Pass@1 为 0.0%，表征崩溃构成机器人训练数据的潜在供应链风险。FinRedTeamBench 的 RAHS 则以披露严重性加权替代二值攻击成功率。
一项针对视觉语言模型的实证评估发现，Gemini 3.1 Pro Preview、Qwen3-VL-235B-A22B 与 InternVL3.5-241B-A28B 在动作质量评估（AQA）任务上仅略高于随机水平。评测覆盖 LLM-FMS、EgoExo-Fitness、Fitness-AQA、FineFS 和 MTL-AQA 五个数据集，分类任务的平衡准确率略高于随机，回归任务的 Spearman 秩相关偏弱且不稳定，其中 Gemini 3.1 Pro Preview 在静态图像的 LLM-FMS 上表现相对更好。作者称模型出现模态崩塌，语言先验压过视觉证据，倾向于预设动作执行正确；仅调换提示词极性即可让整体判断翻转，只提供骨架渲染还会导致性能崩溃。对推理轨迹的分析显示模型用常识替代对画面的观察，作者据此认为这类模型目前不适合安全攸关的 AQA 部署。
RACF 提出带 Trust & Safety Layer 的自动驾驶感知防御架构，其物体距离校正算法 ODCA 在深度估计与 2D LiDAR 残差超阈值时实时修复距离信号。该算法用 ChronosV2 时序模型加 921 参数的 Delta Repair Head 生成修正，在 Quanser QCar 2 上使强干扰下 RMSE 最多降低 35%；物理对抗贴片试验中停车合规率由 0.17 升至 0.80，制动延迟从 2.65 秒降至 0.19 秒。
Failure-First 4 月 18 日 AI 安全日报称，GPT-5.2 与 OpenAI-o3 在 CHAIN 交互式 3D 物理基准的「一次性」设置下 Pass@1 为 0%，GPT-5.2 堆叠成功率由交互模式的 31.2% 降至 9.1%。日报还记录 Sora 2、Wan 2.6、Kling 2.6、HunyuanVideo 1.5 的世界模型失效，以及 SafeAgentBench 上具身 LLM 智能体危险请求拒绝率不足 10%。AEGIS/VLSA 包装器在 SafeLIBERO 上使避障率提升 59.16%、任务成功率提升 17.25%。
VULCAN 是面向室内火灾救援的多智能体协同导航框架，用 VLM 融合 RGB-D、热成像与 mmWave 雷达感知，并以危险感知 FMM 规划路径。作者将 Habitat-Matterport3D 基准扩展至 Gazebo 模拟烟雾与热效应，其 VLM 规划器 Co-NavGPT 在火灾条件下的危险代价 CHE 为 4.873，低于 Greedy 的 11.233。烟雾遮挡下目标检测置信度会从 0.87 降至 0.15，引发误检与穿越高温区的规划。
一篇论文提出针对视觉语言模型的熵引导对抗攻击，把扰动集中到自回归生成中模型犹豫的高熵 token 上，以更小的扰动预算造成比不分 token 的基线更大的语义破坏，同时保持视觉上不易察觉。作者称这些高熵位置是决策节点，小幅扰动改变所选 token 后会级联放大后续生成的语义偏移，而低熵位置本身较稳健。攻击样本可跨 VLM 架构迁移，作者认为这源于自回归生成的结构性属性，攻击者用开源模型即可制作扰动并预期迁移到闭源生产模型。论文评估了对抗训练、输入预处理和检测类防御，发现防护有限，并提出熵感知鲁棒性方向。对具身 AI 部署，作者建议不要把视觉解析器当作安全关键路径的可信组件。
研究者用 1000 条来自 SALAD-Bench 的对抗提示渲染成图像，测试四款视觉语言模型的排版提示注入，并发现文本与图像的嵌入距离可预测攻击成功率。测试覆盖 6px 到 28px 的 12 种字号和 10 种视觉变换，GPT-4o 的图像攻击成功率峰值为 7.7%（20px），低于其原始文本的 35.6%；Claude Sonnet 4.5 为 21.6%（10px），原始文本为 46.6%；Mistral-Large-3 达 75.5%（12px），Qwen3-VL-4B-Instruct 为 48.2%（20px）。在 JinaCLIP 与 Qwen3-VL-Embedding-2B 上，嵌入 L2 距离与攻击成功率呈负相关，r 分别为 −0.71 至 −0.80 和 −0.81 至 −0.93（p<0.01）。
Why it was selected论文给出四款 VLM 在不同字号与视觉退化下的排版注入攻击成功率，并提出用嵌入距离做运行时检测。
AI Safety Daily 4 月 20 日刊将具身 AI 列为红队测试的持续盲区：现有评测沿用纯提示词评分，混淆情境相关的 dissentive 风险与指普遍不可接受物理动作的 consentive 风险。刊中引用 Dimino 等 2026 年的 RAHS 危害分，按披露具体性、缓解信号是否存在与多评委一致性三项量化危害严重度。治理方面，OpenAI 的 distributed safety 重组已有六个月记录，Anthropic 与 Google DeepMind 则保留集中安全审查与发布否决权。
Pu 等人的论文提出 HomeSafe-Bench，用于评测视觉语言模型能否实时检测家庭场景中具身智能体的不安全动作，并给出 HD-Guard 分层双脑架构。基准覆盖厨房、浴室和客厅场景，涵盖热、化学、机械和电气等危害类型，提供流式与离线两种评测模式。论文称 GPT-4o 和 Gemini-2.5 级别的前沿模型在流式条件下会漏掉相当比例的不安全动作，且对动作前兆的检测比事后结果分类更难。HD-Guard 由 FastBrain 高召回触发、SlowBrain 复核，准确率优于单模型方案，但 FastBrain 召回率仍是瓶颈，85% 的召回意味着每六个危险序列就有一个未触发警报。