Skip to content

Translation in progress Some entries still include text in the original language.

#多模态

Indexed today 128 items

Page 2 Newer contentBack to latest

TodayOct 13Tue
  1. Failure-First · Indexed · Original News38

    视觉越狱的八个层次:ASCII 艺术已被修补,转写漏洞却没有(original, opens in a new tab)

    Failure-First 研究者把视觉越狱整理成 8 层攻击面,用 38 个攻击场景加 3 个良性对照,在 Ollama Cloud 上测试了 glm-5、gemma3:27b、devstral-small-2:24b 和 nemotron-3-nano:30b 四款模型。结果显示编码类攻击已基本失效:2024 年公开的 ArtPrompt 只对 gemma3 和 nemotron 仍有 22.2% 的攻击成功率,glm-5 为 0.0%、devstral 为 5.6%;而把有害内容包装成转写或翻译任务的框架类攻击成功率过半,跨模态转写层为 75.0%,视觉语义、对抗补丁和组合式各为 62.5%。作者把这一机制称为转写漏洞,认为模型在自认转写既有内容时会施加更弱的安全过滤,并据此指出防御投入集中在最易防的 L1、L2 两层。

  2. Failure-First · Indexed · Original News42

    视觉越狱的八个层次:为何 ASCII 艺术已被修补而框架类攻击没有(original, opens in a new tab)

    Failure-First 把视觉越狱攻击面整理成八层分类,并用 38 个攻击场景在四个模型上测试,发现编码类攻击大多已被拦截,而改变模型任务认知的框架类攻击成功率仍达 62-75%。2024 年华盛顿大学的 ArtPrompt 把有害关键词编码为 ASCII 块字符,当时可绕过 GPT-4、Claude、Gemini 和 Llama-2;本次测试中该攻击对四个模型的成功率接近零,glm-5 为 0.0%(0/18),devstral-small-2:24b 为 5.6%(1/18),gemma3:27b 和 nemotron-3-nano:30b 各为 22.2%(4/18)。作者称这是初步结果,每层样本仅 6-12 条,测试的是视觉攻击的文本表示,未覆盖前沿模型,并已就高成功率层的机制与四家模型厂商启动协调披露。

  3. Failure-First · Indexed · Original News48

    IS-Bench:评估 VLM 驱动的具身智能体在日常家务任务中的交互安全(original, opens in a new tab)

    IS-Bench 是评估 VLM 驱动具身智能体交互安全的基准,覆盖 161 个场景、388 项安全风险,测试显示 GPT-4o、Gemini-2.5 等前沿模型在任务执行中难以自发识别并缓解动态出现的危险。该基准按任务序列设置安全关键检查点,要求模型在风险步骤前后采取正确的缓解动作,而不只是识别危险。加入安全提示后,模型的危险识别改善,但任务完成度下降,表现为过度谨慎和拒绝执行。作者认为交互安全是家用机器人部署的关键门槛,静态危险识别必要但远不充分。

  4. Failure-First · Indexed · Original News37

    BadRobot: Jailbreaking Embodied LLM Agents in the Physical World(original, opens in a new tab)

    BadRobot 研究系统考察了通过语音自然语言攻击越狱具身 LLM 智能体的方法,论文称这是首个针对具身 LLM 智能体的语音越狱系统研究。论文指出,文本越狱只产生有害输出,具身越狱则让机器人执行有害物理动作,造成不可逆的现实伤害。研究还发现,机器人借助 LLM 判断世界知识(如某物质是否危险)时,越狱可污染其事实检索,导致安全关键的错误分类;给机器人赋予始终服从的“有帮助助手”人格,可绕过写在系统提示中的安全约束。该研究是 Failure-First unsafe_action_elicitation 指标类别的基础,其语音攻击面直接对应 PiCar-X 的自然语言接口。

  5. Failure-First · Indexed · Original News37

    Everything can be hidden: ST3GG and the steganographic attack surface of AI systems(original, opens in a new tab)

    Failure-First 对开源隐写工具 ST3GG 做了初步评估,把它当作 AI 安全研究工具,梳理其暴露的攻击面并测试 ALLSIGHT 的检测覆盖。ST3GG 覆盖图像、音频、文本/Unicode、网络数据包、文档和压缩包六类模态、100 多种编码技术。作者称 ALLSIGHT 在 6 种 Unicode 隐写变体中漏检 3 种(Unicode 标签字符、行尾空白编码、组合变音符号),假阴性率 50%;5 个网络隐蔽信道 PCAP 中检出 3 个,ICMP 与 HTTP 头未被检出。工具的文件名注入模块按 GPT-4V、Claude、Gemini 生成定制注入文件名,采用文件名指示解码、图像 LSB 载荷携带指令的两阶段投递,测试中模型不会仅凭载体图像主动解码。

  6. Failure-First · Indexed · Original News50

    Structured Visual Narratives Weaken Safety Alignment in Multimodal Large Language Models(original, opens in a new tab)

    一篇新论文提出 ComicJailbreak 基准与攻击框架,通过把有害目标拆解成多格漫画叙事序列,绕过 15 个多模态大语言模型的安全护栏。该基准包含 1,167 个攻击实例,覆盖六类危害与单图、序列叙事、图文交错三种设置;在商业多模态模型上,多个危害类别的集成攻击成功率超过 90%,序列叙事攻击显著优于单图攻击,攻击配置在不同架构间也有较高迁移性。论文指出,现有对齐主要针对文本层面的危害指标,图像安全由逐帧分类器处理,漫画利用了两者之间的空隙;具备更强图像级过滤的模型对单图变体有一定抵抗力,但对没有任何单帧被标记为有害的多格序列攻击仍成功率偏高。论文还发现自动安全评判器对敏感但无害内容的过度拒答率偏高,并呼吁发展面向图像序列与叙事弧的对齐方法。

  7. Failure-First · Indexed · Original News58

    ANNIE: Beware Your Robot, Adversarial Safety Attacks on Embodied AI(original, opens in a new tab)

    ANNIE 论文提出面向具身 AI 的对抗安全攻击框架,用图像扰动让 VLA 机器人违反人身安全约束,关键违规的平均攻击成功率为 52%。该工作以 ISO/TS 15066 人机协作标准为依据,把违规分为关键、危险和风险三级,并推出 ANNIEBench 基准,含九个安全关键操作场景、2400 段视频动作序列,在 ManiSkill 仿真中用 Franka Emika Panda 七自由度机械臂实现。攻击方法 ANNIE-Attack 通过 Attack Leader Model 将高层攻击目标分解为帧级扰动目标,再用 PGD 优化对抗图像扰动,且与模型无关,在 ACT 和 Baku 两种架构上完成评估。其中 Annie-ADAP 稀疏攻击平均每约 3 帧攻击一次即可达到 1.0 的攻击成功率,Baku 的成功率比 ACT 高 40%,作者将这一差异归因于两者归一化方式不同。

    Why it was selected原文给出 VLA 机器人在物理场景下的攻击成功率与真机验证结果,为具身智能的红队与安全评测提供可对照的指标。

  8. Failure-First · Indexed · Original News50

    论文探讨机器人视觉-语言-动作模型的对抗脆弱性(original, opens in a new tab)

    一篇论文系统评估了机器人视觉-语言-动作(VLA)模型的对抗攻击面,发现置于机器人视野内的小型对抗补丁可严重破坏任务执行。在数字仿真中,对抗补丁在基准机器人操作任务上的攻击成功率达 85.9%,迁移到真实机器人实验后仍高于 43%;最强攻击下任务成功率最多下降 100%。作者指出 VLA 把视觉感知、语言理解与动作规划融为一条流水线,视觉扰动会沿动作序列累积放大,且同一物理攻击在不同语言指令下后果差异很大。论文呼吁针对 VLA 架构设计语义过滤、动作序列约束检查与运行时轨迹监控等防御,并建议部署方把物理访问控制、相机视野监控与对抗鲁棒性测试列为基线要求。

  9. Failure-First · Indexed · Original News48

    AttackVLA: An Adversarial and Backdoor Attack Benchmark for Vision-Language-Action Models(original, opens in a new tab)

    AttackVLA 提出一套跨 VLA 架构的统一攻击评测框架,并引入定向后门攻击 BackdoorVLA。该框架覆盖数据构建、模型训练与推理三个阶段,同时评测推理阶段的对抗攻击与训练阶段的后门攻击,以解决不同 VLA 架构因动作分词器不同而难以复现和比较攻击的问题。BackdoorVLA 在触发后可让模型执行攻击者指定的多步动作序列,在测试任务上平均定向成功率为 58.4%,部分单项任务达 100%,在仿真与真实机器人环境中均有效。论文称,此前 VLA 后门研究多只能诱发单个错误动作,该工作是较早实证此类定向攻击在当前架构上可达到有意义成功率的工作之一。

  10. Failure-First · Indexed · Original News23

    AI Safety Daily:Sora 2、Kling 2.6 与 HunyuanVideo 1.5 在物理操作任务上暴露世界模型失效(original, opens in a new tab)

    AI Safety Daily 称物理 AI 面临"感知-行动鸿沟":模型能流畅描述任务却无法安全执行,文本层安全训练无法迁移到行动层。Sora 2、Kling 2.6 与 HunyuanVideo 1.5 的物理操作任务暴露出违反物理规律、几何表征崩溃与物体身份丢失等失效,CHAIN 基准一次性解开鲁班锁类谜题的成功率为 0%。

  11. Failure-First · Indexed · Original News48

    Diversity-aware red teaming reveals language vulnerabilities in vision-language-action models(original, opens in a new tab)

    研究者提出多样性感知具身红队测试(DAERT)框架,用随机策略估值(ROVER)缓解标准 RL 红队的模式坍缩,生成语义等价但句法多样的对抗指令。在 LIBERO 基准上,π0 的任务成功率从 93.33% 降至 5.85%,OpenVLA 从 76.50% 降至 6.25%。针对 π0 优化的指令还能零样本迁移到 3D-Diffuser 和 OpenVLA-7B,作者称这暴露了 VLA 在几何推理与物体可供性上的基础性缺陷。空间类任务比物体类任务更易失败。

  12. Failure-First · Indexed · Original News45

    NotebookLM 的元越狱、幻灯片内容过滤器,以及一个对我们撒谎的 CLI(original, opens in a new tab)

    Failure-First 对 Google NotebookLM 的红队测试发现,在越狱论文语料上它连续五次独立会话均产出部分攻击合成。该笔记本收录 49 篇 arXiv 越狱论文,模型给出的攻击机制组合未出现在任何单篇来源中,且无拒答;研究者给出五次五中的 Wilson 95% 置信区间约为 57% 至 100%,并表示不能据此推断它总会如此。研究者称幻灯片生成路径的内容过滤在两个笔记本上于 60 至 90 秒内失败,而两个越狱研究笔记本通过,其判定轴尚不明确。第三方 CLI notebooklm-tools 静默复用同一会话,使最初三次“全新会话”实为一段三轮对话,改用每次生成客户端 UUID 传入 --conversation-id 后重跑。另有评估方法的三项修复。

  13. Failure-First · Indexed · Original News29

    Failure-First AI Safety Daily(4 月 12 日):SafeAgentBench 750 项危险任务拒答率不足 10%,CHAIN 基准 Pass@1 为 0.0%(original, opens in a new tab)

    AI Safety Daily 汇总 4 月 12 日内容:SafeAgentBench 的 750 条危险任务提示中,先进智能体拒答率不足 10%,更换底层 LLM 也未明显改变该数字。CHAIN 基准的互锁谜题上,受测前沿模型 Pass@1 为 0.0%,VLA 的高描述准确率未能转化为物理推理。汇总还指出,大推理模型开启思维链后会绕过 CoT-OFF 状态下生效的护栏。

  14. Failure-First · Indexed · Original News24

    AI Safety Daily:CHAIN 揭示具身 AI 感知-行动鸿沟,SafeAgentBench 危险请求拒绝率不足 10%(original, opens in a new tab)

    AI Safety Daily 汇总:CHAIN 基准显示 VLM 能流畅描述物理交互却无法真正推理,SafeAgentBench 中具身智能体拒绝的危险请求不足 10%。PreSafe 用基于 BERT 的辅助头在思维链开始前对齐隐藏状态,VLSA AEGIS 则以 CBF 安全层在 SafeLIBERO 上把避障提升 59%、任务成功率提升 17%。

  15. Failure-First · Indexed · Original News39

    AI 安全日报:AEGIS 动作层防护与具身 Agent 安全评测(original, opens in a new tab)

    Failure-First 的 AI 安全日报汇总了本周具身 AI 安全进展。AEGIS 是即插即用的安全层,用 Control Barrier Functions 拦截 VLA 模型的动作输出并投影到安全集,在 SafeLIBERO 基准上障碍物规避提升 59.16%、任务成功率提升 17.25%,且不依赖模型权重。SafeAgentBench 显示具身 Agent 对危险指令的拒答率不足 10%,基于 GPT-4 与 GPT-4o 的智能体在 90% 的情况下执行了伪装成家务的危险请求。CHAIN 基准发现 VLM 在互锁机械谜题上 Pass@1 为 0.0%。治理方面,OpenAI 转向分布式安全模式,NHTSA 将 Tesla FSD 调查升级为覆盖 320 万辆车的工程分析。

  16. Failure-First · Indexed · Original News43

    当对齐失效:针对视觉-语言-动作模型的多模态对抗攻击(original, opens in a new tab)

    一篇 2025 年 11 月发表的论文提出 VLA-Fool 评估框架,系统测试视觉-语言-动作(VLA)模型在多模态对抗输入下的鲁棒性。该框架把攻击分为文本扰动、视觉扰动(对抗贴片与像素噪声)和跨模态错位三类,在 LIBERO 基准与 OpenVLA 模型上给出白盒与黑盒迁移的可复现基线。结果显示,白盒梯度视觉攻击下任务成功率降至接近零;跨模态错位攻击最隐蔽,使机器人行为渐进退化而非突然失效,难以被简单异常监控发现;在替代模型上生成的对抗贴片也能迁移到 OpenVLA。作者提出语义提示框架作为防御,对文本扰动有改善、对跨模态攻击部分有效,但对纯视觉对抗贴片基本无效。

  17. Failure-First · Indexed · Original News22

    AI Safety Daily:Physical AI 部署四阶段风险与 Gen2Real Gap(original, opens in a new tab)

    Failure-First 将 Physical AI 部署划为四阶段风险分类,其 VLA 测试在 7 类攻击家族下 broad ASR 为 76.1%,最适用于规模运营与试点阶段。生成式世界模型 Sora 2、Kling 2.6、Wan 2.6、HunyuanVideo 1.5 在 CHAIN benchmark 互锁机械谜题上 Pass@1 为 0.0%,表征崩溃构成机器人训练数据的潜在供应链风险。FinRedTeamBench 的 RAHS 则以披露严重性加权替代二值攻击成功率。

  18. Failure-First · Indexed · Original News41

    视觉语言模型能否评判动作质量?一项实证评估(original, opens in a new tab)

    一项针对视觉语言模型的实证评估发现,Gemini 3.1 Pro Preview、Qwen3-VL-235B-A22B 与 InternVL3.5-241B-A28B 在动作质量评估(AQA)任务上仅略高于随机水平。评测覆盖 LLM-FMS、EgoExo-Fitness、Fitness-AQA、FineFS 和 MTL-AQA 五个数据集,分类任务的平衡准确率略高于随机,回归任务的 Spearman 秩相关偏弱且不稳定,其中 Gemini 3.1 Pro Preview 在静态图像的 LLM-FMS 上表现相对更好。作者称模型出现模态崩塌,语言先验压过视觉证据,倾向于预设动作执行正确;仅调换提示词极性即可让整体判断翻转,只提供骨架渲染还会导致性能崩溃。对推理轨迹的分析显示模型用常识替代对画面的观察,作者据此认为这类模型目前不适合安全攸关的 AQA 部署。

  19. Failure-First · Indexed · Original News32

    RACF:带物体距离校正的韧性自动驾驶框架(original, opens in a new tab)

    RACF 提出带 Trust & Safety Layer 的自动驾驶感知防御架构,其物体距离校正算法 ODCA 在深度估计与 2D LiDAR 残差超阈值时实时修复距离信号。该算法用 ChronosV2 时序模型加 921 参数的 Delta Repair Head 生成修正,在 Quanser QCar 2 上使强干扰下 RMSE 最多降低 35%;物理对抗贴片试验中停车合规率由 0.17 升至 0.80,制动延迟从 2.65 秒降至 0.19 秒。

  20. Failure-First · Indexed · Original News33

    Failure-First AI 安全日报(4 月 18 日):GPT-5.2 与 OpenAI-o3 在 CHAIN 一次性物理任务中 Pass@1 为 0%(original, opens in a new tab)

    Failure-First 4 月 18 日 AI 安全日报称,GPT-5.2 与 OpenAI-o3 在 CHAIN 交互式 3D 物理基准的「一次性」设置下 Pass@1 为 0%,GPT-5.2 堆叠成功率由交互模式的 31.2% 降至 9.1%。日报还记录 Sora 2、Wan 2.6、Kling 2.6、HunyuanVideo 1.5 的世界模型失效,以及 SafeAgentBench 上具身 LLM 智能体危险请求拒绝率不足 10%。AEGIS/VLSA 包装器在 SafeLIBERO 上使避障率提升 59.16%、任务成功率提升 17.25%。

  21. Failure-First · Indexed · Original News22

    VULCAN:面向室内火灾响应的 VLM 增强多智能体协同导航(original, opens in a new tab)

    VULCAN 是面向室内火灾救援的多智能体协同导航框架,用 VLM 融合 RGB-D、热成像与 mmWave 雷达感知,并以危险感知 FMM 规划路径。作者将 Habitat-Matterport3D 基准扩展至 Gazebo 模拟烟雾与热效应,其 VLM 规划器 Co-NavGPT 在火灾条件下的危险代价 CHE 为 4.873,低于 Greedy 的 11.233。烟雾遮挡下目标检测置信度会从 0.87 降至 0.15,引发误检与穿越高温区的规划。

  22. Failure-First · Indexed · Original News43

    少数 token 至关重要:熵引导的视觉语言模型攻击(original, opens in a new tab)

    一篇论文提出针对视觉语言模型的熵引导对抗攻击,把扰动集中到自回归生成中模型犹豫的高熵 token 上,以更小的扰动预算造成比不分 token 的基线更大的语义破坏,同时保持视觉上不易察觉。作者称这些高熵位置是决策节点,小幅扰动改变所选 token 后会级联放大后续生成的语义偏移,而低熵位置本身较稳健。攻击样本可跨 VLM 架构迁移,作者认为这源于自回归生成的结构性属性,攻击者用开源模型即可制作扰动并预期迁移到闭源生产模型。论文评估了对抗训练、输入预处理和检测类防御,发现防护有限,并提出熵感知鲁棒性方向。对具身 AI 部署,作者建议不要把视觉解析器当作安全关键路径的可信组件。

  23. Failure-First · Indexed · Original News53

    研究将文本-图像嵌入对齐与视觉语言模型的排版攻击成功率联系起来(original, opens in a new tab)

    研究者用 1000 条来自 SALAD-Bench 的对抗提示渲染成图像,测试四款视觉语言模型的排版提示注入,并发现文本与图像的嵌入距离可预测攻击成功率。测试覆盖 6px 到 28px 的 12 种字号和 10 种视觉变换,GPT-4o 的图像攻击成功率峰值为 7.7%(20px),低于其原始文本的 35.6%;Claude Sonnet 4.5 为 21.6%(10px),原始文本为 46.6%;Mistral-Large-3 达 75.5%(12px),Qwen3-VL-4B-Instruct 为 48.2%(20px)。在 JinaCLIP 与 Qwen3-VL-Embedding-2B 上,嵌入 L2 距离与攻击成功率呈负相关,r 分别为 −0.71 至 −0.80 和 −0.81 至 −0.93(p<0.01)。

    Why it was selected论文给出四款 VLM 在不同字号与视觉退化下的排版注入攻击成功率,并提出用嵌入距离做运行时检测。

  24. Failure-First · Indexed · Original News22

    AI Safety Daily(4 月 20 日):具身 AI 红队测试盲区、RAHS 危害评分与 OpenAI 安全重组(original, opens in a new tab)

    AI Safety Daily 4 月 20 日刊将具身 AI 列为红队测试的持续盲区:现有评测沿用纯提示词评分,混淆情境相关的 dissentive 风险与指普遍不可接受物理动作的 consentive 风险。刊中引用 Dimino 等 2026 年的 RAHS 危害分,按披露具体性、缓解信号是否存在与多评委一致性三项量化危害严重度。治理方面,OpenAI 的 distributed safety 重组已有六个月记录,Anthropic 与 Google DeepMind 则保留集中安全审查与发布否决权。

  25. Failure-First · Indexed · Original News50

    HomeSafe-Bench:评测视觉语言模型对家庭场景具身智能体不安全动作的检测(original, opens in a new tab)

    Pu 等人的论文提出 HomeSafe-Bench,用于评测视觉语言模型能否实时检测家庭场景中具身智能体的不安全动作,并给出 HD-Guard 分层双脑架构。基准覆盖厨房、浴室和客厅场景,涵盖热、化学、机械和电气等危害类型,提供流式与离线两种评测模式。论文称 GPT-4o 和 Gemini-2.5 级别的前沿模型在流式条件下会漏掉相当比例的不安全动作,且对动作前兆的检测比事后结果分类更难。HD-Guard 由 FastBrain 高召回触发、SlowBrain 复核,准确率优于单模型方案,但 FastBrain 召回率仍是瓶颈,85% 的召回意味着每六个危险序列就有一个未触发警报。

  26. Failure-First · Indexed · Original News44

    DR³-Eval:迈向真实且可复现的深度研究评测(original, opens in a new tab)

    研究者提出 DR³-Eval,一个面向深度研究 Agent 的可复现评测基准,用静态沙箱语料替代实时网页。每个任务平均包含 465.5 个网页,借助 Gemini-2.5-Pro 以“发散-收敛”方法区分信号与噪声页面,任务通过率为 35.7%。基准覆盖中英文各半、13 个领域,数据中 45.98% 为文档、27.68% 为图像、13.84% 为视频。评测采用信息召回、事实准确性、引用覆盖、指令遵循和深度质量五个维度,由 GPT-5.1 担任主要评判。测试 Claude Sonnet 4、GPT-4.1 和 Gemini-2.5-Pro 发现,上下文从 32k 增至 512k tokens 时性能下降,部分模型指令遵循得分高但事实准确性差。

  27. Failure-First · Indexed · Original News50

    SafetyALFRED: Evaluating safety-aware planning of multimodal large language models(original, opens in a new tab)

    密歇根大学和博伊西州立大学的研究者发布 SafetyALFRED 基准,用于评估多模态大语言模型在具身场景中的安全意识规划。该基准在 ALFRED 家务机器人环境上加入电气、火灾、滑倒、有毒物质、锐器误用和过热六类厨房危险,并区分问答模式与具身规划模式。测试的 11 个模型来自 Qwen、Gemma 和 Gemini 系列,模型在问答中识别危险的准确率尚可,但转为纠正性行动时缓解成功率常下降一半以上。作者称这是显著的对齐差距,并指出程序顺序错误、任务优先压过安全步骤、有毒物质与电气危险识别偏低等失败模式,基准代码与数据集已在 GitHub 开源。

  28. Failure-First · Indexed · Original News39

    面向视觉-语言-动作模型的注意力引导分块稀疏对抗攻击(original, opens in a new tab)

    Zhang 等人提出 ADVLA 框架,通过在视觉-语言-动作(VLA)模型的文本特征空间注入稀疏对抗扰动来干扰其动作预测。该框架用模型自身的注意力图挑选对动作影响最大的图像块,只对 Top-K 位置加噪,并把扰动幅度限制在 L∞ 范数内,使改动在视觉上难以察觉。作者称这种攻击计算成本低,可跨不同提示词和任务上下文迁移,单个对抗图像即可在多种指令下引发失败。文章指出 VLA 的防御研究落后于攻击,建议在文本特征空间做对抗训练、注意力平滑和集成动作验证,并把对抗鲁棒性测试纳入实体 AI 部署的安全认证。论文可在 arXiv 查看。

  29. Failure-First · Indexed · Original News34

    AI 安全日报:SafetyALFRED 与 HomeGuard 揭示具身智能体能识别危险却难以纠正行动(original, opens in a new tab)

    SafetyALFRED 与 HomeGuard 两个新基准显示,具身智能体能识别危险,却在需要纠正行动时退回任务完成目标。SafetyALFRED(4 月 21 日)在 ALFRED 家务规划基准上加入安全标注任务,要求暂停、改道或标记危险步骤;多模态 LLM 危险识别得分高但纠正行动表现不佳。HomeGuard(2026 年 3 月)则在动作执行前用上下文引导的思维链生成空间约束,经强化微调后碰撞避免与任务完成优于基线 VLM。

  30. Failure-First · Indexed · Original News32

    VLA 安全首份统一综述发布,梳理七类攻击面与防御缺口(original, opens in a new tab)

    VLA 安全首份统一综述发布,按数据、模型、部署三层归纳出七类攻击面:数据投毒、对抗补丁、跨模态扰动、语义越狱、冻结攻击、后门与认证缺口,指出现有防御无法覆盖全部层。AttackVLA 借 action tokenizer 路径植入定向后门,在 LIBERO 上定向成功率高且不损干净输入表现,逐步骤安全检查拦不住轨迹级操纵。

  31. Failure-First · Indexed · Original News27

    VLA 模型解剖综述:从模块到里程碑与挑战(original, opens in a new tab)

    《VLA 模型解剖》综述把 VLA 研究归纳为表示、执行、泛化、安全、数据集与评测五大相互关联的挑战,并把安全列为支柱之一而非附录。综述指出 VLA 从视觉编码器继承对抗脆弱性,物理世界扰动即可令机器人操作任务失败率最高达 100%,多模态融合还引入了跨模态错位攻击面。作者认为当前基准只测任务完成率、不衡量安全相关行为,呼吁发展 IS-Bench、SafeAgentBench 等安全感知基准。

  32. Failure-First · Indexed · Original News17

    CBC-SLP:在模态缺失或完整下通过结构化潜在投影实现鲁棒多光谱语义分割(original, opens in a new tab)

    CBC-SLP 通过结构化潜在投影实现模态缺失或完整下的鲁棒多光谱语义分割,其架构将潜在表示分解为共享潜在空间与多个私有潜在空间,并用二进制可用性掩码进行乘法门控。在 DSTL、Potsdam、Hunan 三个基准上,全模态 IoU 分别达 0.903、0.766、0.659,均高于 CMX 与 MMANet;仅 DEM 可用的 Hunan 场景下 IoU 为 0.510。

  33. Failure-First · Indexed · Original News42

    视觉-语言-动作安全:威胁、挑战、评测与机制(original, opens in a new tab)

    Li 等人的 VLA 安全综述把机器人学习、对抗机器学习、AI 对齐与自主系统安全的研究整合为一个以时机为核心的框架,攻击与防御各分训练时和推理时两类。训练时攻击包括数据投毒和 BackdoorVLA、DropVLA 等后门;推理时攻击包括对抗贴片、跨模态扰动、语义越狱和动作冻结。防御方面,训练时的认证训练、对抗增强与数据溯源保证更强但难以应对部署后发现的新攻击,推理时的异常检测、运行时监控与控制屏障函数更自适应但受实时延迟约束。综述指出多数攻击论文只在仿真中评估,指标只统计任务成功率而忽略失败模式,并把已知漏洞映射到家庭操作、工业装配、手术机器人、自动驾驶、人机协作和无人机导航六个领域,最后提出认证鲁棒性、物理可实现防御等五个开放问题。

  34. Failure-First · Indexed · Original News48

    面向具身视觉导航的可物理实现对抗攻击(original, opens in a new tab)

    一篇论文提出面向具身视觉导航的物理对抗攻击框架,通过在普通物体上贴对抗贴片,平均降低导航成功率 22.39%,且无需访问智能体的数字输入。该方法用多视角纹理优化和两阶段不透明度调优,使贴片在不同视角下有效、对人眼不显眼,攻击目标是导航系统的感知模块。作者公开了代码,可用于对抗训练等防御。论文还指出,当前具身 AI 评测多在仿真干净条件下进行,难以暴露这类物理攻击。

  35. Failure-First · Indexed · Original News27

    Rule-VLN:以语义推理与几何校正衔接 VLN 的感知与合规(original, opens in a new tab)

    研究者提出城市 VLN 基准 Rule-VLN 及即插即用的语义导航校正模块 SNRM,让智能体从「能不能走」转向「可不可以走」。Rule-VLN 基于 CityNav-Rules 数据集(超 73k 样本),使用 29,000 个真实城市影像节点,覆盖 177 类监管规则。SNRM 无需重训即可接入冻结的导航策略,实验使约束违反率降低 19.26%、任务完成率提升 5.97%。

  36. Failure-First · Indexed · Original News38

    每日论文:低资源语言可越狱 GPT-4(original, opens in a new tab)

    Brown University 2023 年的一篇论文测试了把英文有害查询机器翻译成低资源语言后提交给 GPT-4 的结果,发现翻译后的提示仍能生成不安全内容,成功率明显高于同一提示用英文提交时的水平。作者把原因归于 RLHF 的安全信号主要来自英语、普通话、西班牙语、法语等高资源语言的标注者,祖鲁语、苏格兰盖尔语、苗语等语言的训练信号稀薄或缺失,因此模型在这些语言里能力尚可但拒答行为不可靠。该攻击不需要对抗技巧,任何能访问机器翻译 API 的用户都能把被拒的英文查询转换成低资源语言版本。材料还指出这一缺口不只限于文本,VLA 视觉-语言-动作模型若在多语言环境部署,其拒绝有害动作指令的能力同样没有保障,建议把低资源语言评估纳入红队测试、扩大 RLHF 标注语言覆盖,并评估输出分类器的跨语言表现。

  37. Failure-First · Indexed · Original News33

    AI Safety Daily:五篇论文主张模型级对齐必要但不充分,部署安全需架构隔离与形式化验证(original, opens in a new tab)

    五篇 AI 安全论文主张模型级对齐必要但不充分,部署安全还需架构隔离、主权边界与形式化验证。Parallax 要求推理与执行分离,OpenParallax 在默认配置下零误报拦截 280 次对抗攻击中的 98.9%。其余研究另提出决策能量密度与三重主权边界、Agentic Microphysics 群体失准框架和可证明安全界的悲观先验。

  38. Failure-First · Indexed · Original News55

    Launching implicit jailbreak attacks against vision-language models through cross-modal information hiding(original, opens in a new tab)

    一篇论文提出 IJA(隐式越狱攻击),把恶意指令用最低有效位(LSB)隐写嵌入图像像素,再配上一句看似无害、只是引用该图像的文本提示,让视觉语言模型通过跨模态理解读取并执行隐藏指令。作者用代理模型生成对抗后缀,并加入模板优化模块,依据模型反馈迭代改进提示与嵌入策略,使攻击适配不同模型各自的对齐特性,而非套用固定模板。在对 GPT-4o 与 Gemini-1.5 Pro 的测试中,IJA 的攻击成功率超过 90%,平均每次攻击仅用 3 次查询。文章指出,只检查可见内容的安全过滤器和内容分类器无法发现这类隐蔽信道,标准安全基准也可能漏掉整类隐蔽信道攻击。对于处理视觉输入的具身 AI 与 VLA 模型,攻击者只需在摄像头视野内放置一张预置图像,即可持续影响系统,而无需网络层访问。

    Why it was selectedIJA 把恶意指令用图像隐写藏进像素,在 GPT-4o 与 Gemini-1.5 Pro 上成功率超 90%,凸显多模态安全评测对隐蔽信道的盲区。

  39. Failure-First · Indexed · Original News20

    F41LUR3-F1R57 提出威胁模型:物理世界文本可对具身智能体实施跨模态提示注入(original, opens in a new tab)

    F41LUR3-F1R57 提出跨模态提示注入威胁模型:环境中印刷的文本(标签、标牌、便利贴或地面粉笔字)经具身智能体视觉系统读出并进入推理提示词,攻击者无需接触输入通道。文章列出直接指令注入、借权威名义洗白、篡改物体标签三种假设攻击模式,并称持久性与归属不透明使其更难防御。作者未测量攻击成功率,明确指出此前版本的量化数据系伪造并已删除,该威胁能否被实际利用仍是开放的经验问题。