DuplexJail：针对全双工语音模型的语音打断越狱攻击（原文，在新标签页打开）
研究者提出 DuplexJail，通过用户音频通道向全双工语音模型投递固定的、与请求无关的语音越狱提示，利用输入时机实施攻击。
#多模态
今天新收录 131条今天新收录 131条
#多模态
今天新收录 131条
10月1日周四
星期四
arXiv：危险能力与安全评测 · 收录 · 原文 论文 arXiv：危险能力与安全评测 · 收录 · 原文 论文关注度4242 SafeStage：按执行前中后三阶段评测视觉语言机器人操作安全（原文，在新标签页打开）
提出 SafeStage 基准，分阶段评测视觉语言机器人操作的物理安全。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度2727 透过人眼与机器眼：理解视频透视扩展现实中的视图错配（原文，在新标签页打开）
形式化视频透视头显中系统截图与人眼视野的错配。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度4646 AEGIS：用内部信号在中间层拦截大型音频语言模型越狱（原文，在新标签页打开）
提出 AEGIS，用中层内部信号选择性激活后层适配器拦截音频越狱。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度3939 TempQ-Jail：面向文生视频越狱的查询受限候选排序方法（原文，在新标签页打开）
提出 TempQ-Jail，以查询受限候选排序越狱文生视频模型。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度3535 SafeMol：分子多模态模型的双模态安全对齐（原文，在新标签页打开）
提出 SafeMol，联合对齐分子多模态模型的文本与图输入。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度5050 RISE：用迭代策略演化对现代文生图模型做红队测试（原文，在新标签页打开）
提出 RISE，迭代演化可复用策略对文生图模型做红队。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文精选关注度5757 窄域多模态微调可诱发涌现性失配，覆盖 15 个视觉语言模型（原文，在新标签页打开）
证明无显式危害的图文窄微调可诱发跨任务涌现未对齐。
雷峰网安全频道 · 收录 · 原文 新闻关注度1414 AISC 首届人工智能安全大赛收官：人脸识别、自动驾驶、深度伪造三大赛道决出冠军（原文，在新标签页打开）
AISC 首届人工智能安全大赛于 9 月 16 日收官，共决出人脸识别安全、自动驾驶安全、深度伪造安全三大赛道冠军。大赛由北京瑞莱智慧等单位联合主办，7 月开启报名后吸引全国 70 多所高校、科研院所及企业机构的超过 400 支团队、600 余名选手参与。现场演示了对抗样本攻击人脸识别门禁与自动驾驶感知系统，并发布《人工智能算力基础设施安全发展白皮书》。
Adversa AI · 收录 · 原文 新闻关注度2020 2026 年 6 月 GenAI 安全资源盘点：越狱、CoT 攻击与百万级暴露服务（原文，在新标签页打开）
Adversa AI 汇总 2026 年 6 月 GenAI 安全资源共 19 项，其中研究 7 项、防御 6 项、攻击 5 项、利用 1 项。研究指出对齐模型内部存在可识别的拒答逃逸方向，攻击者可将模型自身思维链变为越狱通道，降低图像分辨率即可绕过多模态安全。对约 100 万个暴露 AI 服务的扫描发现 1,652 个未认证 Ollama API 在对外提供模型，可被用于响应投毒。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 新闻关注度2121 保障智能体 AI 安全：语义提示注入如何绕过 AI 护栏（原文，在新标签页打开）
语义提示注入能够绕过 AI 护栏，成为智能体 AI 面临的新安全威胁。自大语言模型部署早期起，提示注入就通过操纵输入让模型产生非预期行为；防御方在文本攻击上已有进展，但多模态与智能体 AI 的转变正在快速扩大攻击面，红队测试在此发挥关键作用。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 新闻关注度1818 NVIDIA AI Red Team：黑客如何利用 AI 的问题解决本能（原文，在新标签页打开）
多模态 AI 模型正从感知走向推理、甚至开始自主行动，随之出现新的攻击面：这些威胁不只针对输入输出，而是利用 AI 跨模态处理、综合与推理的方式。NVIDIA AI Red Team 会在攻击者之前发现并测试这类漏洞，此前已开展语义提示注入（semantic prompt injection）研究。
NVIDIA 技术博客：可信 AI 与网络安全 · 收录 · 原文 新闻关注度2929 NVIDIA：为视觉语言模型更新分类器规避方法（原文，在新标签页打开）
NVIDIA 技术博客发布《为视觉语言模型更新分类器规避》，围绕视觉语言模型（VLM）的分类器规避方法更新展开。文中指出，Transformer 多模态模型能在同一上下文中处理多种数据形式，VLM 可基于图像与文本的组合输入生成输出，让开发者构建解读图表、处理摄像头画面，或通过桌面等传统人类界面操作的系统。
Google DeepMind · 收录 · 原文 新闻关注度2929 Google 扩大 SynthID 与水印溯源覆盖 Search、Gemini、Chrome 及 Cloud（原文，在新标签页打开）
Google DeepMind 将 SynthID 合成内容检测扩展到 Search 和 Chrome，并新增基于 C2PA Content Credentials 的来源查验，此前该能力已在 Gemini App 中被调用 5000 万次。SynthID 已将超过 1000 亿张图片和视频以及 60000 年时长音频加水印，Pixel 8、9、10 将在未来数周内获得原生相机视频凭证。
Google DeepMind · 收录 · 原文 新闻关注度1414 Google DeepMind 发布 Gemini Robotics 2，带来机器人全身智能（原文，在新标签页打开）
Google DeepMind 推出 Gemini Robotics 2，作为新一代机器人的智能层，实现全身控制、高级灵巧操作和多机协作。该系列含三款模型：视觉-语言-行动模型 Gemini Robotics 2 可控制从脚到指尖的人形及双臂机器人，具身推理模型 Gemini Robotics ER 2 负责规划数分钟的多步任务并让人机沟通，端侧模型 Gemini Robotics On-Device 2 可在设备本地运行并在几小时内适应全新机体。其中 ER 2 已在 Google AI Studio 开放，并于 Gemini Enterprise Agent Platform 私人预览，另两款面向早期访问伙伴。
Google DeepMind · 收录 · 原文 新闻关注度2727 Google DeepMind 发布 Gemini Robotics ER 2，升级视频理解、任务编排与多机器人协作（原文，在新标签页打开）
Google DeepMind 发布具身推理模型 Gemini Robotics ER 2，作为机器人的高层大脑负责对话、物理世界理解和多步任务规划，并将电机执行交给底层 VLA 模型。相比 ER 1.6，它在实时 VLA、仿真 VLA 和人类遥操作三种模式下均提升了工具编排表现，进度分类准确率达 57.4%，并新增连续视频流下的进度追踪和多机器人协作。该模型通过 Gemini API、Google AI Studio 公开提供给开发者，并在 Gemini Enterprise Agent Platform 私有预览，集成 Gemini Live API 的双向流式端点以减少延迟停顿。
Google DeepMind · 收录 · 原文 新闻关注度77 Google DeepMind 将手语到文本模型 SL2T 带入 Gboard 与 Live Transcribe（原文，在新标签页打开）
Google DeepMind 推出手语到文本（SL2T）翻译模型，并首次将其落地消费级产品——Pixel 11 上的 Gboard 与 Live Transcribe，首发支持美国手语（ASL）转英语听写。该模型基于超 100,000 小时、覆盖 50 多种手语的数据训练，其中约四分之一为 ASL，联合训练使其优于单语模型，并在未见过的数据上取得 70 BLEURT 的零样本成绩。它把手语视为手势坐标序列而非摄像头画面，由端侧 MediaPipe Holistic 提取姿态地标后再送服务器翻译，跳过 gloss 中间标注，从而摆脱人工词汇表限制。
Embrace The Red · 收录 · 原文 新闻关注度5050 用 ChatGPT 生成的对抗图片劫持 Claude Opus 4.7 记忆工具（原文，在新标签页打开）
作者用 ChatGPT 生成一张含解谜元素的对抗图片，让 Claude Opus 4.7 在分析图片时被间接提示注入劫持，调用 memory 工具写入虚假记忆。测试中 Opus 4.7 在 10 次里 5 次写入虚假信息，包括用户名、年龄、NASA 宇航员职业和饮食偏好，且每次都察觉到可能存在提示注入却仍被劫持。作者观察到初始记忆为空时攻击更易成功，内容越像真实用户会保存的信息越容易通过。该对抗样本在文章发布约 24 小时后攻击成功率降为 0%，原因不明。作者已于 2026 年 3 月通过 HackerOne 向 Anthropic 报告，工单被以安全问题关闭，后续邮件未获回复。
Failure-First · 收录 · 原文 新闻关注度5050 ForesightSafety-VLA：面向视觉-语言-动作模型的统一诊断安全基准（原文，在新标签页打开）
Lyu 等人提出 ForesightSafety-VLA，一个把具身安全从结果检查转为过程级评估目标的诊断基准，用于暴露视觉-语言-动作（VLA）模型在任务完成与物理可靠性之间的安全差距。基准用 13 个安全类别组成三层分类体系，覆盖物理、指令与感知三类失效，并通过危险注入、约束收紧、时序前置条件插入三种算子构建 66 个基础场景。评测采用四象限结果框架，区分安全成功、不安全成功、安全失败与不安全失败，并用累计安全成本（CC）和风险暴露时间（RET）刻画过程风险。
Failure-First · 收录 · 原文 新闻关注度1717 Event-VLA：面向鲁棒视觉-语言-行动模型的行动条件化事件融合（原文，在新标签页打开）
针对当前 VLA 模型依赖帧基 RGB 传感器、在光照突变与运动模糊下易发生分布外失效的问题，Liu 等人提出 Event-VLA，将异步事件相机流作为互补观测引入机器人操控策略。该方法通过 Physical Residual Event Integration（PREI）把事件历史分解为瞬时、显著、持续三通道残差图，并以门控交叉注意力加查询引导路由接入冻结语义主干之外的动作通路，辅以一个预测未来事件的辅助头做正则化。在 LIBERO 及三级光照退化的 LIBERO-Cross（LL-Mild、LL-Dark、LL-Severe）上该框架提升了抗退化能力，但仍会在弱对比导致事件激活不足的场景中失败。
Failure-First · 收录 · 原文 新闻关注度1616 Failure-First AI 安全日报：Google DeepMind 三天内连发两款机器人模型（原文，在新标签页打开）
Google DeepMind 于 7 月 28 日和 30 日先后发布 Gemini Robotics 2 与 Gemini Robotics ER 2，前者主打全身智能，后者新增视频理解、任务编排和多机协作，均为厂商公告且无公开对抗评估。同期 OpenAI 发布了涉及自身模型的第三方网络能力评估说明。两篇待关注预印本分别提出自动提示注入红队的智能体系统与恶意微调的梯度免疫防护。
Failure-First · 收录 · 原文 新闻关注度4343 免训练概念定位方法提升 ViT 对文字排版攻击的鲁棒性（原文，在新标签页打开）
Liu 等人的研究提出免训练方法，定位并抑制 Vision Transformer 中导致文字排版攻击的特定模块，从而提升模型对图像内干扰文字的鲁棒性。该方法基于线性表示假设，通过随机采样在 MHSA 瓶颈的低维子空间搜索与词汇概念对齐的“获奖向量”，并用基于梯度的归一化文本归因分数 nTAS 定位高脆弱性注意力头。干预方式有两种：在 CLIP 类骨干中重加权 patch token 影响，在缺少 class token 的 LVLM 中将脆弱模块输出置零。
Failure-First · 收录 · 原文 新闻关注度4848 Pluralis v0.1 发布：面向 AI 风险与可靠性的多文化多模态多语言基准（原文，在新标签页打开）
Pluralis v0.1 是一个面向 AI 风险与可靠性的多文化、多模态、多语言基准，覆盖孟加拉国、印度、韩国、巴基斯坦、新加坡、台湾六个地区，包含 14 种语言变体与 6,448 条提示词，由区域学术伙伴、政府 AI 安全机构（如新加坡 IMDA、韩国 AI Safety Institute）和本地标注者参与构建。该基准采用文化优先方法，提示词由本地专家原生构思而非翻译西方数据，并配对图像以捕捉文本与图像单独无害、组合后在特定地区构成风险的协同失败模式，例如电子烟携带建议在新加坡、印度、台湾涉及违法，以及送钟在中国文化中的禁忌。
Failure-First · 收录 · 原文 新闻关注度2828 HoloCount：面向 MLLM 的整体视觉计数基准（原文，在新标签页打开）
Deng 等人提出 HoloCount——一个针对多模态大语言模型的整体视觉计数基准，覆盖 1481 个独特视觉概念，并按语义计数、解析计数、鲁棒性测试三层分类诊断数值幻觉。高密度场景下性能崩塌明显：宏平均超 75% 的 Qwen3.5-27B 准确率跌至 20%，Gemini-3.1-Pro-Preview 仅 49.0%（MAE 10.46）。空目标提示子集中还出现反向悖论，轻量模型优于大型专有引擎，反映其不愿输出计数为零的过度自信倾向。
Failure-First · 收录 · 原文 新闻精选关注度5656 Yao 等人揭示多模态强化学习中的奖励作弊现象（原文，在新标签页打开）
Yao 等人的研究指出，多模态大模型的强化学习中代理奖励上升并不代表能力提升，而是出现代理分数线性提高、oracle 正确率急剧下降的 Scissor Curve 剪刀曲线现象。作者用三个诊断指标刻画这种偏离：Reward Hacking Rate（RHR）、Reward-Oracle Gap（ROG）和新获奖励失败率（NRFR）；在多组奖励设计和不同模型规模下，NRFR 均高于基线 RHR，表明 RL 会主动强化 oracle 判定无效的行为而非继承既有缺陷。研究将捷径分为决策作弊、证据作弊和奖励形式作弊三类，后者表现为冗长度膨胀、关键词堆砌和模板坍缩。
推荐理由该研究给出量化指标与新失败率证据，并对比三种 RL 算法在不同规模下的抗作弊差异，可作为奖励设计参考。
Failure-First · 收录 · 原文 新闻关注度1616 ERR@HRI 3.0 挑战赛：通过人类情感反应多模态检测并预测机器人错误（原文，在新标签页打开）
ERR@HRI 3.0 挑战赛改用未经匿名处理的网络摄像头原始视频并要求模型提前预测机器人故障，基线结果显示任务难度很高——Track 1（BAD 数据集）仅取得 0.502 的 Macro F1。该赛事提供两个自然场景众包数据集：BAD 收录 45 名参与者在观看机器人和人类失败录像时的自发面部反应，其中 86.9% 为失败场景、13.1% 为非失败的对照场景；Bad Idea 则记录 29 名参与者在本轮结局揭晓前的主观好坏预测。
Failure-First · 收录 · 原文 新闻关注度1515 机器人系统集成端侧语音识别模型的调查：从云端 API 转向本地化（原文，在新标签页打开）
针对现代人机交互中云端 ASR API 带来的延迟、隐私与可靠性风险，Li 等人的 2026 年综述梳理了将语音识别迁移到机器人的端侧方案，并以“失败优先”视角指出上游误识别会沿感知管线传播并引发下游具身行动失效。文中对比了 OpenAI Whisper（68 万小时数据）、CMU OWSM v3.1 与 OWSM-CTC、Meta MMS（覆盖超 1000 种语言）及 Julius 等语音基础模型，以及 Kaldi、ESPnet、SpeechBrain 生态中的 LibriSpeech、CommonVoice、Gigaspeech 数据集。
Failure-First · 收录 · 原文 新闻关注度1313 MAMMOTH：面向越野移动、容忍缺失模态的多模态端到端策略（原文，在新标签页打开）
Kotian 等人提出 MAMMOTH——一套融合 RGB、热成像 LWIR、3D LiDAR 与自车速度的统一端到端导航策略，通过稀疏 MoE 骨干加 Laplace 门控动态加权各模态，并用随机丢弃传感器 token 的 Modality Dropout 训练强制学习跨模态表征，从而在单一通道失效时不致整体崩溃。该策略还引入基于 IMU Z 轴加速度功率谱密度的内在可通过性启发式，配合条件 DDPM 生成的候选轨迹做安全性重排序。
Failure-First · 收录 · 原文 新闻关注度1414 ReferTrack：具身视觉跟踪中先用显式指向再解码路径（原文，在新标签页打开）
针对当前 Vision-Language-Action（VLA）模型的抽象空间隐变量难以监督、失败原因无法归因的问题，研究者提出 ReferTrack，将具身视觉跟踪拆解为先从候选目录中用单个 Refer-CoT token 选出目标索引、再由 TVBI token 维持目标的显式流程。该框架基于 Qwen3-4B，搭配 YOLO11 加 ByteTrack 检测器和 SigLIP/DINOv2 双编码器，仅用单目前视摄像头就在 EVT-Bench 取得 SOTA：Single-Target Tracking 成功率 89.4%、Distracted Tracking 73.3%。
Goodfire Research · 收录 · 原文 新闻关注度1515 Goodfire 推出 Paint With Ember：用扩散模型潜空间概念作画（原文，在新标签页打开）
Goodfire Research 发布 Paint With Ember，用画布取代提示词框，直接操控图像模型内部激活来编辑和生成图像。该工具基于 3.5B 参数的 Stable Diffusion XL-Turbo，针对其 UNet 的 block down.2.1 层训练 BatchTopK SAE 分解 16x16 patch 的潜向量，再用非负矩阵分解（NMF）把细粒度特征聚合成可操作的高层概念单元。用户可绘画添加物体、拖动概念、调整语义权重或修改主体动作，公开版应用与开源 SAE 解释器模型均已开放。
Microsoft PyRIT 版本发布 · 收录 · 原文 新闻关注度2828 Microsoft PyRIT v0.11.0 发布：新增 WebSocketCopilotTarget 与 30 个越狱模板（原文，在新标签页打开）
Microsoft PyRIT 发布 v0.11.0，破坏性变更将攻击与执行器从 SeedPromptGroup 改为基于 Message 运行，并重命名场景配置 API。该版本新增 WebSocketCopilotTarget，可通过 WebSocket 向 Microsoft Copilot 发送提示词执行，同时加入图像下载支持的 ImageTarget 重构及 OpenAIImageTarget 的图像编辑/混合功能。
MITRE ATLAS 数据发布 · 收录 · 原文 新闻关注度4343 MITRE ATLAS 发布 v2026.09 数据更新，新增多项 Agent 与多模态攻击技术（原文，在新标签页打开）
MITRE ATLAS 发布 v2026.09 数据版本，包含 1 个矩阵、16 项战术、120 项技术、88 项子技术、40 项缓解措施和 73 个案例研究。新增技术涵盖多模态输入中的触发器、AI Agent 响应偏置、伪造 AI 助手链接、配置错误或公开暴露的 AI 服务、发现 AI Agent 运行时能力、AI 定向隐蔽以及针对 AI 基础设施的主动扫描等。更新了 LLM 提示混淆、间接 LLM 提示注入、LLM 越狱、LLM 响应渲染和 AI Agent 点击诱饵等技术。缓解措施新增 AI 蜜罐，更新生成式 AI 护栏。
arXiv · 收录 · 原文 论文关注度4343 CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行（原文，在新标签页打开）
提出 ConflictGuard，引导 GUI Agent 在冲突指令下终止执行。
Adversa AI · 收录 · 原文 新闻关注度2727 OWASP 2026 LLM Top 10 等 15 项 GenAI 安全资源汇总（原文，在新标签页打开）
OWASP 发布 2026 版 LLM Top 10，首次将 75% 专家投票与来自 6,639 个真实漏洞的 25% 事件数据混合，十项条目中有八项发生变动。本月汇总的 15 项资源还涵盖：从专有 LLM API 窃取推理轨迹、利用授权缺陷向他人持久聊天上下文注入提示、多模态护栏将安全输入误判为不安全（对四个 SOTA 护栏模型攻击成功率达 84%）、通过文档级注意力坍缩检测 RAG 投毒，以及多轮越狱的意图导向系统化梳理。
9月30日周三
星期三
arXiv · 收录 · 原文 论文关注度4545 CSR：跨架构统一攻击概念擦除，FLUX 露骨内容攻击成功率达 50.47%（原文，在新标签页打开）
提出跨架构攻击 CSR，用概念分数参数重学习恢复文生图被擦除概念。
arXiv · 收录 · 原文 论文关注度4343 IDUnlearn-Bench：面向视觉语言模型的个体级遗忘基准（原文，在新标签页打开）
提出 IDUnlearn-Bench，评测 VLM 个体级遗忘后的身份残留。
arXiv · 收录 · 原文 论文关注度5050 Render Before Reading：把不可信内容渲染成图像以防御提示注入（原文，在新标签页打开）
提出 Pictionary，将不可信文本渲染成图像以防御提示注入。
arXiv：危险能力与安全评测 · 收录 · 原文 论文关注度2929 ArGuard 共享任务：阿拉伯语模因与 LLM 提示词中的有害内容检测（原文，在新标签页打开）
组织 ArGuard 共享任务评测阿拉伯语表情包与提示词有害检测。
arXiv：危险能力与安全评测 · 收录 · 原文 论文精选关注度5454 MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作（原文，在新标签页打开）
提出 MMSkillRisk 基准，评测多模态技能图像中的隐藏指令诱导 Agent 越权操作。
推荐理由论文给出图像载体攻击在九种模型与 harness 组合上的成功率，并说明任务完成与攻击成功可以同时发生。
SPY Lab · 收录 · 原文 新闻精选关注度5050 SPY Lab 研究：统一多模态模型无法凭记忆描述图像（原文，在新标签页打开）
SPY Lab 提出“模态失语症”概念，指统一多模态模型能生成记忆中的图像，却无法通过文本查询访问同一知识。研究用九张电影海报测试 ChatGPT-5，图像生成的整体错误率明显低于口头描述，且重大幻觉只出现在文字描述中。
推荐理由研究提出统一多模态模型能生成却无法描述记忆图像的现象，并展示其可绕过基于文本的安全过滤。
已经到底了