SpeechJBB:语码转换语音下大型音频语言模型的越狱基准(原文,在新标签页打开)
提出 SpeechJBB,评测语码转换语音下音频语言模型的越狱稳健性。
提出 SpeechJBB,评测语码转换语音下音频语言模型的越狱稳健性。
香港中文大学、北京理工大学与华为诺亚方舟实验室提出 MFA 框架,协同突破视觉语言模型的对齐、提示与审核层。
提出 Text-DJ,用拆分文本图网格越狱视觉语言模型。
提出基准 CHART HAL,细粒度评测图表理解中的幻觉。
提出 Jailbreak-AudioBench 评测音频语言模型的音频编辑越狱。
提出双重隐写越狱 Odysseus,用图像隐写绕过多模态系统安全过滤器。
推荐理由论文披露商业多模态系统安全过滤依赖恶意内容显式可见的假设,并给出跨模态隐藏载荷的完整攻击链与实测成功率。
提出多轮多模态越狱,并用 FragGuard 拦截有害响应。
提出 RedDiff,用强化扩散生成图像审计 VLM 情境安全失效。
提出 VIDEO STF 评测视频大模型输出重复并压力测试时序扰动。
提出 MM-Plan 多模态越狱框架,自动规划多轮图像编辑以越狱视觉独占目标。
构建 EpiReal-Bench,评测图像生成器将虚假主张渲染为可信证据。
推荐理由论文给出四款商用图像生成模型在虚假声明提示下的攻击成功率,并公开了基准与攻击框架,可对照检查自家模型的生成侧护栏。
用恐惧激活转向检验视觉语言模型的隐患判定准则。
提出路由 TopK SAE,把语音编码器稀疏码拆成语言与副语言通路。
提出 Artifact-Bench,评测 MLLM 检测并诊断 AI 生成视频伪影。
清华大学与鹏城实验室等机构的研究者提出纯视觉越狱攻击 VJA,把有害编辑指令编码进图像。
推荐理由论文给出视觉提示越狱在多个商业图像编辑模型上的成功率,并配套基准与免训练防御,便于评估图像编辑链路的安全缺口。
提出 SWhisper,用近超声波向语音驱动 LLM 隐蔽注入越狱提示。
推荐理由论文给出近超声隐蔽声学通道的完整建模与补偿方法,并报告了跨商用与开源语音模型的攻击成功率,语音接口的部署方可据此评估物理层风险。
提出 Prometheus,从展示图反推文生图模型的在售提示词。
哈尔滨工程大学、山东大学与西安电子科技大学的研究者提出 ASO,用 GRPO 优化视觉风格以放大越狱攻击。
推荐理由论文提出用强化学习优化图像风格来放大现有多模态越狱攻击,并给出跨模型与跨基线的成功率提升数据。
提出多轮意图欺骗越狱 iDecep,用良性意图伪装引出有害内容。
提出 VMI,用扰动图像在多轮对话中潜伏并仅在触发话题输出预定消息。
研究者提出 VidDoS,一个面向 Video-LLM 的通用能耗延迟攻击(ELA)框架,通过通用优化生成与实例无关的触发器,无需在推理时计算梯度。
提出 FERRET 框架,用扩展生成多轮多模态越狱对话。
提出 AudioHijack,用不可感知对抗音频对语音模型做上下文无关提示注入。
提出 SeedSnitch 与 PromptPirate,恢复种子后窃取扩散提示词。
提出删字变体越狱方法,利用重构与隐藏权衡绕过多模态模型安全过滤。
提出 CoTTA 隐蔽视觉提示注入,使多模态模型输出指定指令。
提出多图越狱框架 DMN,把有害意图拆进图像序列绕过安全护栏。
在 Gut-VLM 上评测内镜 VLM 的幻觉检测方法。
提出声学干扰攻击 AIA,用良性音频潜语义越狱音频语言模型。
提出 ARENA 音频红队框架,自动构造文本安全且音频接地的越狱输入。
提出 FRA-Attack,用频域对齐与梯度正则做可迁移定向视觉攻击。
提出 PaperGuard,用图文注入与梯度扰动抬高自动审稿分数并检测恶意指令。
提出 INFER+ 信息过载方法,越狱大型视觉语言模型。
提出监控深伪基准 CCDF,在统一编码后评测检测器对伪造犯罪事故录像的识别。
推荐理由十个主流深伪检测器在统一画质后仍无法区分前沿商业模型生成的监控录像,暴露了现有评测集与真实威胁之间的差距。
巴黎公立医院集团(AP-HP)就 Facebook 上三段 AI 深度伪造视频报案并联系 Meta,视频用 Pitié-Salpêtrière 医院寄生虫学专家 Renaud Piarroux 教授的声音和形象推销所谓「排虫」产品,未获其同意,目前已被删除。AP-HP 警告还有其他使用其医院 logo 或白大褂形象的内容在社交平台流传,并强调作为公立医疗机构不在社交媒体上做商业推广,此类内容可能误导网民使用无科学依据的产品,危害患者健康。
印度昌迪加尔民事法院在一起诉讼中裁定,暂时禁止三个 Facebook 页面发布或传播涉国大党人士 Amandeep Kumar(又名 Amandeep Jaintipura)的 AI 生成内容,并下令 Facebook 在下次听证前关闭“Thanedar uncle”“Kachi laan”“Batale Di Rajneeti”三个页面的公开访问。法院认为这些视频在未经核实事实的情况下刻意损害个人形象,带有超出正常公共批评的政治目的。三个页面分别拥有 2.2K、1.1K 和 11K 关注者,相关内容观看量约为 178K、180K 和 47.8K。Jaintipura 一方称,AI 伪造视频将他塑造成毒贩、反社会分子等负面形象,同时美化执政党 AAP 议员。此令作出时距旁遮普邦议会选举仅数月,是当地选举前第三起同类命令,禁令持续至 10 月 22 日下次听证。
提出FAB攻击,向声学基础模型植入可由环境声触发的后门。
推荐理由论文给出在无预训练数据、任务未知条件下对声学基础模型植入后门的方法,并量化了其在九项下游任务和物理场景中的影响。
构建多语言音视频 DeepFake 基准 BabelFake 并评测检测器。
提出 HazardArena 基准,用孪生场景评测 VLA 的语义安全。
提出 BackdoorVLM 基准,评测视觉语言模型微调中的后门攻击与防御。