Open-MMUnlearning 发布:统一多模态大模型遗忘方法与评测框架(原文,在新标签页打开)
提出统一框架评测多模态大模型的遗忘方法。
提出统一框架评测多模态大模型的遗忘方法。
提出 CARE,离线认证 VLA 加速配置的回合级失败风险并选出最快合格候选。
提出 OrthoPurify,用正交投影清除视觉语言模型适配器中的劫持方向。
提出 WebMirage,用局部对抗图像劫持视觉网页 Agent 的浏览器操作。
推荐理由论文把视觉红队建模为从视觉定位到浏览器执行的端到端过程,展示了该攻击在多种 Agent 配置下的成功率与现有防御的覆盖情况。
提出利用祖先 VLM 优化对抗补丁,使已部署 VLA 任务失败。
提出 SOUL 稀疏特征策略遗忘,缓解 VLA 状态幻觉。
提出 Safety-Aware Pruning,缓解视觉 token 剪枝放大的多模态越狱。
ServiceNow AI Research 等机构的研究者提出持久视觉记忆注入,使对抗图像经缓存在触发时操控输出。
推荐理由论文证明对抗图像的影响可在图像被遮蔽后仍留在 KV cache 中,为评估缓存复用与上下文压缩的安全性提供了新的攻击面。
西班牙数据保护局(AEPD)就一份市政视频监控系统采购文件向某市政府发出警告,该文件的技术规格明确要求录像设备具备面部检测与识别功能。AEPD 指出,这些功能可能构成基于 AI 的图像分析乃至唯一身份识别处理,但现有文件无法确定功能是否会被实际启用,也无法确定是否会生成生物特征模板或向量、进行 1:1 或 1:N 比对。AEPD 要求该市政府在系统投入使用前,逐项评估每项 AI 功能对具体目的是否必要且相称,确保非必要功能默认关闭,并针对面部识别系统、参考图像库、比对流程、匹配阈值、误报漏报及人工介入等开展数据保护影响评估。若面部识别用于唯一身份识别,还须适用 RGPD 第 4.14 条和第 9 条关于生物特征数据的强化规则。AEPD 表示,若未采取必要措施,可能启动调查或包括处罚在内的纠正程序。
Nikon 表示正在重新审查新加坡国立大学光学工程师 Ning Xu 提交的参赛信息,其作品此前获得第 16 届 Small World in Motion 显微摄影比赛冠军。据 Nature 报道,该视频展示一名原发性纤毛运动障碍患儿肺组织样本中纤毛的运动,纤毛下方出现无法辨认的红、蓝、紫结构。佛罗里达大学生物工程研究者 Edward Phelps 在 LinkedIn 指出,紫色结构类似线粒体,但细胞核大小的细胞外线粒体构成的这种上皮下结构在生物学上并不存在;UT Southwestern 博士生 Ian Donovan 则指出视频带有 Google DeepMind 推出的 SynthID 水印。Nikon 此前更新获奖博文,说明后期处理与可视化流程中使用了无监督神经网络方法,以区分并可视化灰度数据中的特征。
尼康正复审第 16 届 Small World in Motion 显微视频比赛冠军作品,该作品由当时任职清华大学的徐宁创作,拍摄一名原发性纤毛运动障碍(PCD)患儿气道纤毛的异常搏动。有评论者指出视频含 SynthID 水印、部分生物结构行为异常,徐宁回应称 AI 未用于生成实验影像或纤毛运动,仅用于后期对灰度重建数据着色,并称正在准备更详细的光学系统说明与纤毛运动定量分析。
提出流匹配逆向框架,从多向量视觉文档索引重构页面。
推荐理由论文给出多向量视觉文档索引可被反演的具体成功率与两种廉价防护的失效边界,运营向量库的团队可据此重新评估索引的敏感级别。
vLLM 的多模态镜像缓存可在请求被拒绝后失步:前端认为媒体已经缓存,而引擎端没有接收载荷,后续复用相同媒体哈希的请求会触发引擎断言并造成拒绝服务。问题涉及默认 lru 多模态缓存。修复把前端缓存提交与请求准入绑定,并将接收端错误隔离到单个请求。 GitHub 公告标注受影响版本为 < 0.28.0,修复版本为 0.28.0。
推荐理由公告给出了 vLLM 多模态缓存失步的完整触发链与受影响版本,自建推理服务的团队可据此判断是否需要升级或加防护。
vLLM 的多模态请求可把未经充分校验的处理器参数传给图像和视频处理器,导致资源分配过大、共享服务进程内存耗尽并中断。问题涉及 Isaac、InternVL、H2OVL 等处理器及共享输入边界;没有外部鉴权层的部署可能被未认证客户端触发。维护者通过默认拒绝请求级处理器覆盖来修复,可信客户端需显式启用。 公告称该请求级字段从 v0.7.3 引入,修复版本为 0.31.0。
推荐理由vLLM 多模态处理器存在远程拒绝服务路径,部署方需评估 API key 与外部认证层的实际防护效果。
vLLM 的动态 auto_map.AutoProcessor 路径存在远程代码执行风险:当运营方启用 --trust-remote-code,且攻击者能控制所服务模型仓库的某个 revision 时,请求可使服务导入该 revision 的处理器 Python 代码。服务器还需能获取或已缓存该 revision;默认 trust_remote_code=False 不受影响。公告指出 /tokenize 不受 vLLM 的 API-key 路由鉴权保护,需要额外访问控制。 GitHub 公告标注受影响版本为 >= 0.7.3, < 0.31.0,修复版本为 0.31.0。
推荐理由公告给出受影响配置、未认证端点与 CVSS 9.8 评分,部署 vLLM 多模态服务的团队可据此排查自身配置。
Futurism 调查发现,Facebook 上大量账号持续上传 AI 生成的暴力虐童视频,Meta 未能有效清理。这些视频描绘婴儿和幼儿被殴打、烧伤、关进冰柜等场景,往往获得数千甚至数万次互动,部分评论者并未意识到内容为合成。Meta 回应称对真实或 AI 生成的儿童身体伤害内容有严格规则并已删除相关视频,但其针对儿童暴力内容的政策未明确 AI 生成内容是否属于豁免范围。Futurism 向 Meta 举报了 8 个分享此类视频的账号,最终仅 2 个被删除,其中一个最初还被判定不违规,处置时间超过一周;记者标记给 Meta 公关团队的视频多数被删除,但仍有部分留存。Futurism 称其粗略测试显示 Anthropic 的 Claude 能评估视频中是否包含针对儿童的暴力画面,而 Meta 自身似乎也已部署可识别此类视频的系统。
推荐理由调查通过举报测试暴露平台审核响应缓慢,从事内容审核的团队可借此了解真实举报流程的处置差距。
Google 推出 SynthID 验证网站,任何人都可上传图像、视频或音频,检测其是否由 AI 生成。该工具此前仅向部分记者、媒体从业者和研究人员开放测试,现面向公众开放,支持 JPG、PNG、MP4、MOV、WAV、MP3 等格式。SynthID 已用于 Nano Banana、Veo、Lyria 及 Gemini、Flow、ProducerAI、Vids 等生成工具,OpenAI、Nvidia、Kakao 也已支持,Google 称目前每天收到 100 万次内容验证请求。
Scale AI 与 Elorian 联合发布 Humanity's Sixth Sense(HSS)基准,用于评测直觉视觉推理,包含 288 张图片和 234 段视频(共 17.6 小时)上的 522 道开放式任务。人类参与者准确率 93.1%,最强模型 GPT-6-astra 仅 53.6%,中位模型 30.9%;移除图像或视频后 GPT-6-astra 降至 6.6%。评测覆盖 8 家厂商的 25 个多模态模型,模型平均每题消耗 4046 个推理 token,提高推理强度在部分子领域反而下降,如 GPT-6-astra 在 retrodiction 上从 high 到 xhigh 掉 14 分。8573 次失败中 94% 源于感知或潜在推断,仅 5% 源于逻辑错误,最主要原因是漏掉关键视觉线索(21%)和误认对象、人物或角色(20%)。
加拿大举报热线接到报告,AI 正被用于制作青少年性化深度伪造内容。该热线将此类内容纳入其受理范围,相关举报涉及未成年人。
提出 VICS-G 可行未来解码,重排冻结 VLA 策略的动作候选。
分析潜空间图像水印对像素扰动的内在鲁棒性上限。
提出 STCA,对驾驶视频 VLM 构造可迁移的时空对抗扰动。
提出 IAU-FOA,构造可迁移图像扰动以诱导多模态模型输出目标语义。
遮挡审计 AdvWave-P 音频越狱的频带必要性与解码层关联。
固定有害指令,单轴归因图像到文本越狱的图像属性。
提出 KANSteer,用非线性激活引导拟合文生图有序概念轨迹。
研究者提出一种轻量级路由 logits 安全检测器,在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号,在生成前判断多模态请求是否安全,且不修改模型参数或专家路由。
香港理工大学研究者用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性。
推荐理由DIBench 用配对评测把移动 GUI 智能体的决策完整性单独量化,并给出完成率会高估可信度的具体数据。
提出手语转文本接入儿童安全过滤的部署前审计协议。
提出 World Models' Last Exam 评测视频物理一致性。
亚利桑那州上诉法院撤销了 Gabriel Horcasitas 因 2021 年钱德勒路怒枪杀案被判的 10 年半刑期,理由是量刑法官受到一段 AI 受害者视频的影响。该视频由受害者 Christopher Pelkey 的家人用一段旧录像、一张照片和 Pelkey 姐姐撰写的脚本生成,并在量刑时播放。量刑法官当时表示他“很喜欢这个 AI”,并提到 Pelkey 的 AI 陈述表达了“明显的宽恕”。上诉法院认为这段 AI 视频使量刑法官产生偏见,导致判决从根本上不公,因此维持过失杀人定罪,但撤销刑期并发回重新量刑。
提出 DrivingBench,评测通用视觉语言模型能否闭环驾驶真车。
提出 RA-Det,利用鲁棒性不对称检测 AI 生成图像。
研究视觉语言模型在协作中能否表示并说出指称不确定性。
Potts 律所向美国司法小组 multidistrict litigation(JPML)提出动议,请求将全美多起指控 xAI 的 Grok 生成描绘未成年人的性化图像的联邦诉讼集中到一个联邦地区法院进行协调预审。律所称这些案件涉及 Grok、xAI 在系统开发、设计、护栏、警示与监督方面的重叠事实与法律问题,集中审理可避免裁决不一致、减少重复取证与动议。案件名为 In Re: Artificial Intelligence Minor Sexual Exploitation Litigation,案号 1:26-P-49。JPML 将裁定是否符合合并审理条件以及协调程序在何地进行。
提出 PLW,用微调把先前对话敏感触发编码进后续生成图像。
Mistral AI 发布 1 万亿参数多模态模型 Mistral Large 4(ML4),暂不开放权重,仅通过带护栏的公开接口访问,计划在安全测试完成后三周内开放权重。该模型完全基于 Mistral 自有算力训练,仅使用 4,000 块 Nvidia GPU,官方称比中国竞争对手少两到三倍。ML4 重点优化网络安全、金融和芯片设计等场景,基准测试结果尚未公布。
Agora Digitale Transformation 的早期研究考察欧盟各国议员受到性化深伪内容影响的情况。机构报告称,在研究涉及的 5,872 名各国议员中,147 人被相关内容描绘或关联,其中 138 人为女性、9 人为男性。这与后续针对欧洲议会议员的 50 人统计属于不同研究群体。
推荐理由这份审计覆盖欧盟 27 国 5872 名现任议员,量化了深度伪造色情内容的暴露分布与执法落差,可供治理讨论参考。
ASSET 研究组报告 GhostCommit,讨论图像中的不可信指令未被代码审查工具识别、随后影响编码 Agent 行为的风险。研究指出,相同底层模型在不同产品环境中的表现可能不同。相关结果来自作者受控测试及代码审查调查,未报告真实受害事件,不能将个别测试结果扩大为所有产品配置均受影响。
推荐理由研究显示同一模型在不同编码工具下对图片载荷的反应截然相反,说明决定结果的是工具外壳而非模型本身。
评测文本守卫与激活探针能否拦住机器人隐含伤害指令。