SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准（原文，在新标签页打开）
提出SinoGlyphBench，用配对字形混淆诊断中文审核稳定性。
#多模态
今天新收录 131条今天新收录 131条
#多模态
今天新收录 131条
10月3日周六
星期六
论文追踪 · 收录 · 原文 论文 论文追踪 · 收录 · 原文 论文关注度3838 TC-UAP：针对图像转视频与微调定制的通用视频保护方法（原文，在新标签页打开）
提出 TC-UAP，用身份级多帧扰动保护视频免被定制复现身份。
论文追踪 · 收录 · 原文 论文关注度2828 生成图像更易被遗忘：面向合成图像检测的机器遗忘视角（原文，在新标签页打开）
提出机器遗忘式生成图像检测，用遗忘前后特征相似度区分自然图与生成图。
论文追踪 · 收录 · 原文 论文关注度3838 GeoDetect：面向视觉语言预训练模型的几何对抗检测方法（原文，在新标签页打开）
提出 GeoDetect 以几何分数检测视觉语言预训练模型的对抗样本。
论文追踪 · 收录 · 原文 论文关注度3333 Intent-Privilege OPSD：让视觉语言模型在隐式风险下兼顾安全与有用（原文，在新标签页打开）
提出 Intent-Privilege OPSD，对齐视觉语言模型在隐式风险下的安全与帮助性。
AI Incident Database · 收录 · 原文 新闻关注度3939 威斯康星州候选人 Cooke 就 AI 深度伪造视频向众议员 Van Orden 发出停止侵权函（原文，在新标签页打开）
美国威斯康星州第三选区民主党候选人 Rebecca Cooke 的律师于 9 月 30 日向共和党众议员 Derrick Van Orden 发出停止侵权函，指其多次使用 AI 生成视频，让 Cooke 说出她从未说过的话。这些发布在 Van Orden 的 X 账号上的视频带有自动标签，显示由 AI 图像与视频生成器 Grok Imagine 制作。函件特别指向 Van Orden 8 月 4 日分享的一段视频，其中 AI 版 Cooke 称自己竞选国会议员是为了尽可能利用腐败并为非法移民提供免费医疗，律师 Ben Stafford 称这纯属虚构。函件认为 Van Orden 分享这些视频可能违反威斯康星州禁止公众人物以实际恶意诽谤他人的法律，并称正在监控其社交媒体账号，若继续滥用 AI 诽谤将考虑所有法律选项。
Hugging Face Daily Papers · 收录 · 原文 论文关注度2626 视频生成模型的后训练与对齐综述（原文，在新标签页打开）
综述视频生成的后训练与对齐，并汇总基准与开放挑战。
The Guardian · 人工智能 · 收录 · 原文 新闻关注度5353 卫报测试：部分聊天机器人会移除图像中的宗教服饰，Claude拒绝（原文，在新标签页打开）
《卫报》测试 ChatGPT、Grok、Gemini 和 Claude，要求它们把一张 AI 生成图像中戴头巾的女性去除头巾。ChatGPT 和 Grok 直接照做；Claude 表示自己没有图像编辑或生成功能，也不会修改照片去除头巾；Gemini 起初以未经同意不得数字修改他人外貌为由拒绝，但在被要求让该女性看起来更“西式”后生成了无头巾图像。测试起因是法国国民联盟议员 Julien Odoul 在 X 上发布一张被修改过的真实穆斯林女性照片，配文“LIBERTÉ FRANÇAISE”。Grok 拒绝为 AI 生成女性脱去连衣裙，却称去除头巾属于“相对直接的服装或发型修改”，并表示愿意做“不那么露骨”的版本；ChatGPT 同样拒绝脱裙，但承认对戴头巾者而言暴露头发可能构成对隐私或宗教实践的侵犯。OpenAI、Google、xAI 和 Anthropic 均拒绝置评。
Gray Swan AI · 收录 · 原文 日期未知新闻关注度2828 Gray Swan 发起视觉漏洞挑战赛，聚焦多模态越狱（原文，在新标签页打开）
Gray Swan AI 推出 Visual Vulnerabilities 挑战赛，聚焦多模态越狱，要求参赛者用一张或多张图片作为提示词的一部分，绕过 AI 模型的安全护栏与内容过滤，诱导其产生被禁止的行为。比赛自 3 月 19 日起每周在 Gray Swan Arena 发布一个新场景，全程在安全的沙箱环境中进行，最具创意的漏洞利用方案获胜。
OpenAI Deployment Safety · 收录 · 原文 新闻精选关注度4343 OpenAI 发布 ChatGPT Images 2.5 System Card（原文，在新标签页打开）
OpenAI 发布 ChatGPT Images 2.5 System Card，说明 GPT-Image-2.5-Sunburst 与 GPT-Image-2.5-Flare 的训练数据来源与安全评估结果。两个模型使用公开互联网数据、第三方合作数据以及用户和人类训练师提供的数据训练，数据处理流程包含过滤以降低个人信息，并用安全分类器减少有害或敏感内容。在 Preparedness Framework 的生物与网络安全两类中，OpenAI 把原有语言模型能力评估改造成图像任务，要求模型在图像中同时生成可见推理草稿和最终答案，只对图像中的最终答案按原有评分标准打分。结果显示两个模型均未越过 Bio High 或 Cyber High 阈值，OpenAI 仍按生物风险高能力模型施加防护，包括用安全推理模型对 ChatGPT Images 2.5 的全部输入输出应用生物风险安全策略的图像版适配。
推荐理由System Card 披露了图像模型在生物与网络安全两类危险能力上的评估方法，以及未过阈值仍施加高能力防护的处置逻辑。
arXiv · 收录 · 原文 论文关注度3232 ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害（原文，在新标签页打开）
构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险。
Sizhe Chen@_Sizhe_Chen_ · 收录 · 原文 X关注度5050 研究者提出 Repeat-After-Me 黑盒自适应视觉提示注入攻击（原文，在新标签页打开）
研究者提出 Repeat-After-Me，一种黑盒自适应视觉提示注入方法，攻击者把指令隐藏在图片中，智能体读取后执行，导致 PII 泄露或调用恶意工具。作者称这是首个黑盒自适应视觉提示注入，论文见 https://arxiv.org/pdf/2609.04533。
Bo Li@uiuc_aisecure · 收录 · 原文 X关注度2828 UIUC 多模态红队智能体 ARMs 亮相 ICLR（原文，在新标签页打开）
非常期待这个多模态红队智能体，由我出色的学生 @xun_aq @ZRChen_AISafety @MintongKang @jiaweizhang 和产业合作者 @MinzhouP @Shuang 领导！请来 ICLR 我们的海报前给出反馈！！@xun_aq 本人就在 ICLR 现场！
引用𝕏un@xun_aqExcited to share ARMs, our adaptive red-teaming agent for multimodal models at #ICLR2026! ARMs orchestrates diverse multimodal attack strategies for policy-driven safety evaluation, achieving SOTA red-teaming performance with +52.1% average ASR improvement over prior baselines. See you on Sat. afternoon at the poster session! 🇧🇷📍 Sat, Apr 25, 2026 · 3:15 PM–5:45 PM Pavilion 4 · P4-#4015
Google DeepMind@GoogleDeepMind · 收录 · 原文 X关注度4343 Google DeepMind 播客探讨 AI 内容溯源与水印（原文，在新标签页打开）
当 AI 生成内容变得如此逼真，我们如何验证哪些是人、机器或自然创造的？ 我们在播客中探讨溯源的重要作用——以及不可感知的水印如何保护数字媒体和生物设计。↓ 时间轴： 00:00 介绍 00:34 什么是水印？ 04:35 SynthID 15:16 图像与视频 19:28 SynthID Bio 28:00 韧性的未来
Florian Tramèr@florian_tramer · 收录 · 原文 X关注度5050 张杰谈VLM提示注入防御思路（原文，在新标签页打开）
当 @JieZhang_ETH 提出这个项目时，我开玩笑说我知道这想法来自他而不是 LLM，因为它太古怪了。 我这是赞美！ 当我们被 AI 垃圾研究淹没时，偏离常规、尝试古怪的东西比以往任何时候都更重要。
10月2日周五
星期五
Mistral AI · 收录 · 原文 新闻精选关注度4343 Mistral 发布 Shieldstral：3B 开源多模态安全分类器（原文，在新标签页打开）
Mistral 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，把内容审核建模为策略自适应的问答任务，在推理时接受自然语言政策而无需重新训练。模型每次请求由 <Instruct> 评估上下文与严格度、<Query> 单个是非问题、<Document> 待判定内容三部分组成，只读取 yes 和 no 两个 token 的 logits 并做 softmax 归一化，输出连续安全分数。Mistral 称其在文本安全、拒答检测、策略适应性和多模态基准上匹配或超过最多 7 倍于其规模的开放护栏模型，可在单张 16GB NVIDIA GPU 上运行，以 Apache 2.0 许可开放权重。训练上统一异构数据集的标签体系，用对比式改写让模型区分相近政策，并用视觉语言重排器过滤图像数据，最后通过 LoRA 微调与 SLERP 合并多个 checkpoint。
推荐理由Mistral 把内容审核改写成推理时用自然语言提问的问答任务，一个 3B 权重即可适配新政策而无需重训。
Hugging Face Daily Papers · 收录 · 原文 论文关注度2525 SECRET：用源条件化中继引导缓解音视频大语言模型的幻觉（原文，在新标签页打开）
提出训练无关的 SECRET，对问题表征做源条件转向以缓解音视频模型幻觉。
arXiv：可解释性 · 收录 · 原文 论文关注度2828 RASteer：面向扩散模型概念擦除的保留感知激活引导方法（原文，在新标签页打开）
提出 RASteer，推理时按保留子空间校正激活以擦除文生图目标概念。
Tech Policy Press · 收录 · 原文 新闻关注度2424 Apple 的 Reference Image 能否帮助抵御 AI 图像操纵？（原文，在新标签页打开）
Apple 随 iPhone 18 Pro 推出的 Reference Image 由相机传感器在拍摄时为像素级签名，提供硬件层面的图像真实性证明，并可在设备上与普通照片切换对比。该模式需主动开启，重启进入严格状态跳过去马赛克、色调映射与压缩，经 Apple Private Cloud Compute 校验配对后再加工并由 Apple 长期密钥签名，开发后的数字负片 30 天后清除。它延续 C2PA 思路但不依赖可能侵犯隐私的信息采集，仍有问题待解。 ### 苹果iPhone 18 Pro引入“参考图”：从源头给影像加签 上周，苹果发布了 iPhone 18 Pro，其中一项名为“Apple Reference Image”（参考图）的新摄影特性正式亮相——这标志着这家硅谷巨头开始涉足内容溯源领域。苹果承诺：“现在你可以证明一张用 iPhone 拍摄的图像的真实性。
Hugging Face Daily Papers · 收录 · 原文 论文关注度4646 VGBench 诊断语音 Agent 的声学上下文门控能力（原文，在新标签页打开）
论文提出 VGBench，用于评测语音 Agent 在旁谈、自语和说话人切换场景下是否该采取行动。
Thinking Machines · 收录 · 原文 新闻关注度2222 Thinking Machines Lab 发布交互模型研究预览：原生实时人机协作（原文，在新标签页打开）
Thinking Machines Lab 发布交互模型（interaction models）研究预览，该模型从零训练，原生处理交互而非依赖外部脚手架，可连续接收音频、视频和文本并实时思考、回应与行动。模型采用多流、微轮次（micro-turn）设计以保证实时响应，支持无缝对话管理、言语与视觉插话、同时说话、时间感知以及边听说边并发调用工具、搜索和生成 UI。研究预览在智能与响应速度的综合表现上达到 SOTA，并展现出质变的新交互能力。
Cisco · 收录 · 原文 新闻关注度2929 Cisco LLM 安全排行榜新增图像与音频模态，Gemini 3.1 Pro Preview 图像抗攻击率 93.9% 居首（原文，在新标签页打开）
Cisco LLM 安全排行榜自 6 月以来新增 102 项评测，覆盖文本、图像、音频三种模态，模型总数达 136 个，并首次加入 55 个图像模型和 14 个音频模型。图像测试中，Google Gemini 3.1 Pro Preview 以 93.9% 的抗攻击率居首，Anthropic Claude Opus 4.5 以 93.7% 紧随其后，均属 85–100% 的“Excellent”区间；Mistral Magistral Small 2509 仅拒答 23.0% 的攻击。所有模型均在无额外护栏的基础配置下测试，新增模态切换可单独查看文本、图像或音频得分。
arXiv：防御、护栏、反学习与有害微调 · 收录 · 原文 论文关注度4343 ShieldCLIP：面向多模态基础模型有害内容的选择性安全对齐（原文，在新标签页打开）
研究提出 ShieldCLIP，首个按每个模态自身安全状态而非样本来源来条件化安全对齐的框架，在保留安全内容的同时只重定向不安全部分。
10月1日周四
星期四
arXiv · 收录 · 原文 论文关注度3939 多模态大模型能否生成并检测社交媒体多模态假新闻（原文，在新标签页打开）
研究提出一个由故事智能体、图像智能体和评论智能体协作的多智能体框架，用于生成能与真实新闻对抗的虚假社交媒体帖子。
arXiv：可解释性 · 收录 · 原文 论文关注度2525 FLIP：面向视觉语言模型的末层推理时探针（原文，在新标签页打开）
提出 FLIP 末层推理时探针，检验视觉语言模型干预效应的来源。
arXiv：可解释性 · 收录 · 原文 论文关注度88 机制可解释性揭示脑到语音解码器中的共享因果子空间（原文，在新标签页打开）
用 activation patching 揭示脑到语音解码器的共享因果子空间。
arXiv：可解释性 · 收录 · 原文 论文关注度1919 通过稀疏自编码器实现神经音频编解码器的可解释框架：面向年龄、性别与口音的探索（原文，在新标签页打开）
用 SAE 分析神经音频编解码器如何编码年龄、性别与口音。
arXiv：可解释性 · 收录 · 原文 论文关注度1818 大型音频语言模型中的时间绑定机制研究（原文，在新标签页打开）
用激活交换分析音频语言模型的事件时间绑定。
arXiv：可解释性 · 收录 · 原文 论文关注度4646 SteerProbe：学习绕过视觉语言模型安全引导的黑盒攻击（原文，在新标签页打开）
研究者提出 SteerProbe，一种仅依赖输出的黑盒攻击，通过学习为未见请求选择有效的改写方式，绕过视觉语言模型（VLM）的激活引导防御。
arXiv：可解释性 · 收录 · 原文 论文关注度2222 D-Scope：用稀疏自编码器分解与操控扩散 Transformer（原文，在新标签页打开）
提出 D-Scope，用视觉质心检索 SAE 解码方向并转向扩散生成。
Hugging Face Daily Papers · 收录 · 原文 论文关注度4141 MIST 压力测试：无关图像会扰动 VLM 评判者标签（原文，在新标签页打开）
提出 MIST 压力测试，检验无关图像是否扰动 VLM 评判者标签。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度5050 CRACK：用多智能体辩论越狱多层安全过滤的 T2I 模型（原文，在新标签页打开）
提出 CRACK，用多智能体辩论在黑盒下越狱文生图多层安全过滤。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度4646 DIVA：针对离散扩散视觉语言模型的跨步条件传播视觉越狱（原文，在新标签页打开）
提出 DIVA，利用跨步条件传播对离散扩散视觉语言模型实施视觉越狱。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文精选关注度5959 Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击（原文，在新标签页打开）
提出 Repeat-After-Me 自适应视觉提示注入，诱导 VLM 智能体执行指定任务。
推荐理由论文给出黑盒视觉提示注入在多个前沿 VLM 上的成功率，并演示了在真实 OpenClaw 智能体上覆写配置文件的完整链路。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度4646 DIVA：利用视觉锚点对视频生成模型实施多模态越狱（原文，在新标签页打开）
提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度4343 后验重加权框架解释并缓解多模态大模型上下文越狱（原文，在新标签页打开）
用后验重加权解释多模态上下文越狱，并提出风险门控的良性示例注入防御。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度5050 SPARK：在 KV 记忆层对齐表征以防御视觉语言模型越狱（原文，在新标签页打开）
提出 SPARK，在预填充阶段修复多模态 KV 记忆以防御视觉语言模型越狱。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度4343 用扩散模型隐空间扰动防御视觉语言模型的地理位置隐私泄露（原文，在新标签页打开）
提出扩散潜空间地理扰动防御，抑制视觉语言模型泄露精确地理位置。
arXiv：越狱、提示注入、投毒与防御 · 收录 · 原文 论文关注度5050 PALS：面向全双工语音对话模型对抗鲁棒性的心理声学对齐潜空间平滑（原文，在新标签页打开）
提出 PALS，用潜空间平滑防御全双工语音对话的对抗扰动。
arXiv：对齐、欺骗与监督 · 收录 · 原文 论文关注度5050 DRIFT：通过偏转生成轨迹去除扩散模型水印的黑盒攻击（原文，在新标签页打开）
提出黑盒攻击 DRIFT，偏转生成轨迹以去除扩散水印。