SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准(original, opens in a new tab)
提出SinoGlyphBench，用配对字形混淆诊断中文审核稳定性。
Translation in progress Some entries still include text in the original language.
#多模态
Indexed today 131 itemsIndexed today 131 items
#多模态
Indexed today 131 items
Page 10 Newer contentBack to latest
Oct 3Sat
Saturday
论文追踪 · Indexed · Original Paper 论文追踪 · Indexed · Original PaperAttention3838 TC-UAP：针对图像转视频与微调定制的通用视频保护方法(original, opens in a new tab)
提出 TC-UAP，用身份级多帧扰动保护视频免被定制复现身份。
论文追踪 · Indexed · Original PaperAttention2828 生成图像更易被遗忘：面向合成图像检测的机器遗忘视角(original, opens in a new tab)
提出机器遗忘式生成图像检测，用遗忘前后特征相似度区分自然图与生成图。
论文追踪 · Indexed · Original PaperAttention3838 GeoDetect：面向视觉语言预训练模型的几何对抗检测方法(original, opens in a new tab)
提出 GeoDetect 以几何分数检测视觉语言预训练模型的对抗样本。
论文追踪 · Indexed · Original PaperAttention3333 Intent-Privilege OPSD：让视觉语言模型在隐式风险下兼顾安全与有用(original, opens in a new tab)
提出 Intent-Privilege OPSD，对齐视觉语言模型在隐式风险下的安全与帮助性。
AI Incident Database · Indexed · Original NewsAttention3939 威斯康星州候选人 Cooke 就 AI 深度伪造视频向众议员 Van Orden 发出停止侵权函(original, opens in a new tab)
美国威斯康星州第三选区民主党候选人 Rebecca Cooke 的律师于 9 月 30 日向共和党众议员 Derrick Van Orden 发出停止侵权函，指其多次使用 AI 生成视频，让 Cooke 说出她从未说过的话。这些发布在 Van Orden 的 X 账号上的视频带有自动标签，显示由 AI 图像与视频生成器 Grok Imagine 制作。函件特别指向 Van Orden 8 月 4 日分享的一段视频，其中 AI 版 Cooke 称自己竞选国会议员是为了尽可能利用腐败并为非法移民提供免费医疗，律师 Ben Stafford 称这纯属虚构。函件认为 Van Orden 分享这些视频可能违反威斯康星州禁止公众人物以实际恶意诽谤他人的法律，并称正在监控其社交媒体账号，若继续滥用 AI 诽谤将考虑所有法律选项。
1 reports ·1 sources
- AI Incident Database威斯康星州候选人 Cooke 就 AI 深度伪造视频向众议员 Van Orden 发出停止侵权函Original
Hugging Face Daily Papers · Indexed · Original PaperAttention2626 视频生成模型的后训练与对齐综述(original, opens in a new tab)
综述视频生成的后训练与对齐，并汇总基准与开放挑战。
The Guardian · 人工智能 · Indexed · Original NewsAttention5353 Guardian test: some chatbots remove religious clothing from images, Claude refuses(original, opens in a new tab)
The Guardian tested ChatGPT, Grok, Gemini, and Claude, asking them to remove the hijab from a woman in an AI-generated image. ChatGPT and Grok did it directly; Claude said it has no image editing or generation capabilities and would not modify photos to remove a hijab; Gemini initially refused on the grounds that it should not digitally alter someone's appearance without consent, but after being asked to make the woman look more "Western," it generated an image without the hijab. The test was prompted by French National Rally MP Julien Odoul posting a modified photo of a real Muslim woman on X with the caption "LIBERTÉ FRANÇAISE." Grok refused to remove a dress from an AI-generated woman but called removing a hijab a "relatively straightforward clothing or hairstyle modification" and said it was willing to make a "less explicit" version; ChatGPT also refused to remove the dress but acknowledged that exposing hair for a hijab-wearing person could constitute an infringement of privacy or religious practice. OpenAI, Google, xAI, and Anthropic all declined to comment.
1 reports ·1 sources
- The Guardian · 人工智能Guardian test: some chatbots remove religious clothing from images, Claude refusesOriginal
Gray Swan AI · Indexed · Original Date unknownNewsAttention2828 Gray Swan 发起视觉漏洞挑战赛，聚焦多模态越狱(original, opens in a new tab)
Gray Swan AI 推出 Visual Vulnerabilities 挑战赛，聚焦多模态越狱，要求参赛者用一张或多张图片作为提示词的一部分，绕过 AI 模型的安全护栏与内容过滤，诱导其产生被禁止的行为。比赛自 3 月 19 日起每周在 Gray Swan Arena 发布一个新场景，全程在安全的沙箱环境中进行，最具创意的漏洞利用方案获胜。
OpenAI Deployment Safety · Indexed · Original NewsSelectedAttention4343 OpenAI 发布 ChatGPT Images 2.5 System Card(original, opens in a new tab)
OpenAI 发布 ChatGPT Images 2.5 System Card，说明 GPT-Image-2.5-Sunburst 与 GPT-Image-2.5-Flare 的训练数据来源与安全评估结果。两个模型使用公开互联网数据、第三方合作数据以及用户和人类训练师提供的数据训练，数据处理流程包含过滤以降低个人信息，并用安全分类器减少有害或敏感内容。在 Preparedness Framework 的生物与网络安全两类中，OpenAI 把原有语言模型能力评估改造成图像任务，要求模型在图像中同时生成可见推理草稿和最终答案，只对图像中的最终答案按原有评分标准打分。结果显示两个模型均未越过 Bio High 或 Cyber High 阈值，OpenAI 仍按生物风险高能力模型施加防护，包括用安全推理模型对 ChatGPT Images 2.5 的全部输入输出应用生物风险安全策略的图像版适配。
Why it was selectedSystem Card 披露了图像模型在生物与网络安全两类危险能力上的评估方法，以及未过阈值仍施加高能力防护的处置逻辑。
arXiv · Indexed · Original PaperAttention3232 ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害(original, opens in a new tab)
构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险。
Sizhe Chen@_Sizhe_Chen_ · Indexed · Original XAttention5050 研究者提出 Repeat-After-Me 黑盒自适应视觉提示注入攻击(original, opens in a new tab)
研究者提出 Repeat-After-Me，一种黑盒自适应视觉提示注入方法，攻击者把指令隐藏在图片中，智能体读取后执行，导致 PII 泄露或调用恶意工具。作者称这是首个黑盒自适应视觉提示注入，论文见 https://arxiv.org/pdf/2609.04533。
Bo Li@uiuc_aisecure · Indexed · Original XAttention2828 UIUC 多模态红队智能体 ARMs 亮相 ICLR(original, opens in a new tab)
非常期待这个多模态红队智能体，由我出色的学生 @xun_aq @ZRChen_AISafety @MintongKang @jiaweizhang 和产业合作者 @MinzhouP @Shuang 领导！请来 ICLR 我们的海报前给出反馈！！@xun_aq 本人就在 ICLR 现场！
Quoted post𝕏un@xun_aqExcited to share ARMs, our adaptive red-teaming agent for multimodal models at #ICLR2026! ARMs orchestrates diverse multimodal attack strategies for policy-driven safety evaluation, achieving SOTA red-teaming performance with +52.1% average ASR improvement over prior baselines. See you on Sat. afternoon at the poster session! 🇧🇷📍 Sat, Apr 25, 2026 · 3:15 PM–5:45 PM Pavilion 4 · P4-#4015
Google DeepMind@GoogleDeepMind · Indexed · Original XAttention4343 Google DeepMind podcast explores AI content provenance and watermarking(original, opens in a new tab)
When AI-generated content becomes so realistic, how do we verify what was created by humans, machines, or nature? In our podcast, we explore the important role of provenance—and how imperceptible watermarks can protect digital media and biological designs. ↓ Timeline: 00:00 Introduction 00:34 What is watermarking? 04:35 SynthID 15:16 Images and video 19:28 SynthID Bio 28:00 The future of resilience
1 reports ·1 sources
View the event timeline and all reportsFlorian Tramèr@florian_tramer · Indexed · Original XAttention5050 Jie Zhang discusses VLM prompt injection defense ideas(original, opens in a new tab)
When @JieZhang_ETH proposed this project, I joked that I knew the idea came from him rather than an LLM, because it was too quirky. That's a compliment! When we are flooded with AI junk research, going off the beaten path and trying quirky things is more important than ever.
1 reports ·1 sources
- X @florian_tramerJie Zhang discusses VLM prompt injection defense ideasOriginal
Oct 2Fri
Friday
Mistral AI · Indexed · Original NewsSelectedAttention4343 Mistral 发布 Shieldstral：3B 开源多模态安全分类器(original, opens in a new tab)
Mistral 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，把内容审核建模为策略自适应的问答任务，在推理时接受自然语言政策而无需重新训练。模型每次请求由 <Instruct> 评估上下文与严格度、<Query> 单个是非问题、<Document> 待判定内容三部分组成，只读取 yes 和 no 两个 token 的 logits 并做 softmax 归一化，输出连续安全分数。Mistral 称其在文本安全、拒答检测、策略适应性和多模态基准上匹配或超过最多 7 倍于其规模的开放护栏模型，可在单张 16GB NVIDIA GPU 上运行，以 Apache 2.0 许可开放权重。训练上统一异构数据集的标签体系，用对比式改写让模型区分相近政策，并用视觉语言重排器过滤图像数据，最后通过 LoRA 微调与 SLERP 合并多个 checkpoint。
Why it was selectedMistral 把内容审核改写成推理时用自然语言提问的问答任务，一个 3B 权重即可适配新政策而无需重训。
Hugging Face Daily Papers · Indexed · Original PaperAttention2525 SECRET：用源条件化中继引导缓解音视频大语言模型的幻觉(original, opens in a new tab)
提出训练无关的 SECRET，对问题表征做源条件转向以缓解音视频模型幻觉。
arXiv：可解释性 · Indexed · Original PaperAttention2828 RASteer: Retention-Aware Activation Steering for Concept Erasure in Diffusion Models(original, opens in a new tab)
Propose RASteer, which corrects activations according to a retention subspace at inference time to erase target concepts in text-to-image generation.
Tech Policy Press · Indexed · Original NewsAttention2424 Apple 的 Reference Image 能否帮助抵御 AI 图像操纵？(original, opens in a new tab)
Apple 随 iPhone 18 Pro 推出的 Reference Image 由相机传感器在拍摄时为像素级签名，提供硬件层面的图像真实性证明，并可在设备上与普通照片切换对比。该模式需主动开启，重启进入严格状态跳过去马赛克、色调映射与压缩，经 Apple Private Cloud Compute 校验配对后再加工并由 Apple 长期密钥签名，开发后的数字负片 30 天后清除。它延续 C2PA 思路但不依赖可能侵犯隐私的信息采集，仍有问题待解。 ### 苹果iPhone 18 Pro引入“参考图”：从源头给影像加签 上周，苹果发布了 iPhone 18 Pro，其中一项名为“Apple Reference Image”（参考图）的新摄影特性正式亮相——这标志着这家硅谷巨头开始涉足内容溯源领域。苹果承诺：“现在你可以证明一张用 iPhone 拍摄的图像的真实性。
Hugging Face Daily Papers · Indexed · Original PaperAttention4646 VGBench 诊断语音 Agent 的声学上下文门控能力(original, opens in a new tab)
论文提出 VGBench，用于评测语音 Agent 在旁谈、自语和说话人切换场景下是否该采取行动。
Thinking Machines · Indexed · Original NewsAttention2222 Thinking Machines Lab 发布交互模型研究预览：原生实时人机协作(original, opens in a new tab)
Thinking Machines Lab 发布交互模型（interaction models）研究预览，该模型从零训练，原生处理交互而非依赖外部脚手架，可连续接收音频、视频和文本并实时思考、回应与行动。模型采用多流、微轮次（micro-turn）设计以保证实时响应，支持无缝对话管理、言语与视觉插话、同时说话、时间感知以及边听说边并发调用工具、搜索和生成 UI。研究预览在智能与响应速度的综合表现上达到 SOTA，并展现出质变的新交互能力。
Cisco · Indexed · Original NewsAttention2929 Cisco LLM 安全排行榜新增图像与音频模态，Gemini 3.1 Pro Preview 图像抗攻击率 93.9% 居首(original, opens in a new tab)
Cisco LLM 安全排行榜自 6 月以来新增 102 项评测，覆盖文本、图像、音频三种模态，模型总数达 136 个，并首次加入 55 个图像模型和 14 个音频模型。图像测试中，Google Gemini 3.1 Pro Preview 以 93.9% 的抗攻击率居首，Anthropic Claude Opus 4.5 以 93.7% 紧随其后，均属 85–100% 的“Excellent”区间；Mistral Magistral Small 2509 仅拒答 23.0% 的攻击。所有模型均在无额外护栏的基础配置下测试，新增模态切换可单独查看文本、图像或音频得分。
arXiv：防御、护栏、反学习与有害微调 · Indexed · Original PaperAttention4343 ShieldCLIP: Selective Safety Alignment for Harmful Content in Multimodal Foundation Models(original, opens in a new tab)
研究提出 ShieldCLIP，首个按每个模态自身安全状态而非样本来源来条件化安全对齐的框架，在保留安全内容的同时只重定向不安全部分。
Oct 1Thu
Thursday
arXiv · Indexed · Original PaperAttention3939 多模态大模型能否生成并检测社交媒体多模态假新闻(original, opens in a new tab)
研究提出一个由故事智能体、图像智能体和评论智能体协作的多智能体框架，用于生成能与真实新闻对抗的虚假社交媒体帖子。
arXiv：可解释性 · Indexed · Original PaperAttention2525 FLIP：面向视觉语言模型的末层推理时探针(original, opens in a new tab)
提出 FLIP 末层推理时探针，检验视觉语言模型干预效应的来源。
arXiv：可解释性 · Indexed · Original PaperAttention88 机制可解释性揭示脑到语音解码器中的共享因果子空间(original, opens in a new tab)
用 activation patching 揭示脑到语音解码器的共享因果子空间。
arXiv：可解释性 · Indexed · Original PaperAttention1919 通过稀疏自编码器实现神经音频编解码器的可解释框架：面向年龄、性别与口音的探索(original, opens in a new tab)
用 SAE 分析神经音频编解码器如何编码年龄、性别与口音。
arXiv：可解释性 · Indexed · Original PaperAttention1818 大型音频语言模型中的时间绑定机制研究(original, opens in a new tab)
用激活交换分析音频语言模型的事件时间绑定。
arXiv：可解释性 · Indexed · Original PaperAttention4646 SteerProbe: Learning Black-Box Attacks to Bypass Safety Steering in Vision-Language Models(original, opens in a new tab)
研究者提出 SteerProbe，一种仅依赖输出的黑盒攻击，通过学习为未见请求选择有效的改写方式，绕过视觉语言模型（VLM）的激活引导防御。
arXiv：可解释性 · Indexed · Original PaperAttention2222 D-Scope：用稀疏自编码器分解与操控扩散 Transformer(original, opens in a new tab)
提出 D-Scope，用视觉质心检索 SAE 解码方向并转向扩散生成。
Hugging Face Daily Papers · Indexed · Original PaperAttention4141 MIST 压力测试：无关图像会扰动 VLM 评判者标签(original, opens in a new tab)
提出 MIST 压力测试，检验无关图像是否扰动 VLM 评判者标签。
arXiv：越狱、提示注入、投毒与防御 · Indexed · Original PaperAttention5050 CRACK：用多智能体辩论越狱多层安全过滤的 T2I 模型(original, opens in a new tab)
提出 CRACK，用多智能体辩论在黑盒下越狱文生图多层安全过滤。
arXiv：越狱、提示注入、投毒与防御 · Indexed · Original PaperAttention4646 DIVA：针对离散扩散视觉语言模型的跨步条件传播视觉越狱(original, opens in a new tab)
提出 DIVA，利用跨步条件传播对离散扩散视觉语言模型实施视觉越狱。
arXiv：越狱、提示注入、投毒与防御 · Indexed · Original PaperSelectedAttention5959 Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击(original, opens in a new tab)
提出 Repeat-After-Me 自适应视觉提示注入，诱导 VLM 智能体执行指定任务。
Why it was selected论文给出黑盒视觉提示注入在多个前沿 VLM 上的成功率，并演示了在真实 OpenClaw 智能体上覆写配置文件的完整链路。
arXiv：越狱、提示注入、投毒与防御 · Indexed · Original PaperAttention4646 DIVA：利用视觉锚点对视频生成模型实施多模态越狱(original, opens in a new tab)
提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型。
arXiv：越狱、提示注入、投毒与防御 · Indexed · Original PaperAttention4343 后验重加权框架解释并缓解多模态大模型上下文越狱(original, opens in a new tab)
用后验重加权解释多模态上下文越狱，并提出风险门控的良性示例注入防御。
arXiv：越狱、提示注入、投毒与防御 · Indexed · Original PaperAttention5050 SPARK：在 KV 记忆层对齐表征以防御视觉语言模型越狱(original, opens in a new tab)
提出 SPARK，在预填充阶段修复多模态 KV 记忆以防御视觉语言模型越狱。
arXiv：越狱、提示注入、投毒与防御 · Indexed · Original PaperAttention4343 用扩散模型隐空间扰动防御视觉语言模型的地理位置隐私泄露(original, opens in a new tab)
提出扩散潜空间地理扰动防御，抑制视觉语言模型泄露精确地理位置。
arXiv：越狱、提示注入、投毒与防御 · Indexed · Original PaperAttention5050 PALS：面向全双工语音对话模型对抗鲁棒性的心理声学对齐潜空间平滑(original, opens in a new tab)
提出 PALS，用潜空间平滑防御全双工语音对话的对抗扰动。
arXiv：对齐、欺骗与监督 · Indexed · Original PaperAttention5050 DRIFT: Black-box attack to remove diffusion model watermarks via deflected generation trajectories(original, opens in a new tab)
Propose black-box attack DRIFT, deflecting the generation trajectory to remove diffusion watermarks.