攻击arXiv 2610.11932
复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本
测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答
- arXiv
- 2610.11932
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Grok、Doubao、ChatGPT 等 10 个
摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。
全部论文
另有 194 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.11112
EpiReal-Bench：商用图像生成模型虚假声明红队基准
构建 EpiReal-Bench，评测图像生成器将虚假主张渲染为可信证据
- arXiv
- 2610.11112
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-Image-2、Nano Banana 2、Grok Imagen 2.0 等 4 个
摘要四款商用图像模型能把假主张画成可信证据。
EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。
- 可解释性arXiv 2610.10865
用路由稀疏自编码器解耦语音编码器中的语言学与副语言学信息
提出路由 TopK SAE，把语音编码器稀疏码拆成语言与副语言通路
- arXiv
- 2610.10865
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- SPEAR XLarge、WavLM Large
- 组件音频
摘要路由 SAE 在冻结 SPEAR 与 WavLM 上分开语言和副语言因子，探针与交换支持通路分工。
TopK SAE 的稀疏码被分成语言通路与副语言通路，用来分开冻结语音编码器里同时存在的音素信息和说话人、情感、韵律。只重构不能得到作者选定的这一分解。语言通路由音素识别监督，副语言通路由说话人识别、情感分类和韵律预测监督，作用在对方通路上的梯度反转对抗用来压低交叉因子。
- 攻击arXiv 2610.09920
研究：多向量视觉文档索引可被反演还原页面内容
提出流匹配逆向框架，从多向量视觉文档索引重构页面
- arXiv
- 2610.09920
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Tomoro-ColQwen3-8B、ColQwen3.5-4.5B、Tomoro-colqwen3-embed-4b 等 13 个
- 攻击arXiv 2610.09819
FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵
提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门
- arXiv
- 2610.09819
- 发表
- 场景
- 模型与 API
- 被测模型
- HuBERT-base、WavLM-base
摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。
- 评测与基准arXiv 2610.08791
研究者发布视频世界模型物理一致性基准 World Models' Last Exam in Physics
提出 World Models' Last Exam 评测视频物理一致性
- arXiv
- 2610.08791
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Seedance-2.5、MiniMax-H3、Cosmos3-Super 等 8 个
- 组件图像生成
- 评测与基准arXiv 2610.08585
研究：无关信息污染患者病历并干扰 LLM 临床推理
构建 MedDistract 基准，测量偶发信息对临床文书与推理的污染
- arXiv
- 2610.08585
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- GPT-5.4、GPT-5.6 Sol、Claude Opus 5 等 9 个
- 评测与基准arXiv 2610.08571
RAG-PIBench：可信 RAG 系统中提示注入检测的泄漏感知基准
提出 RAG-PIBench，评测 RAG 上下文中提示注入检测器
- arXiv
- 2610.08571
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- DistilBERT-base-uncased、DeBERTa-v3-base、MiniLM
- 分析与理论arXiv 2610.08178
研究给出潜空间图像水印的鲁棒性上限理论分析
分析潜空间图像水印对像素扰动的内在鲁棒性上限
- arXiv
- 2610.08178
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Stable Diffusion v2-1
摘要作者称当前潜空间水印在低 FPR 下受扩张映射与分布偏移的限制。
- 评测与基准arXiv 2610.07939
CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出
提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别
- arXiv
- 2610.07939
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- C2P-CLIP、ForgeLens、D3-Im 等 10 个
摘要提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。
- 评测与基准arXiv 2610.06503
研究评测五款开源文生图模型的有害内容生成与审核缺口
评测文生图模型的有害内容生成能力与审核检测缺口
- arXiv
- 2610.06503
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- SDXL、Stable Diffusion 3.5 Large、FLUX.1-dev 等 12 个
- 评测与基准arXiv 2610.06339
BabelFake：面向多语言音视频 DeepFake 检测的基准数据集
构建多语言音视频 DeepFake 基准 BabelFake 并评测检测器
- arXiv
- 2610.06339
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- SpeechForensics、AVH-Align、(B)RAVEn
摘要BabelFake 为五语同意采集基准。
BabelFake 是经同意与 IRB 批准采集的多语音视频 DeepFake 检测基准，用来把视觉操纵和语音合成拆开比较。
- 防御arXiv 2610.05870
MBZUAI 提出可校准的真实图像认证方法
提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动
- arXiv
- 2610.05870
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 白盒
摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。
- 防御arXiv 2610.05826
研究者提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露
提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露
- arXiv
- 2610.05826
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要用截止期限制未核验可见时长。
这篇工作给持续摄入的 RAG 向量库一个失败关闭的临时可见性协议，把协议能限制的未核验暴露和依赖检测器的中毒暴露分开。
- 攻击arXiv 2610.05601
Tracer 框架可从遗忘后的扩散模型中识别被擦除概念
提出 TRACER，从权重差识别扩散模型被擦除概念
- arXiv
- 2610.05601
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- Stable Diffusion v1.5、Stable Diffusion 3、FLUX.1 等 5 个
摘要TRACER 用权重足迹识别未披露擦除概念并估计个数，作者称数秒内完成且准确率高于对照。
TRACER 针对的是遗忘扩散模型上的目标识别：提供者从公开基座 W 用已发表方法擦掉未知集合 S⋆，只发布 W′。攻击者还有假定包含这些概念的词表，但不知擦了谁、擦了几个、用了什么算法。
- 评测与基准arXiv 2610.05586
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
构建 AGENTDOXX 基准，评测联网搜索 Agent 对匿名访谈的再识别
- arXiv
- 2610.05586
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Terra、GPT-5 Mini、GPT-4.1 Mini 等 10 个
摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
- 攻击arXiv 2610.05453
研究者提出 Privacy-Leaking Watermarks，可在本地多模态模型中泄露对话隐私
提出 PLW，用微调把先前对话敏感触发编码进后续生成图像
- arXiv
- 2610.05453
- 发表
- 场景
- 模型与 API
- 被测模型
- OmniGen2、BAGEL-7B
摘要PLW 把先前对话线索写成后续图像中的隐水印，检出随触发、模型和间隔变化。
- 防御arXiv 2610.05401
AVCE：面向扩散模型可验证概念擦除的审计感知遗忘框架
提出审计感知遗忘框架 AVCE，从文本与视觉通路擦除扩散模型概念
- arXiv
- 2610.05401
- 发表
- 场景
- 模型与 API
- 被测模型
- Stable Diffusion XL (SDXL)、Stable Diffusion v1.5 (SD v1.5)、Flux 1.0
摘要AVCE 在审计锚点上改两条注意力通路。
AVCE 是面向扩散模型的概念擦除方法，要让擦除经得起绕过文本条件的潜空间审计，而不只是挡住对抗提示词。
- 其他arXiv 2610.05264
面向音频深度伪造检测的任务感知联合剪枝与蒸馏框架
提出任务感知的跨域蒸馏与剪枝方法以压缩音频深度伪造检测器
- arXiv
- 2610.05264
- 发表
- 场景
- 模型与 API
- 被测模型
- XLSR-AASIST
- 组件音频
- 分析与理论arXiv 2610.07005
研究审计 Qwen2-Audio 音频越狱 AdvWave-P 的频率与解码层归因
遮挡审计 AdvWave-P 音频越狱的频带必要性与解码层关联
- arXiv
- 2610.07005
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Qwen2-Audio-7B-Instruct、LLaMA-Omni
摘要AdvWave-P 的八频带排序与能量相关。
这是对加性音频越狱 AdvWave-P 的频率与解码器深度审计，受害模型主要是 Qwen2-Audio-7B-Instruct，不提出新攻击。