攻击arXiv 2610.09819
FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵
提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门
- arXiv
- 2610.09819
- 发表
- 场景
- 模型与 API
- 测试
- HuBERT-base、WavLM-base
摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。
全部论文
另有 608 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2609.09404
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
用 MMPIBench 评测智能体框架的多模态提示注入
- arXiv
- 2609.09404
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。
- 评测与基准arXiv 2609.38106
剪枝提效却牺牲公平：剪枝语音 LLM 中的群体差异
测量剪枝对语音 LLM 群体转写公平性的影响
- arXiv
- 2609.38106
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Whisper Small (12 layers)、Whisper Medium (24 layers)、Whisper Large-v2 (32 layers) 等 4 个
摘要剪枝后的 Speech-LLM 不能只看总体 WER：Fair-Speech 上族群差扩大，作者建议看最差组。
- 其他arXiv 2610.00812
视频生成模型的后训练与对齐综述
综述视频生成的后训练与对齐，并汇总基准与开放挑战
- arXiv
- 2610.00812
- 发表
- 场景
- 模型与 API
- 测试
- Wan、HunyuanVideo、OpenSora 等 8 个
- 组件图像生成
摘要综述把视频后训练分成四类对齐信号，并指出奖励、长视频、权衡和安全仍开放。
这是一篇视频生成 后训练与对齐 综述：预训练模型已有强先验，但作者认为仍不能可靠遵循意图、维持时间连贯或满足物理与安全约束。
- 防御arXiv 2609.37568
SECRET：用源条件化中继引导缓解音视频大语言模型的幻觉
提出训练无关的 SECRET，对问题表征做源条件转向以缓解音视频模型幻觉
- arXiv
- 2609.37568
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- VideoLLaMA2-AV-7B、Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B
摘要SECRET 在问题状态上做源条件转向，三个 AVLLM 上减轻了跨模态接地幻觉。
SECRET 是一种训练无关的问题状态转向方法，用来减轻 AVLLM 的 source-confused grounding hallucination。
- 防御arXiv 2610.00780
TAILOR：面向图像水印的组合方案定制框架
提出 TAILOR，按请求组合图像水印以满足抗攻击与画质延迟规格
- arXiv
- 2610.00780
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- VINE、TrustMark、VideoSeal 等 5 个
- 可解释性arXiv 2610.01864
从孤立特征到轨道：通过多重 SAE 对齐发现音乐概念
提出多 SAE 对齐方法，从音乐模型表征中发现和弦与调性轨道
- arXiv
- 2610.01864
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- MuQ、MusicFM
- 组件音频
摘要用移调对齐的多 SAE 恢复和弦、调与旋律轨道，并用少量锚点做下游音乐理解。
作者提出一套面向音乐基础模型的结构可解释性框架：不把 SAE 特征当作孤立概念，而用半音移调把它们连成有序轨道。
- 防御arXiv 2610.01969
RASteer：面向扩散模型概念擦除的保留感知激活引导方法
提出 RASteer，推理时按保留子空间校正激活以擦除文生图目标概念
- arXiv
- 2610.01969
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Stable Diffusion v1.4、Stable Diffusion v1.5、Stable Diffusion v2.1 等 4 个
摘要RASteer 用保留子空间校正擦除方向，在固定权重下同时压低目标并保住保留概念。
Retain-aware Activation Steering（RASteer） 是一种不改权重的推理时概念擦除方法，用于文生图扩散模型去掉指定概念并减少对保留概念的误伤。
- 防御arXiv 2609.27399
GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别
提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别
- arXiv
- 2609.27399
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- CosyVoice2-0.5B、F5-TTS、FireRedTTS
摘要GUARD 用门控激活转向把退出说话人推向冒充相似度，以抑制再识别并保住音质。
GUARD 用门控激活转向做说话人身份遗忘，使零样本 TTS 对退出说话人难以再识别。
- 可解释性arXiv 2609.34052
通过稀疏自编码器实现神经音频编解码器的可解释框架：面向年龄、性别与口音的探索
用 SAE 分析神经音频编解码器如何编码年龄、性别与口音
- arXiv
- 2609.34052
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- EnCodec (24 kHz, 6 kbps)、DAC、SpeechTokenizer 等 5 个
- 组件音频
摘要SAE steering 被用作探测 NAC 说话人属性编码的代理。
作者用 SAE steering 探测 NAC 表示如何编码说话人属性，目标是可解释性，不是属性转换。
- 可解释性arXiv 2609.34806
大型音频语言模型中的时间绑定机制研究
用激活交换分析音频语言模型的事件时间绑定
- arXiv
- 2609.34806
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- AF-Next、MOSS-Audio、Qwen3-Omni
- 组件音频
摘要事件名表示在中间层编码相对时间，可改先后判断，但不能稳定改 onset。
这项工作用机制干预检查三个开源 LALM 如何把时间位置绑到声音事件。
- 可解释性arXiv 2609.39625
D-Scope：用稀疏自编码器分解与操控扩散 Transformer
提出 D-Scope，用视觉质心检索 SAE 解码方向并转向扩散生成
- arXiv
- 2609.39625
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- SANA-Sprint、Nitro-1-PixArt、SANA teacher 等 4 个
- 组件图像生成
摘要D-Scope 用视觉质心检索单个 SAE 方向做掩码转向，对比检索提高区域增益但不一致改善保持。
D-Scope把扩散 Transformer 中 SAE 特征的高激活图像块，接到文本查询驱动的单方向生成干预上。
- 攻击arXiv 2609.01168
CRACK：用多智能体辩论越狱多层安全过滤的 T2I 模型
提出 CRACK，用多智能体辩论在黑盒下越狱文生图多层安全过滤
- arXiv
- 2609.01168
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- Stable Diffusion v1.4、SDXL、DALL·E 3 等 4 个
摘要CRACK 以分层诊断的多智能体辩论搜索多层 T2I 过滤器的联合规避区域。
CRACK 是面向文本生成图像模型多层安全栈的黑盒越狱框架，用几何上的 Detection Surface 解释为何粗粒度反馈不够。
- 攻击arXiv 2609.07216
DIVA：利用视觉锚点对视频生成模型实施多模态越狱
提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型
- arXiv
- 2609.07216
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- Wan、CogVideoX、LTX-Video 等 9 个
摘要DIVA 用视觉锚点抑制语义漂移做视频越狱，并给出多条件安全基准 TI2VSafetyBench。
DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱：用一致性机制本身堵住语义漂移这条安全逃逸路径。。
- 攻击arXiv 2609.08213
DRIFT：通过偏转生成轨迹去除扩散模型水印的黑盒攻击
提出黑盒攻击 DRIFT，偏转生成轨迹以去除扩散水印
- arXiv
- 2609.08213
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- Stable Diffusion v2.1
- 防御arXiv 2609.12623
SteerDuplex：可操控的全双工语音对话模型
提出 SteerDuplex，用监督微调与两阶段强化学习提升全双工语音对话可控性
- arXiv
- 2609.12623
- 发表
- 场景
- 模型与 API
- 测试
- SteerDuplex-SFT、SteerDuplex-RL、Moshi 等 4 个
摘要SteerDuplex 用 SFT 提升语音可控，用两阶段 RL 改时序，并记录奖励黑客。
SteerDuplex 是基于 Moshi 的全双工语音模型，目标是在保留轮替、打断和一般任务能力的同时，按用户指令改变内容与发声。
- 防御arXiv 2609.23586
VidMark：面向视频生成模型知识产权保护的高效水印方案
提出 VidMark 水印方案，核验视频生成模型的输出来源与所有权
- arXiv
- 2609.23586
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Stable Video Diffusion (SVD)、Open-Sora、Wan
摘要VidMark 加解码器引导微调，把模型签名写入 VGM 输出并用于两项核验。
Huang 等人提出一套面向视频生成模型的生成内嵌水印方案，用来同时判断一条视频是否来自受保护模型，以及一个嫌疑模型是否为该模型的拷贝。
- 其他arXiv 2609.32340
SGA-Flow-GRPO：面向 Flow-GRPO 的空间梯度引导信用分配
提出 SGA-Flow-GRPO，用奖励梯度调制文生图模型的 token 级优势
- arXiv
- 2609.32340
- 发表
- 场景
- 模型与 API
- 测试
- SD3.5-Medium、SD3.5-M (w/o CFG)、FLUX.1 Dev 等 4 个
- 组件图像生成
- 防御arXiv 2609.03629
EraseSAE：用稀疏自编码器在文生视频扩散模型中实现精准概念擦除
提出 EraseSAE，在文生视频模型中局部擦除指定概念
- arXiv
- 2609.03629
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- CogVideoX-5B、HunyuanVideo、Flux.1 [dev]
摘要EraseSAE 用单义特征局部擦除。
EraseSAE 把 SAE 用于 DiT 文生视频模型的概念擦除。作者要解决的是：全局改权重或表面负提示对不齐细粒度、分布式的概念，而且会改到无关时空区域。
- 可解释性arXiv 2609.09909
解读文本到图像扩散模型中的对象依赖概念脆弱性
用逐步 SAE 诊断文生图概念脆性，并推理时向类原型插值
- arXiv
- 2609.09909
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- SD 1.5、SD 3.5、SDXL 等 5 个
- 组件图像生成
摘要逐步 SAE 诊断物体依赖的概念脆性，早期向类原型插值可在五骨干上提高风格与属性指标。
作者用逐步稀疏自编码器审计文生图扩散模型里随物体变化的概念脆性，并用推理时原型插值检验该诊断。。